向量數據庫開拓者與GUP王者聯(lián)手會擦出什么樣的火花？

在GTC2024大會上，英偉達宣布全球首個GPU加速向量數據庫誕生——中國公司Zilliz與英偉達攜手發(fā)布了Milvus2.4版本。

向量數據庫是一種專門用于處理向量數據的數據庫系統(tǒng)，這類數據通常用于機器學習和人工智能應用中，如推薦系統(tǒng)、圖像識別和自然語言處理等。GPU（圖形處理單元）因其并行處理能力而成為加速復雜計算任務的理想選擇，尤其是在處理大量數據時。

英偉達在GPU領域的地位不用多說，Zilliz的全稱是上海徐毓智能科技有限公司，是誕生于中國本土的初創(chuàng)公司，成立于2016年，總部位于上海。在向量數據庫系統(tǒng)領域，Zilliz是開拓者，研發(fā)了面向AI生產系統(tǒng)的向量數據庫系統(tǒng)。其技術和產品已經被全球超過1000家企業(yè)采用。

Milvus是Zilliz的主要產品，它提供了一個易于使用的界面，允許開發(fā)者和數據科學家快速部署和擴展向量搜索服務。該產品以其高性能和可擴展性而聞名，能夠處理海量的向量數據，并提供毫秒級的查詢響應時間，還支持多種編程語言的API，包括Python、Java、Go和C++。

Milvus2.4版本向量數據庫的創(chuàng)新點在于，利用GPU的高速計算特性，能夠快速執(zhí)行向量相似性搜索和分析，支持更高的并發(fā)用戶請求，同時降低延遲，提供更快的響應時間，使其成為支持實時決策和復雜數據分析的理想工具。

據介紹，它在業(yè)界首次采用了英偉達GPU的高效并行處理能力和RAPIDS cuVS庫中新推出的CAGRA（CUDA-Accelerated Graph Index for Vector Retrieval）技術，提供基于GPU的向量索引和搜索加速能力。基準測試顯示，與目前市面上最先進的基于CPU處理器的索引技術相比，新版GPU加速Milvus能提供高達50倍的向量搜索性能提升。

向量數據庫——開發(fā)AI大模型的必備軟件

向量數據庫是專門用于存儲和管理向量數據，其具備的快速檢索、混合存儲、向量嵌入等能力很好的解決了AI大模型技術中普遍存在的知識時效性低、輸入能力有限、回答問題準確度低等問題，因此被視作開發(fā)和應用AI大模型過程中的必備的軟件基礎設施。

從實際應用案例來看，向量數據庫在AI大模型的訓練和推理過程中降本增效的效果已有所顯現(xiàn)。ChatGPT Plugins外接向量數據庫，不僅大大拓展了AI大模型交互信息的范圍，還保護了用戶隱私。Qdrant向量數據庫與Pienso合作，已經實現(xiàn)在開源AI大模型的基礎上開發(fā)私域大模型。

廣發(fā)證券認為，在過去AI模型訓練的數據量較小、數據類型單一的情況下，向量數據庫可應用的場景較小。自2017年Transformer模型推出后，各科技廠商開始大語言模型的探索，對于向量數據庫的需求才開始形成規(guī)模。隨著微軟365Copilot以及ChatGPT企業(yè)版等標桿產品的落地，AI應用的發(fā)展正逐步由點擴散到面，未來隨著生成式AI大模型開發(fā)量和使用量的增長，向量數據庫的應用有望快速增長。

目前在商業(yè)化方面，向量數據庫行業(yè)還處于市場培育期，Zilliz、Pinecone和騰訊云均推出免費版本的產品給用戶試用。以華為云和星環(huán)科技為代表的廠商在非結構化數據處理具有一定技術積累的基礎上，也相繼推出了向量數據庫產品。

其中，星環(huán)科技是國內第一批進入向量數據庫領域的公司，已經與英特爾聯(lián)合發(fā)布向量數據庫解決方案。