快科技11月20日消息，微軟投資的硅谷初創公司d-Matrix近日宣布，其首款人工智能芯片Corsair開始出貨。

d-Matrix表示Corsair在單臺服務器中為Llama3 8B提供每秒處理60000個tokens的性能，每個tokens的延遲為1毫秒。

該公司聲稱，與GPU和其他替代方案相比，Corsair提供了性能、能源效率和成本節省。

對于AI推理運算，數據傳輸是最大的瓶頸，它需要大量內存，也需要非常快的內存，但兩者卻很難兼顧。

目前的解決方案主要有三種，第一種是通過采樣和流水線減少處理的數據量來加速深度學習，但也限制了準確性和精確性。

第二種是在傳統的處理器附近設置專用AI引擎的處理器，蘋果、英偉達、Intel和AMD都采用這種方式，但這要集成SRAM和外部DRAM，仍然是高能耗和低效率。

第三種是將計算移動到內存附近，也就是d-Matrix采用的方法，這種叫數字存算一體（DIMC）的技術架構降低了延遲，減少了消耗。

因此非常適合AI推理，因為推理會涉及一個相對靜態（但大型）的權重數據集，這個數據集被反復訪問，DIMC消除了大部分能量轉移費用和數據移動的延遲。

得益于DIMC，Corsair可提供150TB/s的超高內存帶寬，交互速度提高了10倍，能效提高了3倍。

其他方面，Corsair芯片采用行業標準的PCIe Gen5全高全長卡外形，通過DMX Bridge卡連接成對的卡。

每張Corsair卡都由多個DIMC計算核心驅動，具有2400 TFLOP的8位峰值計算能力、2GB的集成性能內存和高達256GB的片外容量內存。