迄今最大!馬斯克AI大模型Grok開源:參數(shù)量達3140億
來源:快科技 編輯:非小米 時間:2024-03-18 10:54人閱讀
快科技3月18日消息,據(jù)媒體報道,馬斯克的AI創(chuàng)企xAI正式宣布其大語言模型Grok-1已實現(xiàn)開源,并向公眾開放下載。
據(jù)了解,Grok-1是一款基于混合專家系統(tǒng)(Mixture-of-Experts,MoE)技術構建的大語言模型,擁有3140億參數(shù),遠超OpenAI GPT-3.5的1750億。這是迄今參數(shù)量最大的開源大語言模型,遵照Apache 2.0協(xié)議開放模型權重和架構。
xAI表示,Grok-1始終由xAI自行訓練,其預訓練階段于2023年10月完成。此次發(fā)布的是Grok-1預訓練階段結束時的原始基礎模型檢查點,即該模型未經(jīng)過針對任何具體應用的微調(diào)。
xAI的目的之一就是與OpenAI、谷歌、微軟等對手在大模型領域進行競爭,其團隊來自OpenAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業(yè)和研究機構。
目前,xAI并沒有放出Grok-1的具體測試成績,它與其他公司的大模型之戰(zhàn)將成為業(yè)內(nèi)關注的焦點。
分享到:
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com


