在這場爭奪AIGC話語權(quán)與領(lǐng)導(dǎo)力的追逐戰(zhàn)里，谷歌與微軟爭相拼臂力秀肌肉。Gemini 1.5 Pro的橫空出世，將多模態(tài)大模型的標(biāo)準(zhǔn)提到了一個(gè)新高度。  

一、極致性能背后的模型架構(gòu)

當(dāng)?shù)貢r(shí)間2月15日，Alphabet與Google公司首席執(zhí)行官Sundar Pichai攜首席科學(xué)家Jeff Dean等眾高管在X平臺發(fā)布了多模態(tài)模型Gemini 1.5 Pro。這是繼2月7日的Gemini 1.0 Ultra后，谷歌在多模態(tài)大模型賽道的又一力作。

 圖源：X平臺Alphabet與Google公司首席科學(xué)家Jeff Dean推文

“巧合”的是，Open AI在Gemini 1.5 Pro官宣兩小時(shí)發(fā)布Sora這枚重磅炸彈，頗有“一較高下”的勁頭。只是由于當(dāng)下大家的視線焦點(diǎn)集中在視頻領(lǐng)域，Sora 又是 OpenAI 首次發(fā)布文生視頻模型，所以無奈被搶了頭條。

 圖源：微博評論

Gemini 1.5 Pro建立在谷歌對Transformer和MoE架構(gòu)的領(lǐng)先研究之上。傳統(tǒng)Transformer充當(dāng)一個(gè)大型神經(jīng)網(wǎng)絡(luò)，而 MoE（Mixture of Experts 混合專家模型）模型則分為更小的“專家”神經(jīng)網(wǎng)絡(luò)。在這一結(jié)構(gòu)之下，通過將模型參數(shù)劃分為多個(gè)組別而實(shí)現(xiàn)的計(jì)算的稀疏化，即每次執(zhí)行推理任務(wù)時(shí)，根據(jù)對輸入類型的判斷，MoE模型會(huì)通過門控網(wǎng)絡(luò)選擇性地激活神經(jīng)網(wǎng)絡(luò)中最契合指令的專家參與計(jì)算。

這種專業(yè)化、模塊化的劃分可以在提升預(yù)訓(xùn)練計(jì)算效率的同時(shí)提升大模型處理復(fù)雜任務(wù)的性能，更快地學(xué)習(xí)復(fù)雜任務(wù)的同時(shí)保證準(zhǔn)確性。與稠密模型相比，MoE模型的預(yù)訓(xùn)練速度更快；使用MoE 層代替transformer 中的前饋網(wǎng)絡(luò)（FFN）層。因而對的采用可以彌補(bǔ)Transformer架構(gòu)運(yùn)算效率的問題。

在Switch-Transformer、M4等領(lǐng)域，Google 一直是深度學(xué)習(xí) MoE 技術(shù)的早期采用者。目前大部分大語言模型開源和學(xué)術(shù)工作都沒有使用 MoE 架構(gòu)。有消息稱，GPT-4也采用了由 8 個(gè)專家模型組成的集成系統(tǒng)。2023年12月8日Mistral AI 發(fā)布的 Mixtral 8x7B 同樣采用了這種架構(gòu)。就國內(nèi)的大模型而言，只有Minimax采用了MoE架構(gòu)。

二、擴(kuò)容的上下文窗口意味著什么？

雖然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本，但初代便表現(xiàn)不俗。擴(kuò)大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮點(diǎn)。

多模態(tài)大模型卷到今日，上下文窗口容量已然成為提升其理解能力的關(guān)鍵掣肘。此前的SOTA模型將上下文窗口容量卷到了20萬token。而谷歌的Gemini 1.5 Pro直接將上下文窗口容量提到了100萬token（極限為1000萬token），遠(yuǎn)遠(yuǎn)超出了 Gemini 1.0 最初的 32,000 個(gè) token，創(chuàng)下了最長上下文窗口的紀(jì)錄。

對于文本處理，Gemini 1.5 Pro在處理高達(dá)530,000 token的文本時(shí)，能夠?qū)崿F(xiàn)100%的檢索完整性，在處理1,000,000 token的文本時(shí)達(dá)到99.7%的檢索完整性。甚至在處理高達(dá)10,000,000 token的文本時(shí)，檢索準(zhǔn)確性仍然高達(dá)99.2%。在音頻處理方面，Gemini 1.5 Pro能夠在大約11小時(shí)的音頻資料中，100%成功檢索到各種隱藏的音頻片段。在視頻處理方面，Gemini 1.5 Pro能夠在大約3小時(shí)的視頻內(nèi)容中，100%成功檢索到各種隱藏的視覺元素。

圖源：Gemini 1.5 Pro官方測試數(shù)據(jù)

Gemini 1.5 Pro大大超過Gemini 1.0 Pro，在27項(xiàng)基準(zhǔn)（共31項(xiàng)）上表現(xiàn)更好，特別是在數(shù)學(xué)、科學(xué)和推理（+28.9%），多語言（+22.3%），視頻理解（+11.2%）和代碼（+8.9%）等領(lǐng)域。即使是對比Gemini 系列的高端產(chǎn)品Gemini 1.0 Ultra， Gemini 1.5 Pro也在超過一半的基準(zhǔn)（16/31）上表現(xiàn)更好，特別是在文本基準(zhǔn)（10/13）和許多視覺基準(zhǔn)（6/13）上。在 NIAH測試中，Gemini 1.5 Pro能夠在長達(dá)100萬token的文本塊中，以99%的準(zhǔn)確率找出隱藏有特定信息的文本片段。

 圖源：Gemini 1.5 Pro官方測試數(shù)據(jù)

這個(gè)上下文長度使Gemini 1.5 Pro可以自如地處理22小時(shí)的錄音、超過十倍的完整的1440頁的書（587,287字）“戰(zhàn)爭與和平”，以及四萬多行代碼、三小時(shí)的視頻。

三、機(jī)器腦有多好使

除高效架構(gòu)和強(qiáng)上下文處理能力之外，Gemini 1.5 Pro的優(yōu)秀品質(zhì)還在于“情境學(xué)習(xí)”技能，它可以根據(jù)長提示，從以前從未見過的信息中學(xué)習(xí)新技能，而不需要額外的微調(diào)。強(qiáng)學(xué)習(xí)能力、信息檢索與數(shù)據(jù)分析能力使得在知識海洋中“海底撈針”由想象映照進(jìn)了現(xiàn)實(shí)。

根據(jù)官方發(fā)布的測試報(bào)告，當(dāng)給定卡拉曼語（一種全球使用人數(shù)不足 200 人的語言）的語法手冊時(shí)（500頁的語言文獻(xiàn)，一本詞典和400個(gè)平行句子），Gemini 1.5 Pro模型可以學(xué)習(xí)將英語翻譯成卡拉曼語，其水平與學(xué)習(xí)相同內(nèi)容的人相似。

圖源：Gemini 1.5 Pro官方演示樣本

當(dāng)被一個(gè)45分鐘的Buster基頓電影“小神探夏洛克”（1924年）（2674幀，1FPS，684k token）提示時(shí)，Gemini 1.5 Pro可以從其中的特定幀中檢索和提取文本信息，并提供相應(yīng)的時(shí)間戳。此外還可以從一張手繪素描中識別電影中的一個(gè)場景。與側(cè)重于衡量模型檢索能力的特定事實(shí)或細(xì)節(jié)的任務(wù)不同，這些問題通常需要了解跨越大量文本的信息片段之間的關(guān)系。

圖源：Gemini 1.5 Pro官方演示樣本

Gemini 1.5 Pro在處理長達(dá)超過100,000行的代碼時(shí)，還具備極強(qiáng)的問題解決能力。面對龐大的代碼量，它能夠深入分析各個(gè)示例，提出實(shí)用的修改建議，還能詳細(xì)解釋代碼的條例框架。給出了整個(gè)746,152個(gè)令牌JAX代碼庫，Gemini 1.5 Pro可以識別核心自動(dòng)微分方法的具體位置。開發(fā)者可以直接上傳新的代碼庫，利用這個(gè)模型快速熟悉、理解代碼結(jié)構(gòu)。

 圖源：Gemini 1.5 Pro官方演示樣本

正如NVIDIA高級科學(xué)家Jim Fan所言，Gemini 1.5 Pro意味著LLM能力的大幅躍升，這對于做個(gè)體戶的小公司而言可謂一騎絕塵。

在人機(jī)協(xié)同的探索過程中，單一的文本交互很難滿足多場景多樣態(tài)的內(nèi)容生產(chǎn)訴求。多模態(tài)的信息處理與生成能力顯然是技術(shù)變革的發(fā)力點(diǎn)。紐約大學(xué)計(jì)算機(jī)助理教授謝賽寧說，人才第一，數(shù)據(jù)第二，算力第三，其他都沒有什么是不可替代的。Gemini 1.5 Pro是谷歌與巔峰對決的又一利器，或許AGI時(shí)代正加快到來。