哭死啊，全球狂煉大模型，一互聯(lián)網(wǎng)的數(shù)據(jù)不夠用，根本不夠用。

訓(xùn)練模型搞得跟《饑餓游戲》似的，全球AI研究者，都在苦惱怎么才能喂飽這群數(shù)據(jù)大胃王。

尤其在多模態(tài)任務(wù)中，這一問題尤為突出。

一籌莫展之際，來自人大系的初創(chuàng)團(tuán)隊(duì)，用自家的新模型，率先在國內(nèi)把“模型生成數(shù)據(jù)自己喂自己”變成了現(xiàn)實(shí)。

而且還是理解側(cè)和生成側(cè)雙管齊下，兩側(cè)都能生成高質(zhì)量、多模態(tài)的新數(shù)據(jù)，對模型本身進(jìn)行數(shù)據(jù)反哺。

模型是啥？

中關(guān)村論壇上剛剛露面的多模態(tài)大模型Awaker 1.0。

團(tuán)隊(duì)是誰？

智子引擎。由人大高瓴人工智能學(xué)院博士生高一釗創(chuàng)立，高瓴人工智能學(xué)院盧志武教授擔(dān)任顧問。公司成立時(shí)還是2021年，就早早打入多模態(tài)這條“無人區(qū)”賽道。

MOE架構(gòu)，解決多模態(tài)多任務(wù)訓(xùn)練沖突問題

這不是智子引擎第一次發(fā)布模型。

去年3月8日，潛心研發(fā)兩年的團(tuán)隊(duì)對外發(fā)布了自研的第一個(gè)多模態(tài)模型，百億級別參數(shù)的ChatImg序列模型，并基于此推出世界首個(gè)公開評測多模態(tài)對話應(yīng)用ChatImg（元乘象）。

后來，ChatImg不斷迭代，新模型Awaker的研發(fā)也在并行推進(jìn)。后者還繼承了前代模型的基礎(chǔ)能力。

相較于前代的ChatImg序列模型，Awaker 1.0采用了MoE模型架構(gòu)。

要說原因嘛，是想要解決解決多模態(tài)多任務(wù)訓(xùn)練存在嚴(yán)重沖突的問題。

采用MoE模型架構(gòu)，可以更好地學(xué)習(xí)多模態(tài)通用能力以及各個(gè)任務(wù)所需的獨(dú)特能力，從而讓整個(gè)Awaker 1.0的能力在多個(gè)任務(wù)上有進(jìn)一步提升。

數(shù)據(jù)勝千言：

鑒于主流多模態(tài)評測榜單存在評測數(shù)據(jù)泄露問題，智子團(tuán)隊(duì)從嚴(yán)構(gòu)建了自有評測集，大部分測試圖片來自個(gè)人手機(jī)相冊。

表格顯示，團(tuán)隊(duì)讓Awaker 1.0和國內(nèi)外最先進(jìn)的3個(gè)多模態(tài)大模型進(jìn)行了評測。

多提一嘴，由于GPT-4V和Intern-VL并不直接支持檢測任務(wù)，它們的檢測結(jié)果是通過要求模型使用語言描述物體方位得到的。

可以看到，在視覺問答和業(yè)務(wù)應(yīng)用任務(wù)上，Awaker 1.0的基座模型超過了GPT-4V、Qwen-VL-Max和Intern-VL。

在描述、推理和檢測任務(wù)上，Awaker 1.0的基座模型達(dá)到了次好效果。

最后來看平均分，Awaker 1.0處于幾者中的最高值。

因此，上述結(jié)果也印證了多任務(wù)多模態(tài)模型采用MoE架構(gòu)的有效性。

數(shù)據(jù)集評測結(jié)果有了，真實(shí)效果還需進(jìn)一步上手體驗(yàn)。

這里主要問了它和對比大模型一些關(guān)于中文OCR（圖片文字識別）和計(jì)數(shù)問題、詳細(xì)描述任務(wù)等問題。

這個(gè)主要考計(jì)數(shù)：

Awaker 1.0能正確地給出答案，而其它三個(gè)模型均回答錯(cuò)誤。

這個(gè)主要考中文OCR：

正確回答的選手是Qwen-VL-Max和Awaker 1.0。

最后這題考圖片內(nèi)容理解。

GPT-4V和Awaker 1.0不但能夠詳細(xì)地描述圖片的內(nèi)容，而且能夠準(zhǔn)確地識別出圖片中的細(xì)節(jié)，如圖中展示的可口可樂。

不得不提一嘴的是，Awaker 1.0繼承了一些智子團(tuán)隊(duì)此前廣為關(guān)注的研究成果。

說的就是你——Awaker 1.0的生成側(cè)。

Awaker 1.0的生成側(cè)，是智子引擎自主研發(fā)的類Sora視頻生成底座VDT（Video Diffusion Transformer）。

VDT的學(xué)術(shù)論文早于OpenAI Sora的發(fā)布（去年5月），并已被頂會(huì)ICLR 2024接收。

VDT與眾不同的創(chuàng)新之處，主要有兩點(diǎn)。

一是在技術(shù)架構(gòu)上采用Diffusion Transformer，在OpenAI之前就展現(xiàn)了Transformer在視頻生成領(lǐng)域的巨大潛力。

它的優(yōu)勢在于其出色的時(shí)間依賴性捕獲能力，能夠生成時(shí)間上連貫的視頻幀，包括模擬三維對象隨時(shí)間的物理動(dòng)態(tài)。

二是提出統(tǒng)一的時(shí)空掩碼建模機(jī)制，使VDT能夠處理多種視頻生成任務(wù)。

VDT靈活的條件信息處理方式，如簡單的token空間拼接，有效地統(tǒng)一了不同長度和模態(tài)的信息。

同時(shí)，通過與該工作提出的時(shí)空掩碼建模機(jī)制結(jié)合，VDT成為了一個(gè)通用的視頻擴(kuò)散工具，在不修改模型結(jié)構(gòu)的情況下可以應(yīng)用于無條件生成、視頻后續(xù)幀預(yù)測、插幀、圖生視頻、視頻畫面補(bǔ)全等多種視頻生成任務(wù)。

據(jù)了解，智子引擎團(tuán)隊(duì)不僅探索了VDT對簡單物理規(guī)律的模擬，發(fā)現(xiàn)它能模擬物理過程：

還在超寫實(shí)人像視頻生成任務(wù)上進(jìn)行了深度探索。

因?yàn)槿庋蹖θ四樇叭说膭?dòng)態(tài)變化非常敏感，所以這個(gè)任務(wù)對視頻生成質(zhì)量的要求非常高。不過，智子引擎已經(jīng)突破超寫實(shí)人像視頻生成的大部分關(guān)鍵技術(shù)，比起Sora也沒在怕的。

口說無憑。

這是智子引擎結(jié)合VDT和可控生成，對人像視頻生成質(zhì)量提升后的效果：

據(jù)悉，智子引擎還將繼續(xù)優(yōu)化人物可控的生成算法，并積極進(jìn)行商業(yè)化探索。

生成源源不斷的新交互數(shù)據(jù)

更值得關(guān)注的是，智子引擎團(tuán)隊(duì)強(qiáng)調(diào)：

Awaker 1.0是世界上首個(gè)能自主更新的多模態(tài)大模型。

換句話說，Awaker 1.0是“活”的，它的參數(shù)可以實(shí)時(shí)持續(xù)地更新——這就導(dǎo)致Awaker 1.0區(qū)別于所有其它多模態(tài)大模型，

Awaker 1.0的自主更新機(jī)制，包含三大關(guān)鍵技術(shù)，分別是：

-數(shù)據(jù)主動(dòng)生成

-模型反思評估

-模型連續(xù)更新

這三項(xiàng)技術(shù)，讓Awaker 1.0具備自主學(xué)習(xí)、自動(dòng)反思和自主更新的能力，可以在這個(gè)世界自由探索，甚至與人類互動(dòng)。

基于此，Awaker 1.0在理解側(cè)和生成側(cè)都能生成源源不斷的新交互數(shù)據(jù)。

怎么做到的？

在理解側(cè)，Awaker 1.0與數(shù)字世界和現(xiàn)實(shí)世界進(jìn)行交互。

在執(zhí)行任務(wù)的過程中，Awaker 1.0將場景行為數(shù)據(jù)反哺給模型，以實(shí)現(xiàn)持續(xù)更新與訓(xùn)練。

在生成側(cè)，Awaker 1.0可以進(jìn)行高質(zhì)量的多模態(tài)內(nèi)容生成，為理解側(cè)模型提供更多的訓(xùn)練數(shù)據(jù)。

在理解側(cè)和生成側(cè)的兩個(gè)循環(huán)中，Awaker 1.0實(shí)際實(shí)現(xiàn)了將視覺理解與視覺生成進(jìn)行融合。

要知道，Sora問世后，越來越多聲音表示，要通往AGI，必須達(dá)成“理解和生成的大一統(tǒng)”。

以新知識注入為例，下面來看個(gè)具體跑通的例子。

Awaker 1.0能夠不斷在互聯(lián)網(wǎng)上學(xué)習(xí)實(shí)時(shí)新聞信息，同時(shí)，它結(jié)合新學(xué)習(xí)到的新聞信息來回答各種復(fù)雜問題。

這和目前兩種主流，即RAG和傳統(tǒng)長上下文方式還不太一樣，Awaker 1.0是真的把新知識“記憶”在自個(gè)兒模型的參數(shù)上。

可以看到，連續(xù)3天的自我更新過程中，Awaker 1.0每天都能學(xué)習(xí)當(dāng)天的新聞信息，并在描述中準(zhǔn)確地說出對應(yīng)信息。

而且雖然一直在學(xué)，Awaker 1.0倒沒有顧此失彼，它并不會(huì)很快地遺忘學(xué)過的知識。

譬如，4月16日學(xué)進(jìn)去的智界S7相關(guān)知識，在2天后仍然被Awaker 1.0記住或理解。

So，在這個(gè)數(shù)據(jù)如金的時(shí)代，別再哀嘆“數(shù)據(jù)不夠用”了。

面對數(shù)據(jù)瓶頸的團(tuán)隊(duì)們，一種可行、可用的新選擇，不就被Awaker 1.0送來了？

具身智能“活”的大腦

話說回來，正是由于實(shí)現(xiàn)了視覺理解與視覺生成的融合，當(dāng)遇到“多模態(tài)大模型適配具身智能”的問題，Awaker 1.0的驕傲已經(jīng)顯露無疑。

事情是這樣的：

Awaker 1.0這類多模態(tài)大模型，其具有的視覺理解能力可以天然與具身智能的“眼睛”相結(jié)合。

而且主流聲音也認(rèn)為，“多模態(tài)大模型+具身智能”有可能大幅地提升具身智能的適應(yīng)性和創(chuàng)造性，甚至是實(shí)現(xiàn)AGI的可行路徑。

理由不外乎兩點(diǎn)。

第一，人們期望具身智能擁有適應(yīng)性，即智能體能夠通過持續(xù)學(xué)習(xí)來適應(yīng)不斷變化的應(yīng)用環(huán)境。

這樣一來，具身智能既能在已知多模態(tài)任務(wù)上越做越好，也能快速適應(yīng)未知的多模態(tài)任務(wù)。

第二，人們還期望具身智能具有真正的創(chuàng)造性，希望它通過對環(huán)境的自主探索，能夠發(fā)現(xiàn)新的策略和解決方案，并探索AI的能力邊界。

但是二者的適配，并不是簡簡單單把多模態(tài)大模型鏈接個(gè)身體，或直接給具身智能裝個(gè)腦子那么簡單。

就拿多模態(tài)大模型來說，至少有兩個(gè)明顯的問題擺在面前。

一是模型的迭代更新周期長，需要大量的人力投入；

二是模型的訓(xùn)練數(shù)據(jù)都源自已有的數(shù)據(jù)，模型不能持續(xù)獲得大量的新知識。雖然通過RAG和擴(kuò)長上下文窗口也可以注入持續(xù)出現(xiàn)的新知識，模型記不住，補(bǔ)救方式還會(huì)帶來額外的問題。

總之，目前的多模態(tài)大模型在實(shí)際應(yīng)用場景中不具備很強(qiáng)的適應(yīng)性，更不具備創(chuàng)造性，導(dǎo)致在行業(yè)落地時(shí)總是出現(xiàn)各種各樣的困難。

妙啊——還記得我們前面提到，Awaker 1.0不僅可以學(xué)新知識，還能記住新知識，并且這種學(xué)習(xí)是每天的、持續(xù)的、及時(shí)的。

從這張框架圖可以看出，Awaker 1.0能夠與各種智能設(shè)備結(jié)合，通過智能設(shè)備觀察世界，產(chǎn)生動(dòng)作意圖，并自動(dòng)構(gòu)建指令控制智能設(shè)備完成各種動(dòng)作。

在完成各種動(dòng)作后，智能設(shè)備會(huì)自動(dòng)產(chǎn)生各種反饋，Awaker 1.0能夠從這些動(dòng)作和反饋中獲取有效的訓(xùn)練數(shù)據(jù)進(jìn)行持續(xù)的自我更新，不斷強(qiáng)化模型的各種能力。

這就相當(dāng)于具身智能擁有一個(gè)活的大腦了。

誰看了不說一句how pay（狗頭）～

尤其重要的是，因?yàn)榫邆渥灾鞲履芰Γ?strong>Awaker 1.0不單單是可以和具身智能適配，它還適用于更廣泛的行業(yè)場景，能夠解決更復(fù)雜的實(shí)際任務(wù)。

例如，Awaker 1.0與各種智能設(shè)備結(jié)合，從而實(shí)現(xiàn)云邊協(xié)同。

這時(shí)候，Awaker 1.0就是部署在云端的“大腦”，觀察、指揮，控制各種邊端智能設(shè)備執(zhí)行各項(xiàng)任務(wù)。

而邊端智能設(shè)備執(zhí)行各項(xiàng)任務(wù)時(shí)獲得的反饋，又會(huì)源源不斷地傳回給Awaker 1.0，讓它持續(xù)地獲得訓(xùn)練數(shù)據(jù)，不斷進(jìn)行自我更新。

這可不是紙上談兵，Awaker 1.0與智能設(shè)備的云邊協(xié)同的技術(shù)路線，已經(jīng)應(yīng)用在電網(wǎng)智能巡檢、智慧城市等應(yīng)用場景中，并取得了遠(yuǎn)好于傳統(tǒng)小模型的識別效果。

多模態(tài)大模型能聽、能看、能說，在語音識別、圖像處理、自然語言理解等多個(gè)領(lǐng)域展現(xiàn)出了巨大的潛力和應(yīng)用價(jià)值，幾乎無所不能。

但它的煩惱很明顯，如何不斷吸收新知識、適應(yīng)新變化？

可以說，修煉內(nèi)功、提升武藝成為了多模態(tài)大模型面臨的一個(gè)重要課題。

智子引擎Awaker 1.0的問世，為多模態(tài)大模型的自我超越提供了一把鑰匙。

它好像會(huì)了那個(gè)吸星大法，通過自主更新機(jī)制，打破了數(shù)據(jù)短缺的瓶頸，為多模態(tài)大模型的持續(xù)學(xué)習(xí)和自我進(jìn)化提供了可能；再就是利用云邊協(xié)同技術(shù)，勇闖在具身智能等智能體設(shè)備的具體應(yīng)用場景。

這或許是邁向AGI的一小步，但同時(shí)也是多模態(tài)大模型自我超越之旅的一個(gè)開始。

漫長而艱難的旅程，需要智子引擎這樣的團(tuán)隊(duì)，向技術(shù)的高峰不斷攀登。