百度交出一款“貪吃蛇”和一個文心一言“加強版”
時間是殘酷游戲,比如當驚艷的Apple Vision Pro終于出場,早已無人惦記遙遠的諾基亞。
但包括未來將要登陸Apple Vision Pro的游戲開發者Ryan McLeod在內,一切手機游戲都需要向諾基亞在1997年首次將《貪吃蛇》內置的決定致敬,這個動作真正打開了手機游戲的歷史。
《貪吃蛇》的游戲邏輯很簡單,吃果子可以得分但身體會變長,控制方向不撞到邊界或自己。時至今日諾基亞已經幾乎離開大眾視線,以《貪吃蛇》為根源的游戲仍然活躍,甚至“如何用最短的代碼寫出一個貪吃蛇游戲”至今仍然是開發者社區里有吸引力的話題。
這個現在古典而充滿美感的游戲也變成了大模型時代度量AI能力的尺子。百度智能云AI平臺副總經理施恩在一個新的代碼助手Comate幫助下,從畫布開始搭建《貪吃蛇》,直到最終貪吃蛇扭動著出現,AI完成了其中大半的代碼工作。
整個過程不到5分鐘。
開發者的Comate
大模型短暫而劇烈的競爭直到現在,黑箱的迷霧仍未散去,外界的注意力正在變化。各種宏大愿景開始冷靜下來,轉換成對更具體事物的關注。比如生成式AI在當下究竟可以為行業帶來什么新的生產力。
6月6日,在成都舉行的文心大模型技術交流會上,百度開放了代碼助手Comate邀測。這是一個與GitHub Copilot等代碼編寫助手相似,但用了更多中文注釋和開發文檔作為訓練數據煉成的智能開發工具。在編碼過程中,Comate可以根據開發者當前在編寫的內容,推理出接下來可能的輸入選擇。
文心大模型是宏大的,Comate是具體的。
對于《貪吃蛇》的游戲開發(網頁版本)過程來說,開發者首先要在畫布上畫底,然后設定鍵盤的操作方式以及游戲結束條件的判斷,除此之外,就是爬行速度等環境要素的控制。對于Comate來說,只需要輸入“canvas”,以及“彈性布局,水平居中,垂直居中”的中文備注,就可以完成游戲畫布代碼的生成。然后輸入“param color”、“left”、”food=”等顏色、方向、食物的簡單詞,Comate會自動聯系上下文理解指令,補全代碼,并在多條推薦代碼之間切換,選擇合適代碼后,直接生成了可運行的《貪吃蛇》游戲。
據百度介紹,目前Comate能力已經率先集成在百度所有業務線中并實現了很好的使用效果:核心研發部門中50%的代碼可通過Comate生成。從去年開始Comate已經在百度內部進行了大量測試。測試結果顯示,在“Comate”輔助編寫的代碼中,近50%的建議代碼被開發者采納,目前在百度內部已經廣泛應用到各類產品開發中。
Comate深度學習的對象除了百度內部的代碼庫也包括高質量Github代碼庫。現在這個代碼助手可以實現代碼自動生成、代碼自動補全、代碼智能搜索、高質量代碼推薦、測試代碼自動生成等多種智能功能。推理速度上單請求可實現300ms左右,這意味著開發者不需要停下來等待代碼生成,Comate完全可以匹配上開發者的編碼速度。
當前Comate代碼助手支持主流開發語言/框架30余種,對于C/C++、Java、Python等主流語言Comate專門做了數據優化,可達到更好的代碼推薦效果。此外,Comate還支持前后端、軟硬件不同場景、以及程序員常用的多種IDE。
從這個角度來看,《貪吃蛇》是一次直觀卻并不充分的演示。施恩也表示,《貪吃蛇》的代碼開發其實已經可以完全依靠大模型來不加干涉的自動生成。只不過有趣的是,Comate從原本百度內部智能工作平臺推出的一個“代碼推薦工具”到現在的“代碼生成助手”,本身也得益于大模型的能力加持。
百度智能云AI平臺副總經理施恩 圖源:百度
Comate的孵化開始于2018年左右,百度內部在尋找提升開發效能的辦法時已經提到了代碼生成。但技術不夠成熟,所以先選擇通過檢索算法并做算法推薦的方式來提效。“那時候技術探索已經在嘗試了。但在文心大模型出現之后,我們才把真正的代碼生成在更廣泛的場景應用起來”,百度智能云AI平臺副總經理李景秋對品玩表示。
Comate從搜索邏輯過渡到生成邏輯,大模型的能力開始在開發環節呈現出生產力變革的姿態。而如果說Comate是文心大模型對開發者的一次回答,那“文心一言- Turbo”則是文心一言上線兩個月后,百度給產業交出的一個新方案。藏于其后的,是文心千帆大模型平臺在兩個月后逐漸清晰的迭代路線。
文心千帆的迭代方向:效果+效率
百度將文心千帆定義為全球首個一站式的企業級大模型平臺。具體來看,文心千帆不僅提供包括文心一言底層模型(Ernie bot)在內的大模型服務,還提供了各種AI開發工具鏈和整套開發環境。此外,大模型平臺還支持各類第三方的開源和閉源的大模型。自3月27日首次啟動內測開始,在文心千帆的支撐下,文心一言在兩個月內完成了四次技術迭代。
在4月25日的一場技術交流會上,百度集團副總裁侯震宇透露自內測以來,通過算法和模型的持續優化,文心一言推理效率提升10倍,推理成本降為原來十分之一。一個半月后,文心一言的高性能模式“文心一言- Turbo”作為文心千帆第一階段迭代的結語成果出現。在一些高頻、核心場景,在滿足同樣客戶需求的情況下,推理服務的整體性能總共提升了50倍。
多次迭代后,文心千帆的兩個進化方向也已經顯現出來:效果和效率。
在效果上,除了推理性能的大幅提升外,“文心一言- Turbo”支持SFT訓練,同時針對不同場景和效果提供多種訓練方式,Bloom7B(70億參數)第三方大模型可支持 P-tuning、SFT、Lora等不同訓練方式。并且由于企業對于大模型再訓練的需求以及私有化部署的考慮,文心千帆將開放插件協議,能夠讓第三方企業基于插件協議共享插件,通過插件的方式,把內部的數據完全接入,同時實現更好的大模型效果。
除此之外,文心千帆將會提供一部分預制的Prompt模板,同時支持Prompt模板的增刪改查以及支持參數插值的調用模板,支持通過服務接口形式調用Prompt模板,用于獲得更好的推理效果。
與效果并行的則是效率,或者也可以理解成性價比。
“文心一言- Turbo”推理效率的50倍增長意味著大模型推理成本的大幅下降,這將是文心一言大模型內測僅一個月后,大模型推理成本降為原來1/10之后的又一次提升。并且在數據標注方面,“文心一言- Turbo”未來能夠批量生成標注數據并快速用于后續訓練,相比于此前手動的數據標注形式將會大大降低數據標注成本。
在部署方式上,文心千帆也在逐步增加應對客戶的靈活度。
文心千帆對外提供“3+3”的交付方式。在公有云服務側提供推理(直接調用大模型的推理能力)、微調(通過高質量精標業務數據,高效訓練出特定行業的大模型)、托管(將模型發布在百度智能云,以實現更加穩定高效的運行)三種服務來降低企業部署大模型的門檻。
而在頗受關注的私有化部署側,文心千帆支持軟件授權(提供在企業環境中運行的大模型服務)、軟硬一體(提供整套大模型服務及對應的硬件基礎設施)以及租賃服務(提供機器和平臺的租賃滿足客戶低頻需求)。其中最新加入的租賃服務意在滿足預算有限,或對模型訓練需求更低頻的客戶。
文心千帆大模型平臺在兩個月內急速的迭代腳步,以及在效果和效率兩端清晰的路線規劃,并不只是算力的優勢作用,背后體現出更多的是百度AI四層架構的整體優勢。
李彥宏 圖源:搜狐
李彥宏曾公開表示,百度是全球唯一在芯片、框架、模型和應用這四層進行全棧布局的人工智能公司。昆侖芯作為百度在底層芯片上的布局,已經有兩代產品實現數萬片的部署,第三代預計在明年年初量產;飛槳已經是國內綜合市場份額第一的深度學習框架;文心大模型家族中除了文心一言,還有包括NLP、CV、跨模態等通用大模型及11行業大模型,并與應用層的豐富積累互為羽翼卷起數據飛輪。這個完整布局也讓當下文心千帆在面對300家生態伙伴以及400多個企業內部場景時有了靈活進化的前提條件。
文心千一言每一次技術演進都是從芯片層到框架層、到模型層以及應用層多個團隊的共同努力。“我們內部會拉一個工作群,這里有昆侖芯片的人,有飛槳框架團隊的人,有大模型NLP算法策略的人,也有我們大模型平臺工具鏈的人,還有終端應用智能客服的人。每個月會設定共同的目標,比如這個月性能必須提升到什么樣的水平。”李景秋表示。
也如百度集團副總裁侯震宇在5月初的一次閉門會上所說,“大模型時代下,企業的創新要脫穎而出,不但需要智能的算力、靈活的框架平臺、豐富的大模型體系以及優質的應用方案,還需要這四者之間端到端的適配與優化,這是一個‘既要、又要、還要’的端到端創新工程。”
而幾乎所有人都能感覺到,百度在大模型這一仗上,開始顯出后勁了。
本站所有文章、數據、圖片均來自互聯網,一切版權均歸源網站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com