近日，聯(lián)發(fā)科舉辦了第一屆天璣開(kāi)發(fā)者大會(huì)2024（MDDC 2024），以“AI予萬(wàn)物”為主題，通過(guò)多項(xiàng)成果，引領(lǐng)基于生成式AI的移動(dòng)生態(tài)創(chuàng)新。

本次大會(huì)上，聯(lián)發(fā)科與合作伙伴共同啟動(dòng)了“天璣AI先鋒計(jì)劃”，發(fā)布了《生成式AI手機(jī)產(chǎn)業(yè)白皮書(shū)》，公布了旗艦5G生成式AI移動(dòng)芯片天璣9300+，還展示了生成式AI端側(cè)部署解決方案“天璣AI開(kāi)發(fā)套件”、星速引擎游戲生態(tài)、多場(chǎng)景端側(cè)AI應(yīng)用。

天璣AI先鋒計(jì)劃由聯(lián)發(fā)科主導(dǎo)，聯(lián)合阿里云、百川智能、傳音、零一萬(wàn)物、OPPO、榮耀、vivo、小米等眾多云服務(wù)、大模型、終端廠商，面向全球開(kāi)發(fā)者。

該計(jì)劃將整合聯(lián)發(fā)科與產(chǎn)業(yè)生態(tài)伙伴的資源，為探索端側(cè)生成式AI應(yīng)用與場(chǎng)景創(chuàng)新的開(kāi)發(fā)者，提供豐富的開(kāi)發(fā)資源、技術(shù)支持和商業(yè)機(jī)會(huì)。

目前，已經(jīng)有大量的應(yīng)用開(kāi)發(fā)廠商和開(kāi)發(fā)者加入了天璣AI先鋒計(jì)劃，現(xiàn)場(chǎng)登臺(tái)助陣的就有小紅書(shū)、美圖、酷狗音樂(lè)、虎牙直播、抖音、騰訊AI Lab、Soul、全民K歌、RWKV、COCOS等等。

不少應(yīng)用都在會(huì)場(chǎng)同步展示了各自的AI新體驗(yàn)，我們會(huì)在后邊的環(huán)節(jié)和大家分享。

聯(lián)發(fā)科與權(quán)威市調(diào)機(jī)構(gòu)Counterpoint攜手阿里云通義千問(wèn)、百川大模型、虎牙、酷狗音樂(lè)、零一萬(wàn)物、OPPO、Soul、騰訊AI Lab、騰訊混元、vivo，聯(lián)合發(fā)布了《生成式AI手機(jī)產(chǎn)業(yè)白皮書(shū)》，共同定義了“生成式AI手機(jī)”的概念和典型特征。

按照這份白皮書(shū)的定義，生成式AI手機(jī)就是可以利用大規(guī)模、預(yù)訓(xùn)練的生成式 AI模型，實(shí)現(xiàn)多模態(tài)內(nèi)容生成、情境感知，并具備不斷增強(qiáng)的類(lèi)人能力。

白皮書(shū)還詳細(xì)闡述了生成式AI與智能手機(jī)深度融合的趨勢(shì)，深入探討了生成式AI手機(jī)生態(tài)中芯片廠商、手機(jī)廠商、大模型廠商、開(kāi)發(fā)者的AI戰(zhàn)略，以及生成式AI手機(jī)的軟硬件科技全景，并展望了生成式AI手機(jī)的發(fā)展趨勢(shì)。

聯(lián)發(fā)科作為底層硬件供應(yīng)商，可為生成式AI手機(jī)提供強(qiáng)大的硬件支持，包括先進(jìn)的移動(dòng)計(jì)算平臺(tái)、集成或獨(dú)立的NPU單元、大容量和高帶寬的內(nèi)存、穩(wěn)定高速的網(wǎng)絡(luò)連接、硬件級(jí)和系統(tǒng)級(jí)的安全防御。

最新發(fā)布的天璣9300+，就是典型代表。

天璣9300+繼續(xù)采用臺(tái)積電第三代4nm先進(jìn)工藝和全大核CPU架構(gòu)，包括四個(gè)X4 超大核，最高頻率可達(dá)3.4 GHz，以及四個(gè)A720大核，主頻2.0GHz，還有12核心的Immortalis-G720 GPU、18MB緩存，支持LPDDR5T 9600Mbps高頻內(nèi)存。

天璣9300+內(nèi)置第七代AI引擎APU 790，有著強(qiáng)大的生成式AI算力，率先在端側(cè)支持AI推測(cè)解碼加速技術(shù)，生成速度可提升120％。

支持天璣AI LoRA Fusion 2.0技術(shù)，也就是雙LoRA融合，生成效率提升100％，內(nèi)存空間節(jié)省50％，使得生成式AI體驗(yàn)更高效、更個(gè)性化。

支持前沿主流的生成式AI大模型，覆蓋文字、圖像、音樂(lè)等AI多模態(tài)場(chǎng)景，包括阿里云通義千問(wèn)、百川、百度文心一言、谷歌Gemini Nano、零一萬(wàn)物、Meta Llama 2/3、ERNIE-3.5-SE。

尤其是它在業(yè)內(nèi)率先實(shí)現(xiàn)了以每秒22 tokens在端側(cè)高速運(yùn)行Llama 2 70億參數(shù)大模型。

此外還支持AI框架ExecuTorch，可加速端側(cè)生成式AI應(yīng)用的開(kāi)發(fā)。

同時(shí)，聯(lián)發(fā)科的星速引擎全面升級(jí)，為游戲開(kāi)發(fā)者提供MAGT自適應(yīng)技術(shù)軟件開(kāi)發(fā)套件、硬件光線追蹤技術(shù)軟件兩大開(kāi)發(fā)套件，通過(guò)精準(zhǔn)性能管理、光追效果優(yōu)化、網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)等關(guān)鍵技術(shù)，提升畫(huà)面的逼真度、流暢度，觸控和網(wǎng)絡(luò)的響應(yīng)度，設(shè)備續(xù)航的持久度。

星速引擎可以打通硬件平臺(tái)、游戲之間的隔閡，為彼此溝通建立橋梁，實(shí)現(xiàn)性能的實(shí)時(shí)按需響應(yīng)。

MAGT技術(shù)打開(kāi)之后，游戲載入速度可加快11％，從而更持久滿幀。

再結(jié)合精準(zhǔn)的系統(tǒng)監(jiān)控、與頭部游戲的深度聯(lián)合調(diào)校，可以保證游戲滿幀的同時(shí)功耗進(jìn)一步降低10％

網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)技術(shù)方面，通過(guò)與騰訊云聯(lián)合，可以實(shí)時(shí)監(jiān)控游戲網(wǎng)絡(luò)的連接質(zhì)量，讓游戲更高效地運(yùn)用Wi-Fi、蜂窩網(wǎng)絡(luò)并發(fā)技術(shù)，在玩網(wǎng)絡(luò)游戲時(shí)更加穩(wěn)定。

相比傳統(tǒng)的Wi-Fi/蜂窩網(wǎng)絡(luò)雙網(wǎng)并發(fā)技術(shù)，它可以提前100ms預(yù)測(cè)弱網(wǎng)，準(zhǔn)確率超過(guò)90％，而在Wi-Fi弱網(wǎng)環(huán)境下開(kāi)啟，可節(jié)省10％的滿幀功耗、25％的數(shù)據(jù)使用量。

此外，聯(lián)發(fā)科還積極與Arm、Google、Khronos、UE虛幻引擎等行業(yè)伙伴共同進(jìn)行前沿技術(shù)的探索，擴(kuò)大天璣游戲生態(tài)圈，尤其是推動(dòng)硬件光追游戲加速落地。

本次大會(huì)的另一個(gè)看點(diǎn)，就是天璣AI開(kāi)發(fā)套件，包括四大模塊，分別是快速高效的GenAI最佳實(shí)踐、覆蓋全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優(yōu)化技術(shù)、Neuron Studio 一站式視覺(jué)化開(kāi)發(fā)環(huán)境。

聯(lián)發(fā)科表示，天璣AI開(kāi)發(fā)套件可以為開(kāi)發(fā)者提供“快、全、強(qiáng)、易”的專業(yè)開(kāi)發(fā)體驗(yàn)，加速終端生成式AI應(yīng)用的開(kāi)發(fā)全流程。

其中，GenAI最佳實(shí)踐通過(guò)模型量化、模型編譯和模型推理技術(shù)，加速大模型的終端部署，可使原本需要幾個(gè)星期的工作量，縮短為區(qū)區(qū)一天。

GenAI Model Hub適配行業(yè)前沿主流的大模型，為開(kāi)發(fā)者提供創(chuàng)建生成式AI應(yīng)用所需的豐富大模型資源。

GenAI優(yōu)化技術(shù)只要包括推測(cè)解碼加速、LoRA Fusion等等。

Neuron Studio集成開(kāi)發(fā)環(huán)境可提供一站式可視化的開(kāi)發(fā)環(huán)境，跳出傳統(tǒng)的代碼開(kāi)發(fā)環(huán)境，讓開(kāi)發(fā)變成“所見(jiàn)即所得”。

目前，天璣AI開(kāi)發(fā)者套件已覆蓋智能手機(jī)、智能汽車(chē)、物聯(lián)網(wǎng)、PC電腦等眾多智能終端設(shè)備，賦能全場(chǎng)景的生成式AI應(yīng)用開(kāi)發(fā)。

目前，聯(lián)發(fā)科已攜手阿里云通義千問(wèn)、Cocos、王者榮耀、虎牙直播、酷狗音樂(lè)、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書(shū)等數(shù)十家生態(tài)伙伴，打造體驗(yàn)截然不同的生成式AI應(yīng)用。

這是聯(lián)發(fā)科第一次舉辦開(kāi)發(fā)者大會(huì)，堪稱聯(lián)發(fā)科歷史上的一個(gè)重要轉(zhuǎn)折點(diǎn)，更是整個(gè)行業(yè)的一個(gè)里程碑，引領(lǐng)著生成式AI移動(dòng)生態(tài)的變革。

它標(biāo)志著，聯(lián)發(fā)科天璣平臺(tái)的角色，已經(jīng)從以往的技術(shù)引領(lǐng)者，變成了移動(dòng)行業(yè)的創(chuàng)新領(lǐng)導(dǎo)者，不再局限于自身的發(fā)展，更把眼光和視野拓展到了行業(yè)的推進(jìn)。

天璣品牌誕生以來(lái)，聯(lián)發(fā)科通過(guò)持續(xù)的技術(shù)投入與開(kāi)放合作，贏得了終端廠商、應(yīng)用開(kāi)發(fā)商、消費(fèi)者的廣泛青睞，也形成了蓬勃的移動(dòng)生態(tài)。

今天，生成式AI正在悄然改變各個(gè)計(jì)算行業(yè)，尤其是移動(dòng)產(chǎn)業(yè)，勢(shì)必會(huì)顛覆所有人的生活、工作、娛樂(lè)體驗(yàn)。

在這股浪潮之下，聯(lián)發(fā)科提供的已經(jīng)不僅僅是基礎(chǔ)性的底層硬件，還有全鏈一站式的開(kāi)發(fā)工具、優(yōu)化技術(shù)，更肩負(fù)著領(lǐng)導(dǎo)與樞紐的職責(zé)，聯(lián)合眾多行業(yè)伙伴，共同定義新概念、新技術(shù)，共同推進(jìn)應(yīng)用與生態(tài)發(fā)展。

接下來(lái)，我們逐個(gè)體驗(yàn)一下與聯(lián)發(fā)科平臺(tái)合作優(yōu)化的手機(jī)端側(cè)生成式AI應(yīng)用。

先看一段現(xiàn)場(chǎng)視頻：

抖音帶來(lái)了兩項(xiàng)應(yīng)用，一是AI實(shí)時(shí)特效，基于聯(lián)發(fā)科APU，在硬件算力基礎(chǔ)上結(jié)合算法打磨、工程優(yōu)化，在效果、流暢度、功耗方面帶來(lái)更出色的體驗(yàn)。

二是端側(cè)SDXL-Lightning高畫(huà)質(zhì)文生圖，由抖音智能創(chuàng)作團(tuán)隊(duì)開(kāi)發(fā)。

它采用漸進(jìn)式對(duì)抗蒸餾技術(shù)，可以在4步甚至2步之內(nèi)生成高質(zhì)量和分辨率的圖像，更是1步即可為超時(shí)敏感應(yīng)用生成圖像。

根據(jù)內(nèi)部測(cè)試，1024*1024分辨率在手機(jī)端生圖速度1步約為2秒，2步約為5秒。

虎牙直播，率先實(shí)現(xiàn)了AI實(shí)時(shí)換臉，基于圖生圖的AI算法，可以豐富主播直播內(nèi)，并給用戶帶來(lái)端上畫(huà)質(zhì)增強(qiáng)。

它支持450P分辨率兩倍超分，變成900p；還支持720P原畫(huà)增強(qiáng)，可以去除原畫(huà)噪聲，增強(qiáng)畫(huà)面紋理細(xì)節(jié)。

酷狗音樂(lè)，支持歌詞生圖、快速配圖、手動(dòng)生圖等玩法。

全民K歌，率先將端側(cè)模型歌曲生成SVC模型落地天璣9300，保證高性能的同時(shí)，提升了推理速度，可以輕松還原美妙歌聲，一鍵演唱實(shí)力歌手歌曲，還能生成你和歌手的合唱作品，堪稱五音不全者的救星。

Soul APP，主打AI情感陪伴，率先引入LoRA技術(shù)，單模型支持多形象切換，無(wú)需聯(lián)網(wǎng)，隱私安全。

支持LLM+SD混合切換，LLM只需一次配置就能支持多輪對(duì)話。

阿里云通義Qwen Al Agent(智能體)，號(hào)稱你身邊的超級(jí)AI助手。

基于通義大模型，Qwen Al Agent可以感知環(huán)境、進(jìn)行決策并執(zhí)行指令，可以思考并調(diào)用工具完成目標(biāo)。

通過(guò)通義千問(wèn)APP(或接入通義大模型的應(yīng)用)，本地模型可以離線完成任務(wù)需求整理->路線規(guī)劃設(shè)計(jì)->任務(wù)確認(rèn)->指令下發(fā)對(duì)應(yīng)服務(wù)并執(zhí)行任務(wù)的全流程閉環(huán)，交互體驗(yàn)、處理效率、準(zhǔn)確性等均遠(yuǎn)超傳統(tǒng)交互方式。

火山引擎的AI創(chuàng)作SDK套件，可以一剪成片，無(wú)論是在手機(jī)、平板還是汽車(chē)上都可以隨時(shí)創(chuàng)作。

其中，EffectOne SDK為手機(jī)應(yīng)用、OEM客戶提供完整的端側(cè)圖片、視頻創(chuàng)作技術(shù)解決方案，包含拍攝、編輯、特效(2D/3D/AIGC)、視頻模板等。

The Moment SDK為車(chē)載端創(chuàng)作套件，提供更簡(jiǎn)便的車(chē)端創(chuàng)作能力，包含一鍵成片、剪同款、高光成片等自動(dòng)成片能力，也包含更靈活的基礎(chǔ)編輯能力，結(jié)合AIGC、海量特效提供豐富的模板選擇。

《逆水寒》手游和《暗區(qū)突圍》率先落地移動(dòng)端硬件光線追蹤技術(shù)、MAGT游戲自適應(yīng)調(diào)控技術(shù)。

《王者榮耀》海外版的玩家私人游戲教練，率先實(shí)現(xiàn)游戲教學(xué)音伴AI在天璣手機(jī)端側(cè)的落地。

它通過(guò)TTS文本語(yǔ)音轉(zhuǎn)換建立AI與玩家的橋梁，教會(huì)玩家MOBA游戲玩法/場(chǎng)面預(yù)判/出裝建議，結(jié)合精準(zhǔn)的語(yǔ)音生成，打造獨(dú)特的音色樂(lè)律和人設(shè)背景，讓玩家更容易沉浸。

包括開(kāi)局英雄出裝輔導(dǎo)，對(duì)戰(zhàn)中英雄消失提醒、敵方出裝提醒、團(tuán)戰(zhàn)準(zhǔn)備等，消滅對(duì)方英雄后擊殺鼓勵(lì)、勝率播報(bào)。