臺北電腦展2024活動期間，文Q有幸獨家采訪了AMD GPU技術與工程研發高級副總裁王啟尚(David Wang)。

王啟尚先生有著30多年的顯卡和芯片工程研發經驗，目前在AMD負責架構、IP和軟件等GPU技術開發，同時領導著AMD顯卡、數據中心GPU、客戶端和半定制業務SoC的工程研發。

與王啟尚先生的合影

訪談從AI LLM大語言模型開始。

王啟尚在此前3月份北京舉辦的AMD AI PC創新峰會上就開門見山地分析了LLM的發展趨勢，大型閉源模型越來越龐大，比如GPT-4的參數量已經達到1.76萬億；即便是相對小型的開源模型也在膨脹，Llama 2參數量達700億，阿里通義千問2達到720億。

如此龐大的LLM，對于算力的需求是十分“饑渴”的，同樣需要海量的電力去支撐，遠超一般數據中心的承受能力，越發引起行業的擔憂。

對此，王啟尚分析指出，基礎大模型的參數規模成長曲線比摩爾定律來得還要猛烈，幾乎每兩年就增長多達5-10倍，所以誕生了新的“混合專家模型”(MOE)策略，將單一大模型變為眾多專家模型的集合，每一個都有自己專門擅長的領域，因此不需要超級龐大甚至無限制，相信未來會越來越流行。

在硬件方面，每一年都在更新換代，匹配大模型的快速進化趨勢，重點就是提升算力和算法、內存容量和帶寬。

其中，算力和精度密切相關，趨勢是越來越低，前幾年需要16位，現在逐漸轉向8位精度，AMD下一代CDNA4 MI350會進一步降至6位或者4位，而最終可能會走向2位或者1位——人腦就是1位或者2位的。

當然，這個精度也要看模型的設計，有時可能需要量化和重新訓練。

目前來看，沒什么“魔法”大幅降低硬件的功耗，能做的就是努力提升能效。

比如AMD的下一代產品，性能可以提升35倍，但功耗不會增加這么多，客戶依然愿意購買越來越多的GPU，畢竟算力依然不夠。

王啟尚承認，電力的問題會一直存在，未來數據中心可能真的需要自建發電廠。

回到距離我們更近的AI產品，比如說Strix Point的下一代移動處理器銳龍AI 300系列，NPU的算力達到了50TOPS，可以滿足更多對算力有需求的場景，更多地接手CPU、GPU的工作。

王啟尚表示，每一種AI引擎都有適合自己的工作，比如CPU主要做通用運算，GPU可以快速訓練大模型，NPU則可以達成最低的功耗和最高的能效，當然將負載遷移到NPU上都需要一定的優化和時間。

特別是在GPU、NPU之間，存在著折衷和妥協，取決于你看中高速度還是高能效。

另一方面，在未來，AMD希望通過多層的Graph Compile 編譯器，根據系統里的AI引擎類別，可以將不同的負載分配給不同的AI引擎，讓CPU、GPU、NPU同時跑起來，達到最高效率。

不過這方面還需要一定的時間，目前仍是將全部的工作負載放在同一個編譯器里執行，我們能做的是讓整個模型變得更成熟，使其簡單地進行編譯最佳化，但這仍需要一定的人力成本。

當筆者問到，說起CPU、GPU、NPU的多引擎組合，Intel也已經具備全線實力，NVIDIA也在嘗試做自己的CPU，AMD又該怎么辦呢？

王啟尚認為，每一家廠商都有自己的獨特優勢，AMD的三種引擎在業內都是非常好的，也非常均衡。

未來，AMD將繼續發揮三種引擎都可以提供最佳狀態的優勢，每一樣都要做好，同時延續AMD一貫的企業文化，在軟件方面堅持開源，和行業伙伴共同創新，打造開放的生態鏈，擁抱AI大時代。

比如AMD聯合博通、思科、谷歌、慧與、Intel、Meta、微軟共同宣布了開放的行業標準UALink(Ultra Accelerator Link)，共同推進AI基礎設施建設。

在這八大創始成員中，谷歌、慧與、Meta、微軟都是數據中心客戶，都非常高興能有這樣的開放標準，可以更標準化、更容易地擴建大規模數據中心，不會被限制在專有方案中。

最后聊到了王啟尚的專長，也就是GPU發展，包括銳龍AI 300系列核顯使用的RDNA 3.5(或者叫RDNA 3+)，以及下一代顯卡將會使用的RDNA 4。

具體細節目前肯定無法公開，不過王啟尚透露，RDNA 3.5重點針對APU環境做了優化，比如集成圖形核心規模從12個CU單元增加到最多提供16個CU單元（筆者換算為增幅33%），對于APU來說是非常強悍的，可以更好地用于游戲。

RDNA 4在游戲方面的重點就是通過AI增強游戲體驗，包括更強的光線追蹤，更多的AI加速畫質和幀率。

事實上，這也是RDNA GPU家族發展的大方向。

根據王啟尚先生的精彩分享，我們拭目以待AMD在未來的AI進擊！