一款名叫Gaudi2的AI芯片，2022年和2023年英特爾都為其開了一場(chǎng)發(fā)布會(huì)，為什么？

有兩個(gè)方面的原因，一個(gè)在當(dāng)前國際形勢(shì)下的合規(guī)之舉，另一個(gè)在生成式AI熱潮下亮出的入場(chǎng)券。

這里的入場(chǎng)券有兩層含義，一層含義是對(duì)正在四處尋找合適芯片的AI大模型算法公司來說，英特爾的Gaudi2能夠成為這些公司發(fā)展業(yè)務(wù)的算力基石，足夠的算力大模型競(jìng)賽的入場(chǎng)券。

另一層含義是對(duì)于英特爾來說，拿出的能和英偉達(dá)最先進(jìn)的H100 GPU比拼的產(chǎn)品，是其在AI大市場(chǎng)里披荊斬棘的入場(chǎng)券，也是一個(gè)“大殺器”。

站在AI的變革時(shí)刻，手握AI時(shí)代入場(chǎng)券的公司，如何才能成為AI時(shí)代的領(lǐng)導(dǎo)者？

英特爾有一個(gè)十分清晰的路線圖，2025年將會(huì)推出更適合AI需求的芯片，新的產(chǎn)品將融合Gaudi和GPU。

Gaudi2再次發(fā)布的2個(gè)原因

2022年的英特爾On產(chǎn)業(yè)峰會(huì)上，英特爾發(fā)布了新一代高性能深度學(xué)習(xí)AI訓(xùn)練處理器Habana Gaudi2，那時(shí)的Gaudi2訓(xùn)練BERT模型的性能相比英偉達(dá)A100就有2倍的性能優(yōu)勢(shì)，廣受關(guān)注。

2023年7月，英特爾在北京又舉行了一次Gaudi2的發(fā)布會(huì)，原因有兩個(gè)。

“過去5個(gè)月大模型的演進(jìn)非常快，去年發(fā)布audi2之后，我們做了大量軟件模型的優(yōu)化工作，可為大規(guī)模的多模態(tài)和語言模型提供出色的推理性能。”英特爾公司執(zhí)行副總裁，數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera說，“這次我們不只是帶來了一顆芯片，還帶來了基于Gaudi2可以大規(guī)模部署訓(xùn)練以及推理大模型的整體解決方案。”

為了市場(chǎng)需求再次發(fā)布是一個(gè)原因，另一個(gè)原因是因?yàn)檎摺?/p>

“這次在中國發(fā)布的Gaudi2，是中國定制版產(chǎn)品，對(duì)于出口或支持中國的客戶沒有任何問題。”Sandra分享。

中國版Gaudi2和國際版最大的區(qū)別是網(wǎng)口的數(shù)量，國際版集成以太網(wǎng)端口數(shù)量是24個(gè)，中國版減少到了21個(gè)，這一變化會(huì)降低中國版Gadudi2網(wǎng)絡(luò)速度，對(duì)整體的性能影響不大。

這其實(shí)是在滿足互聯(lián)總線帶寬不能超過400GB/s的美國出口法規(guī)限制。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解到，在法規(guī)的限制下，下一代Gaudi3在中國市場(chǎng)銷售的版本也會(huì)和國際版有所不同。

用性價(jià)比和英偉達(dá)掰手腕

英特爾發(fā)布中國版Gaudi2并積極宣傳的目的非常明確——從英偉達(dá)手上分一杯羹。

生成式AI火熱之后，英偉達(dá)次新的A100和最新和H100 GPU在全球都成為了緊俏商品。在中國這種情況更加嚴(yán)重，并且因?yàn)橛忻绹ㄒ?guī)的限制，A100和H100并不能直接向中國市場(chǎng)出售，只能銷售互聯(lián)帶寬更低的A800和H800。

這給包括英特爾在內(nèi)的所有高性能AI加速芯片的提供者一個(gè)絕佳的機(jī)會(huì)，能從英偉達(dá)手里分一杯羹，就意味著抓住了AI這個(gè)未來十年甚至更長(zhǎng)時(shí)間的大市場(chǎng)。

Gaudi2非常聰明地從性價(jià)比的角度與當(dāng)下最強(qiáng)大的H100和A100競(jìng)爭(zhēng)，這種聰明更直白的說就是抓住了用戶最急切的需求。

“A100的定價(jià)相比此前的產(chǎn)品已經(jīng)偏貴，到H100時(shí)定價(jià)已經(jīng)貴的有些夸張，加上供貨緊缺帶來的價(jià)格上漲，H100讓大量公司都對(duì)替代產(chǎn)品更有興趣。”多位AI行業(yè)從業(yè)者都對(duì)雷峰網(wǎng)表示，“只要其它AI芯片的性能和體驗(yàn)達(dá)到英偉達(dá)的80%，價(jià)格是英偉達(dá)的一半，就一定有客戶愿意買單。”

性價(jià)比可以借用數(shù)據(jù)直觀體現(xiàn)。最受歡迎的AI開源模型提供商Hugging Face分享性能結(jié)果顯示，Gaudi2在多種訓(xùn)練和推理基準(zhǔn)測(cè)試中表現(xiàn)出的超過英偉達(dá) A100 GPU的性能。在訓(xùn)練計(jì)算機(jī)視覺模型時(shí)，Gaudi2的每瓦性能是A100的2倍，對(duì)于1760億參數(shù)的BLOOMZ推理，Gaudi2的每瓦性能是A100的60%，有全方位的能效比優(yōu)勢(shì)。

再看AI領(lǐng)域權(quán)威的基準(zhǔn)測(cè)試MLPerf在六月發(fā)布的最新結(jié)果。

Gaudi2和英偉達(dá)H100是唯二提交GPT-3模型訓(xùn)練結(jié)果的半導(dǎo)體解決方案。結(jié)果顯示，Gaudi2在384個(gè)加速器上訓(xùn)練GPT-3的時(shí)間為311分鐘，英偉達(dá)在512個(gè)H100 GPU上的訓(xùn)練時(shí)間則為64分鐘。

“這意味著，基于GPT-3模型，每個(gè)H100的性能領(lǐng)先于Gaudi2 3.6倍。”Habana Labs首席運(yùn)營官Eitan Medina直言，“性價(jià)比是影響H100和Gaudi2相對(duì)價(jià)值的一個(gè)重要考量因素。Gaudi2服務(wù)器的成本要比H100低得多，所以Gaudi2的價(jià)格優(yōu)勢(shì)能夠大大縮小了與H100的性價(jià)比差距。”

談性價(jià)比，不能繞開軟件，也就是使用體驗(yàn)。 

幾分鐘就能遷移代碼，Gaudi2高度適配大模型

芯片的使用體驗(yàn)，對(duì)于有開發(fā)經(jīng)驗(yàn)的工程師來說是遷移的，對(duì)于沒有代碼的工程師來說是上手的難度。

Hugging Face 的首席布道者Julien Simon分享他使用Gaudi的經(jīng)歷，“在我第一次使用時(shí)，只花了10分鐘，其中還包括閱讀文檔。在運(yùn)行了我的加速腳本后，它立即就可以工作。我必須說這是我見過的最簡(jiǎn)單的開發(fā)體驗(yàn)之一，如果你有現(xiàn)成的代碼，可以在幾分鐘內(nèi)進(jìn)行遷移。”

幾分鐘就能遷移原有模型的開發(fā)體驗(yàn)來源于英特爾針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)訓(xùn)練和推理優(yōu)化的SynapseAI軟件套件。這一軟件套件集成PyTorch、TensorFlow、DeepSpeed框架，也支持Kubernetes編排，定制編譯器。

同時(shí)，SynapseAI軟件套件也有強(qiáng)大的合作伙伴生態(tài)系統(tǒng)，包括Hugging Face、PyTorch Lightning、RedHat。其中，超過5萬個(gè)模型在Hugging Face平臺(tái)上使用Optimum Habana軟件庫進(jìn)行了優(yōu)化。

這讓Gaudi2對(duì)大模型開發(fā)者非常友好，從github上也能看到Optimum Habana對(duì)大量大模型支持的情況。像是對(duì)Stable Diffusion（一個(gè)用于從文本生成圖像的最先進(jìn)生成式AI模型之一）訓(xùn)練，Gaudi2能夠?qū)崿F(xiàn)從1張卡至64張卡近線性99%的擴(kuò)展性。

隨著軟件優(yōu)化的持續(xù)深入，開發(fā)者能夠擁有更好的開發(fā)體驗(yàn)。而與Hugging Face的合作，也讓開發(fā)者不用考慮英偉達(dá)的CUDA軟件生態(tài)。

“確實(shí)很多人在用CUDA進(jìn)行人工智能運(yùn)算，但是大模型的開發(fā)者，大部分不會(huì)做那么底層的開發(fā)的，他們是在一個(gè)比較高的框架，比如PyTorch、TensorFlow上面做創(chuàng)新。”Sandra十分有信心，“我們和Hugging Face做了一些對(duì)策和合作，一些現(xiàn)有模型只花幾十秒的時(shí)間就可以調(diào)通，能夠運(yùn)行在Gaudi上。”

“Gaudi2之前已經(jīng)有一代產(chǎn)品，我們做了好幾年積累，底層軟件庫都已經(jīng)開發(fā)好。”Eitan補(bǔ)充，“我們希望讓開發(fā)者能夠在最上層的20%做他的開發(fā)，這里的開發(fā)和CUDA沒有那么直接的關(guān)聯(lián)。”

目前，浪潮信息已經(jīng)發(fā)售基于Gaudi2深度學(xué)習(xí)加速器的浪潮信息AI服務(wù)器NF5698G7，這款服務(wù)器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強(qiáng)可擴(kuò)展處理器。

英特爾也會(huì)打造基于Gaudi2的大規(guī)模集群，作為英特爾開發(fā)者云的一部分向中國客戶提供。

2025年有更整合的GPU

Gaudi2是英特爾在大模型熱潮里拿出的算力武器，但對(duì)于生成式AI的需求顯然還不足夠。

“明年我們會(huì)發(fā)布下一代產(chǎn)品Gaudi 3。”Sandra還透露，“2025年時(shí)，我們會(huì)把Gaudi的AI芯片與GPU路線圖合二為一，推出一個(gè)更整合的GPU的產(chǎn)品。”

混合DSA（領(lǐng)域?qū)Ｓ眉軜?gòu)）是AI芯片領(lǐng)域明確的趨勢(shì)，將Gaudi和GPU整合，既能發(fā)揮DSA的性能和能效優(yōu)勢(shì)，又能擁有GPU的通用性，這是高性能AI芯片公司都在努力的方向，但軟件是一個(gè)挑戰(zhàn)。

“從開發(fā)者的角度，他們更看重的是可持續(xù)的軟件生態(tài)。”Sandra非常清楚，“在迭代產(chǎn)品的同時(shí)，我們要對(duì)開發(fā)者做最好的軟件支持，讓他們投入軟件的一些代碼能夠在迭代的時(shí)候可以更好復(fù)用。”

當(dāng)然，除了朝混合DSA的方向努力，英特爾還有豐富的AI產(chǎn)品組合的優(yōu)勢(shì)，包括CPU、GPU、FPGA和DSA。

Sandra對(duì)雷峰網(wǎng)表示，“很多數(shù)據(jù)中心的客戶有成百上千個(gè)至強(qiáng)，他們可以很方便的在現(xiàn)有的數(shù)據(jù)中心上用至強(qiáng)做一些簡(jiǎn)單的推理工作。對(duì)于千億級(jí)參數(shù)的模型訓(xùn)練，需要像Gaudi這樣在性能、性價(jià)比或者是在供電上都是有平衡考量的產(chǎn)品。GPU Max在科學(xué)計(jì)算領(lǐng)域可以提供更高的性能和性價(jià)比。”

百度智能云服務(wù)器高級(jí)經(jīng)理何永占就分享了其使用至強(qiáng)的經(jīng)驗(yàn)，集成英特爾AMX加速引擎的第四代英特爾至強(qiáng)可擴(kuò)展處理器為ERNIE-Tiny模型帶來了多倍的性能優(yōu)化。

顯然，英特爾在生成式AI熱潮里已經(jīng)交出了不錯(cuò)的答卷，接下來就要看其能在AI大市場(chǎng)里俘獲多少客戶的心。