NVIDIA GPU已經(jīng)在AI、HPC領(lǐng)域遙遙領(lǐng)先，但沒(méi)有最強(qiáng)，只有更強(qiáng)。

現(xiàn)在，NVIDIA又發(fā)布了全新的HGX H200加速器，可處理AIGC、HPC工作負(fù)載的海量數(shù)據(jù)。

NVIDIA H200的一大特點(diǎn)就是首發(fā)新一代HBM3e高帶寬內(nèi)存(疑似來(lái)自SK海力士)，單顆容量就多達(dá)141GB(原始容量144GB但為提高良率屏蔽了一點(diǎn)點(diǎn))，同時(shí)帶寬多達(dá)4.8TB/s。

對(duì)比H100，容量增加了76％，帶寬增加了43％，而對(duì)比上代A100，更是容量幾乎翻番，帶寬增加2.4倍。

得益于NVLink、NVSwitch高速互連技術(shù)，H200還可以四路、八路并聯(lián)，因此單系統(tǒng)的HBM3e內(nèi)存容量能做到最多1128GB，也就是1.1TB。

只是相比于AMD Instinct MI300X還差點(diǎn)意思，后者搭載了192GB HBM3，帶寬高達(dá)5.2TB/s。

性能方面，H200再一次實(shí)現(xiàn)了飛躍，700億參數(shù)的Llama2大語(yǔ)言模型推理性能比H100提高了多達(dá)90％，1750億參數(shù)的GTP-3模型推理性能也提高了60％，而對(duì)比前代A100 HPC模擬性能直接翻番。

八路H200系統(tǒng)下，F(xiàn)P8深度學(xué)習(xí)計(jì)算性能可以超過(guò)32PFlops，也就是每秒3.2億億次浮點(diǎn)計(jì)算，堪比一臺(tái)大型超級(jí)計(jì)算機(jī)。

隨著未來(lái)軟件的持續(xù)升級(jí)，H200還有望繼續(xù)釋放潛力，實(shí)現(xiàn)更大的性能優(yōu)勢(shì)。

此外，H200還可以與采用超高速NVLink-C2C互連技術(shù)的NVIDIA Grace CPU處理器搭配使用，就組成了GH200 Grace Hopper超級(jí)芯片，專為大型HPC、AI應(yīng)用而設(shè)計(jì)的計(jì)算模塊。

NVIDIA H200將從2024年第二季度開(kāi)始通過(guò)全球系統(tǒng)制造商、云服務(wù)提供商提供。