ICC訊 美國當地時間11月13日，在2023年全球超算大會（SC23）上，英偉達推出了新一代GPU H200。當日，英偉達的股價在截至收盤時間增長0.6%，為486.2美元，數據顯示，英偉達創下了近7年來最長的連漲記錄。這一次，英偉達將AI芯片的發展方向引向了存儲和推理能力。

  英偉達的新品，與早些時候英特爾和AMD透露的AI芯片發布計劃呼應，AI芯片從以算力為中心的競爭向更加多樣化發展。

  AI芯片競爭焦點轉向存儲？

  相比于前代H100，H200的性能提升了60%-90%，但是單看算力這一指標，H200的算力與H100基本相同，對比兩者的產品規格表可以發現，實現算力不變而性能飛躍的關鍵點就是內存。

H100與H200規格對比

  英偉達在發布H200時表示，該產品是全球首款搭載HBM3e的GPU，而H100中使用的仍是HBM3。據了解，HBM3e能夠為H200提供傳輸速度達4.8TB/秒的141GB顯存。與前代產品、常被其他競爭者視作“計量單位”的A100 相比，其容量也翻了近乎一倍，帶寬增加了2.4 倍。

AMD將發布MI300X

  事實上，英偉達在AI芯片方面的挑戰者AMD在幾個月前就強調了AI芯片存儲容量的重要性。AMD CEO蘇姿豐表示，AMD即將于今年12月推出的純GPU產品Instinct MI300X使用具備192GB顯存的HBM3，帶寬為5.2GB/秒。值得注意的是，AMD產品具備8個HBM3顯存堆棧，而英偉達產品僅有6個。同時，AMD首個AI加速器產品MI300A也擁有多達13顆小芯片，共包含1460億個晶體管，配置128GB的HBM3內存，相比前代的MI250，MI300A的性能提高8倍，效率提高5倍。

  在英特爾方面，英特爾CEO帕特·基辛格曾在9月舉行的英特爾on技術創新峰會上公布了英特爾AI芯片的路線圖：到2024年，英特爾將推出采用5nm制程的Gaudi3，再下一代AI芯片代號則為Falcon Shores。Gaudi2于2022年推出，從產品規格來看，Gaudi2所使用的是6個HBM2堆棧共96GB。英特爾表示，Guadi3的算力將是前代產品Gaudi2的兩倍，網絡帶寬、HBM容量是Gaudi2的1.5倍。

英特爾Gaudi2規格

  可以看出， 在各芯片企業的推動下，AI芯片的競逐正從初期的算力指標競爭，進一步延展到存儲領域，HBM（高帶寬存儲）幾乎成為了未來AI芯片當中必備且必爭的存儲器。英偉達超大規模和高性能計算副總裁Ian Buck表示：“想要通過生成式AI和HPC應用創造智能，就必須使用大型、快速的GPU顯存來高速、高效地處理海量數據。”

  半導體行業專家盛陵海告訴《中國電子報》記者：“從技術角度來講，存儲性能是提高AI訓練能力的瓶頸，如果存儲能力跟不上算力，整個模型的訓練便難以高效運行；從企業角度來講，發展存儲性能也是性價比相對較高的方式之一。”據了解，當前最高規格高帶寬存儲器的HBM3e主要由SK海力士、三星以及美光提供。

  AI芯片性能提升貴在推理？

  大模型訓練和推理的效率與效果是衡量GPU性能的重要指標，各大廠商也圍繞著大模型訓練與推理不斷提升自身實力。

H200與H100的推理性能對比

  H200的性能提升數據著重體現在模型推理上面。英偉達表示，H200在700億參數的大語言模型Llama2上的推理速度比H100提高了近一倍，功耗也會降低50%。同時，英偉達H200和H100由于都基于Hopper架構，互相之間具備強兼容性，可實現一定程度上的替換，同時英偉達透露，下一代采用全新架構的GPU B100也將于2024年推出，進一步強化訓練和推理的性能。

  面向訓練需求，半導體廠商推出了多塊芯片互連的解決方案，用以支持更大參數的模型訓練。英特爾的GAUDI 2 HLBA-225支持8塊Guadi2共同運行；AMD推出Instinct平臺同樣搭載8塊MI300X，被蘇姿豐稱作是“人工智能推理和訓練的終極解決方案”；英偉達依靠自身NVLink和NV Switch的高速互連技術，推出了HGXH200的服務器主板。英偉達稱，客戶可選擇搭載4塊或8塊H200，配合Grace Hopper芯片可為各種應用工作負載提供最高的性能，包括針對1750億參數以上超大模型的LLM訓練和推理。

  “從訓練來看，雖有目前常說的‘百模大戰’，但是其參數量和精度等還需要進一步優化，同時，專業大模型的成熟度也不比通用大模型，故而當前的主要訴求仍在大模型訓練上。”盛陵海說，“而同時，未來的推理需求則逐步增加，因為人工智能的應用落地，最終還是要看推理能力。”