隨著人工智能技術的飛速發展，特別是AI大模型參數規模的快速增長，對計算資源的需求呈現出爆炸性增長，需要極高的算力來處理和訓練，同時模型的注意力機制和前饋網絡都需要大量的內存資源。最理想的方式就是開發一個超級大的GPU，具備超級大的計算能力和內存資源，由這個超級GPU完成所有大模型數據的處理。但現實上是不可能的，業界發展出超節點技術來應對這一問題。目前，在超節點技術領域，英偉達推出了基于NVLink的NVL72方案，憑借其私有協議的優勢，實現了高性能的GPU互聯;與此同時，ODCC(開放數據中心委員會)則基于以太網RoCE技術提出了ETH-X方案，以開放標準為基礎，為行業提供更具兼容性和靈活性的選擇。本文重點探討這兩種超節點解決方案的特點與應用場景，深入分析他們在高性能計算領域的價值與潛力。

  Scale-up和Scale-out網絡

  為了應對大模型參數規模的快速增長，可以把大模型分解為兩大類，分別處理(見圖1)。一類是需要在高頻度進行數據交互的，例如張量并行，把這些并行處理放置到GPU之間，通過超高帶寬、超低時延互聯的網絡進行處理，形成一個超節點，壓縮超節點內部GPU之間的通信開銷成本，這個網絡就是Scale-up網絡。Scale-up網絡是一個追求極致性能的互聯網絡，支持Load/ Store內存語義。另一類是將數據分解為相對獨立的并行任務，如流水線并行和數據并行，這個網絡就是Scale-out網絡。Scale-out網絡利用現有的Infiniband或RoCE網絡，支持消息語義。

  Scale-out網絡通過網卡提供對外接口，并借助高性能、高密度的交換機組網實現節點間的互聯擴展。當前，常見的組網方式包括框盒組網和盒盒組網，這兩種組網方式為超節點在Scale-out方向上的擴展提供了靈活且高效的連接能力。

  Scale-up網絡則聚焦于超節點內部的深度互聯，由GPU內部I/O與HB Switch相結合，形成all-to- all的全互聯拓撲結構。在Scale-up連接的技術路線上，業界目前存在兩種主要方向：基于私有協議的方案和基于標準開放協議的方案。這些技術路線旨在實現超節點內部GPU之間的高速互聯，從而滿足復雜計算任務對性能的極致追求。

  相較于超節點之間的Scale-out網絡，超節點內部的Scale-up網絡具備顯著的優勢：更高的帶寬、更低的通信時延，以及更大的緩存一致性內存空間。這些特性使得Scale-up網絡能夠更好地支持超節點內部密集型計算任務的需求，進一步提升整體計算效率。

  英偉達NVL72

  NVL72是英偉達推出的機柜級超節點，整個系統由18個Compute Tray和9個Switch Tray構成(見圖2)。1個Compute Tray包含2個GB200超級芯片(Superchip)，每個GB200超級芯片有2個Blackwell系列的B200 GPU，整個機柜共72個Black- well GPU。同時每個Compute Tray提供4個網絡接口卡(NIC)用于Scale-out方向的擴展。1個Switch Tray包含2顆NVLINK Switch芯片，整個機柜提供18個NVLink Switch芯片。整機柜后部通過線纜將Compute Tray和Switch Tray進行互聯。

  B200采用最新一代的NVLink 5連接方案，對外可提供1.8TB/s(NVIDIA采用雙向計算，即單向7.2Tb/s)的NVLink連接，單個Compute Tray提供7.2TB/s(單向28.8Tb/s)帶寬，NVL72整機柜的Compute Tray提供129.6TB/S的NVLink帶寬。NVLink5 Switch對外可提供7.2TB/s(單向28.8Tb/s)的NVLink連接，單個Switch Tray提供14.4TB/s(單向57.6Tb/s)帶寬，NVL72整機柜的Switch Tray提供129.6TB/s的NVLink帶寬。這樣超節點整機柜Compute Tray的GPU和Switch Tray的交換芯片之間就可以實現全連接。

  B200和NVLink5采用200G的serdes，為實現B200的單向7.2Tb/s的帶寬，需要72個差分對，NVL72超節點整機柜就需要5184個差分對。Compute Tray和Switch Tray通過機柜后面的線纜連接，每根線纜包含1個差分對，NVL72超節點整機柜需要5184根線纜。

  NVL72通過NVLink連接將72個GPU組成一個超大Fabric網絡，這個網絡解決了GPU之間的高速通信帶寬和效率問題，同時通過NVLink，所有GPU都可以任意訪問其他GPU的內存空間。另外，英偉達還設計了NVLink C2C，B200和Grace CPU之間采用NVLink C2C連接，創建了一個NVLink可尋址的內存地址空間，B200和Grace CPU之間的內存可以互相訪問。通過NVLink和NVLink C2C，每個B200 GPU可以訪問超節點其他所有超級芯片的內存，包括B200和Grace CPU。每顆B200提供192GB的HBM3e內存，每顆Grace CPU提供480GB的LPDDR5X內存。這樣每個GB200超級芯片提供384GB HBM內存和480GB LPDDR5X內存，NVL72整機柜支持13.5TB的HBM和17TB的LPDDR5X內存容量。

  GB200超級芯片的功耗為2700W，每個Compute Tray的功耗約為6.3kW，每個Switch Tray功耗超過800W，NVL72整機柜的功耗預計達到120kW，采用冷板液冷進行散熱。

  考慮到實際機房提供120kW機柜能力的難度，英偉達還支持規格減半的NVL36。有兩種方案：

  Switch Tray結構不變，Compute Tray同樣也是有2個GB200超級芯片，包含4個B200和2個Grace CPU，但尺寸改為2U，整個NVL36超節點的Compute Tray數量減半、GPU數量減半，Switch Tray可以有一半的帶寬(28.8Tb/s)用于對外連接擴展;

  Switch Tray結構不變，Compute Tray尺寸不變保持為1U，但GB200超級芯片包含的B200數量減為1個，整個NVL36超節點的GPU數量減半，Switch Tray可以有一半的帶寬(28.8Tb/s)用于對外連接擴展。

  方案2可以提供更大的LPDDR內存空間，但價格會更貴。兩個NVL36超節點之間通過ACC線纜互聯，同樣可以提供72卡的計算能力。通過L2 NVLink Switch進行16個NVL36超節點互聯，可以完成Scale-up方向NVL576的擴展，提供576卡的計算能力。

  我們來看NVL72怎么滿足Scale-up網絡的特性的。

  高帶寬

  NVL72的每個B200 GPU提供7.2Tbps的Scale-up連接帶寬，同時通過PCIe對外提供400Gbps的Scale-out連接帶寬，Scale-up帶寬是Scale-out帶寬的18倍。

  低時延

  英偉達官方沒有提供NVLink Switch的轉發時延具體數據，但以低時延作為一個賣點，同時從設計上充分考慮低時延的架構。Switch Tray和Compute Tray之間采用的是電纜連接，這樣可以節省因CDR或DSP引入的將近100ns的時延，同時也降低了成本。

  大內存空間

  NVL72利用NVLink和NVLink C2C，所有GPU都可以訪問整個超節點其他GPU的HBM內存和Grace CPU的DDR內存，NVL72整機柜支持13.5TB的HBM和17TB的LPDDR5X內存容量。

  ODCC ETH-X

  由中國信通院、騰訊在ODCC牽頭發起的ETH-X項目可以支持單個超節點64卡的計算能力，和英偉達的私有NVLink方案不同，ETH-X采用更為開放的RoCE方案。

  整個系統有16個Compute Tray和8個Switch Tray。每個Compute Tray包含4張GPU和1個X86 CPU，CPU和GPU之間通過PCIe Switch對接。整個機柜共64張GPU。同時每個Compute Tray提供4個NIC用于Scale-out方向的擴展。每個Switch Tray包含1顆支持RoCE的高性能51.2Tbps以太網交換芯片，整個機柜提供8個Switch芯片。GPU和Switch芯片支持100G serdes。當前主流的GPU互聯帶寬為3.2Tbps，ETH-X整機柜GPU互聯帶寬為204.8Tbps。8個Switch Tray支持409.6Tbps的帶寬，一半用于超節點柜內連接GPU，另一半的帶寬用于背靠背連接旁邊機柜的超節點或者通過L2 HB Switch做更大的HBD域Scale-up擴展。對于Intel Gaudi3 GPU，可以提供4.8Tbps的帶寬，因此超節點機柜需要12個Switch Tray。同時，ETH-X也支持Switch Tray沒有外部Scale-up擴展口的方案，所有serdes連接都用于柜內互聯，這時候只需要4個2U高的Switch Tray(Gaudi3為6個)。

  ETH-X對Scale-up網絡特性的支持情況：

  高帶寬

  ETH-X的每個GPU提供3.2Tbps(或4.8Tbps)的Scale-up連接帶寬，同時通過PCIe對外提供400Gbps的Scale-out連接帶寬，Scale-up帶寬是Scale-out帶寬的8~12倍。

  低時延

  ETH-X沒有限定Switch Tray的芯片型號，可以采用Broadcom的Tomahawk5，也可以采用Marvell的Teralynx10，甚至還可以采用國產化的25.6T芯片2片進行設計。總體來說，Scale-up方向的Switch時延控制在納秒級是大家的一個共識。同時ETH-X也借鑒了NVIDIA NVL72的經驗，Switch Tray和Compute Tray之間采用的是更低成本和更低時延的電纜連接。

  大內存空間

  NVIDIA NVL72通過GPU-Switch-GPU的NVILink實現統一內存地址空間，通過GPU-CPU的NVLink C2C實現緩存一致性。而ETH-X的GPU-Switch- GPU之間為RoCE連接、GPU-CPU之間為PCIe連接，需要進一步的開發互通協議，向應用層提供支持Direct Copy、Direct Access以及UVA統一編址等內存語義，實現GPU之間的訪存協議。

  總結和展望

  NVL72和ETH-X超節點都可以提供高帶寬、低時延、大內存空間的Scale-up網絡擴展。NVL72方案采用NVLink和NVLink C2C連接，超節點內的GPU之間的內存都可以互訪。ETH-X采用開放的以太網解決方案，優點是生態開放，可以推廣為ODCC組織的一個標準，不過由于沒有NVLink這種類總線的協議，ETH-X后續還需要進行內存語義支持的開發。兩種超節點的關鍵指標對比如表1所示。

  NVL72憑借其先發優勢，在國外OTT大廠中獲得了較多的訂單，展現出強大的市場競爭力。然而，它也存在一定的局限性，其基于私有協議的生態體系相對封閉，可能在一定程度上限制了更廣泛的行業協作與創新。

  ETH-X作為開放標準，在進度上稍落后于NVL72，這主要是由于公開標準的制定過程需要投入大量時間和精力。這一過程中不僅涉及復雜的技術討論，還需在標準成員間進行多方面的協調與博弈，包括技術細節、商業利益以及戰略方向等非技術因素。盡管如此，開放標準的特性為ETH-X帶來了廣闊的潛在應用空間和行業包容性。

  獨行快，眾行遠，NVL72和ETH-X作為當前超節點技術的兩大代表，各自展現了獨特的魅力。在未來的發展中，我們相信這兩種技術將在各自的生態系統中綻放異彩，共同為超節點技術的發展書寫精彩篇章。

  作者：中興通訊 潘文斌