AI技術發展至今，大模型呈現出超百萬億參數、長序列、多模態、推理/測試時計算(test-time scaling)以及物理AI幾大明顯的發展趨勢，可以預見的是，AI對集群算力的需求仍將保持高速增長的態勢，智算集群發展到十萬卡甚至百萬卡規模已成為行業發展的必然需求。在超十萬卡規模的智算集群中，由Scale-up網絡構成的高帶寬域(即業界所說的超節點域)將扮演著重要的角色。以NVIDIA NVL72為例，相比上一代單機8卡服務器，在同等的32k集群規模下，GPT-MOE-1.8T模型推理性能提升30倍，訓練效率提升4倍。由于相比Scale-out網絡這種明顯的業務加速收益，Scale-up網絡從2024年開始成為業界研究的焦點。國外以AMD為代表的GPU廠商牽頭成立了UAlink技術聯盟，而國內短時間出現騰訊ETH-X、中國移動OISA以及中興通訊提出的OLink(即Open Link)等多種技術方案，并出現了“總線型”和“網絡型”兩種技術路線之爭。這兩種技術路線到底是水火不容還是殊途同歸，是當前行業關注的焦點問題。

  第一性原理看Scale-up網絡：核心需求是什么

  Scale-up網絡作為智算集群所引入的一種新型網絡類型，在進行技術路線選擇時，首先要明確其核心的技術需求是什么。以當前業界Scale-up網絡的行業標桿NVIDIA為例，其NVLink技術目前已經發展到了第5代，最初是為了解決PCIe帶寬不足問題而設計的。當GPU之間的通信帶寬需求達到300GB/s，為了實現8卡之間的高速全互聯，出現了第一代NVSwitch芯片。從NVIDIA官方透露的未來3年芯片規劃來看，Scale-up網絡呈現出如下發展趨勢：NVLink接口帶寬逐代穩步提升(NVLink5的1.8TB/s到NVlink 6的3.6TB/s)，Scale-up互聯規模漸進式提升(NVL576到NVL 1k)，隨之而來的是其配套的交換芯片NVSwitch的容量同步提升。基于這些基本的技術信息，再綜合應用場景的基本特點，可以總結出Scale-up的一些基本特點。

  總體而言，Scale-up需要的既不是傳統的總線技術，也不是傳統的網絡技術，Scale-up是具有其特定訴求的新型互聯應用場景。任何將總線技術(如PCIe)或網絡技術(如以太網、Infiniband等)直接照搬應用在Scale-up場景的做法，都將引入某個維度的性能代價。

  Scale-up網絡本身是“總線”和“網絡”技術在特定場景融合應用的產物，其綜合了兩者的特點，并融入了自身的核心訴求(見圖1)。

  一方面，Scale-up繼承了總線技術的一部分用戶側需求，如支持Load/Store內存語義、要求控制芯片PPA(performance power area，能效比)代價等，但引入了超高帶寬和相對寬松的時延需求。以最新PCIe 6.0×16為例，其帶寬只有256GB/s，這與NVLink動輒TB級的通信帶寬存在明顯的代差。從Scale-up本身的應用場景出發，由于存在計算-通信掩蓋等優化技術，Scale-up網絡相對而言具有更高的時延容忍度，然而，由于Load/Store語義的同步通信特征，延遲又不能過于寬松。

  另一方面，Scale-up網絡也繼承了網絡技術的擴展性需求。由于技術、成本等多方面因素的約束，Scale-up互聯規模從最初的8卡發展到如今的百卡，未來有可能擴展到千卡，這種規模需求介于總線互聯規模和網絡互聯規模之間，因此必須借鑒網絡技術高可擴展性的設計經驗。

  此外，由于Scale-up應用場景的特點，為了給上層應用提供一個高效、友好的通信環境，需要支持DMA(direct memory access)語義和內存統一編址，其中DMA語義可有效提升數據批量傳輸的性能，內存統一編址能為上層應用提供更友好的編程模型。

  綜上所述，Scale-up的核心需求是TB級超高帶寬、k級擴展性、多語義、低功耗、百納秒延遲以及內存統一編址等。

  Scale-up網絡技術路線：網絡總線化還是總線網絡化

  鑒于Scale-up網絡對未來AI基礎設施的重要性，當前業界存在多種技術路線，大致可以分為“網絡總線化”和“總線網絡化”兩種思路(見圖2)。

  “網絡總線化”技術路線

  所謂的“網絡總線化”技術路線，其主流思路是在傳統以太網協議以及交換技術的基礎上，針對Scale-up網絡的需求開展協議優化以及交換芯片架構創新，從而滿足未來一段時間內Scale-up超節點組網的需求。這種技術思路常見于以太網解決方案提供商，其抓住Scale-up高帶寬的首要訴求，通過成熟開放、快速發展的以太網生態解決智算“生態封閉”的問題，通過擁抱以太網高速Serdes成熟產業生態解決高帶寬互聯需求。然而，該技術路線通常需要采用一定的技術手段滿足Scale-up網絡對延遲性能、低功耗、多語義、內存統一編址等需求，這些工作存在大量的創新空間。中興OLink是該技術路線的踐行者，通過低延遲FEC、LD/ST Packing、內存統一編址、在網計算等一系列創新功能，可以實現Scale-up網絡的整體訴求。

  “總線化網絡化”技術路線

  所謂的“總線網絡化”技術路線，其主流思路是以傳統的總線技術為基礎，摒棄一些高代價低收益的總線需求，再引入網絡技術元素，滿足Scale-up高帶寬和擴展性需求。這種思路常見于GPU廠商或以總線技術擅長的廠商，如NVIDIA NVLink和AMD Infinity Fabric。AMD牽頭成立的Ualink技術聯盟是該技術路線的踐行者，其協議主體更多借鑒了PCIe和CXL的設計思想，一方面結合Scale-up的特點摒棄了硬件Cache Coherency的需求，此外，通過在物理層引入以太網Serdes能力，解決了傳統總線技術帶寬能力不足的問題。

  兩種技術路線的共性和不同

  從技術的角度看，無論是“總線網絡化”還是“網絡總線化”，其本質都是圍繞Scale-up網絡的核心需求開展的不同設計，最終都是一個與傳統總線和傳統網絡都不同的特殊網絡，過度強調兼容“總線”或兼容“網絡”都會帶來一些需求或者性能的損失，因此兩者并不存在絕對的優劣。

  從產業推進的角度看，兩種Scale-up技術路線均存在落地上的困難，均需要GPU和網絡基礎設施進行深度聯合設計，且在此過程中，GPU通常處于相對強勢的地位。兩者的差異在于，“總線網絡化”的技術路線更容易被GPU廠商所接受和理解，但通常需求各異難于統一，這加劇了產業落地的難度。而當前數量眾多的GPU廠商已經切換以太網接口，這種情況下“網絡總線化”反而更容易得到落地。

  中興OLink協議采用“網絡總線化”的架構思路，提供完善的端側IP和交換芯片的產品解決方案，并基于公共以太網技術底座實現Scale-out和Scale-up融合組網，大幅降低了網絡建設和運維成本。

  Scale-up網絡發展趨勢和產業建議

  從當前AI基礎設施發展趨勢來看，Scale-up網絡將扮演越來越重要的角色，其呈現出如下發展趨勢：

  · Scale-up網絡規模在技術上不斷突破，在應用中有序提升

  未來幾年，隨著高速互聯技術、芯片工藝、系統工程等技術不斷取得突破，Scale-up的理論互聯規模將從當前的百卡發展到千卡甚至數千卡的規模，但由于部署成本、邊際收益、功耗密度、RAS(reliability，availability，and serviceability)等方面因素的限制，Scale-up實際落地的超節點規模將有序提升，且長期穩定在百卡左右。

  · 光互聯深入到芯片級，Scale-up網絡架構將迎來重構契機

  隨著電互聯逐漸觸達香農定律的極限，光互聯技術將深入到芯片級，以CPO/Optical IO為代表的技術成為AI芯片的重要發展方向。通過光互聯可以極大提升帶寬密度并降低互聯功耗，服務器、交換機的產品形態和互聯方式均發生重大變化，Scale-up網絡將迎來架構重構。

  · Scale-up和Scale-out網絡在協同中融合

  隨著Scale-up網絡和Scale-out網絡技術的進一步發展，基礎設施層面的融合需求將推動產品技術的進一步靠攏，當Scale-up網絡和Scale-out網絡在底層技術逐漸從相似走向統一時，Scale-up和Scale-out網絡將逐漸融合。

  當前Scale-up網絡的重要性和技術路線的多樣性之間的矛盾顯得尤為突出，很多所謂的技術路線之爭更多存在于具體的技術方案上，在要解決的核心問題上其實沒有根本性的矛盾。在當前智算基礎設施產業事實性壟斷明顯的情況下，中興通訊呼吁產業界能更多凝聚共識，以“小步快跑”的模式推動Scale-up網絡的繁榮發展。

  作者：中興通訊 李和松