一、MOE模型需要更大規(guī)模超節(jié)點系統(tǒng)

  混合專家模型（Mixture of Experts, MoE）憑借創(chuàng)新設(shè)計，巧妙破解了模型規(guī)模、計算效率與推理性能三者間的調(diào)和難題，已成為當(dāng)前大語言模型（Large Language Model, LLM）領(lǐng)域的主流架構(gòu)，為大模型技術(shù)突破提供關(guān)鍵支撐。與此同時，MoE 模型的專家數(shù)量正呈現(xiàn)顯著增長趨勢。更多的專家數(shù)量不僅能直接提升模型容量、優(yōu)化計算效率，還能進一步推動各專家在特定任務(wù)領(lǐng)域的專業(yè)化演進，從而持續(xù)增強模型整體能力與適配性。

  隨著MOE模型專家數(shù)量的增長，若要實現(xiàn)更優(yōu)的推理響應(yīng)性能（TTFT/TPOT），需部署更多 GPU 以承載不同專（一般建議每卡專家數(shù)1-2個）構(gòu)建大EP（Expert Parallelism）部署架構(gòu)。然而，EP 規(guī)模的擴大將直接導(dǎo)致通信占比顯著提升，進而成為制約推理響應(yīng)時延的核心因素。在此背景下，超節(jié)點憑借其大帶寬、低時延的 GPU 卡間互聯(lián)能力，有效降低 MOE 模型大 EP 部署中的通信開銷，為性能優(yōu)化提供關(guān)鍵支撐。相應(yīng)地，超節(jié)點的規(guī)模需與MOE模型的大 EP 部署需求相匹配，才能充分發(fā)揮其技術(shù)優(yōu)勢。圖1給出了當(dāng)前典型MOE模型專家數(shù)量以及推薦超節(jié)點規(guī)模。

典型MOE模型專家數(shù)量與超節(jié)點規(guī)模

  二、大規(guī)模超節(jié)點系統(tǒng)的技術(shù)路線與挑戰(zhàn)

  當(dāng)前實現(xiàn)大規(guī)模超節(jié)點的技術(shù)路線主要有三種：全銅纜互聯(lián)、銅光混合互聯(lián)和全光互聯(lián)。不同方案在部署規(guī)模、時延、成本及工程可行性上存在顯著差異：

  全銅纜互聯(lián)僅適用于單柜或相鄰雙柜部署，其物理距離限制（≤3m）與單柜內(nèi)高密度GPU引發(fā)的供電、散熱及線纜密度、機房承重等問題，導(dǎo)致工程擴展性和可維護性的巨大挑戰(zhàn)。

  銅光混合互聯(lián)雖支持多柜擴展，但依賴“柜內(nèi)銅纜+柜間光互聯(lián)”兩級交換架構(gòu)，引入更高時延與更加復(fù)雜的scale up協(xié)議能力要求，并且兩層交換機顯著增加系統(tǒng)成本。

  全光互聯(lián)通過每GPU直連光接口與一層HighRadix交換機互聯(lián)，當(dāng)前HighRadix交換機可支持512端口200Gbps，可實現(xiàn)一層交換機512卡超節(jié)點。全光互聯(lián)可以實現(xiàn)較低時延和靈活的部署規(guī)模；其核心挑戰(zhàn)在于光器件成本與可靠性，因此要實現(xiàn)大規(guī)模全光互聯(lián)超節(jié)點仍需針對這些問題完成技術(shù)與產(chǎn)業(yè)突破。

一層交換全光互聯(lián)超節(jié)點

  三、ETH-X Ultra全光互聯(lián)超節(jié)點目標(biāo)

  ODCC網(wǎng)絡(luò)工作組啟動的ETH-X Ultra項目旨在面向大規(guī)模超節(jié)點系統(tǒng)，聯(lián)合產(chǎn)業(yè)合作伙伴共同探索全光互聯(lián)超節(jié)點相關(guān)技術(shù)與解決方案。針對全光互聯(lián)超節(jié)點面臨的成本、可靠性、可維護性挑戰(zhàn)設(shè)定以下三大目標(biāo)：

  1. 極致成本控制 ：

  實現(xiàn)系統(tǒng)連接成本  ≤0.2$/Gbps （較傳統(tǒng)方案降低60%+），通過光器件標(biāo)準(zhǔn)化與高密度設(shè)計壓縮傳輸成本。

  2.超高可靠性保障 ：

  超節(jié)點互聯(lián)鏈路達成99.999%可用性 ，消除因光鏈路級丟包導(dǎo)致的任務(wù)中斷。

  3.高效現(xiàn)場可維護性 ：

  支持故障部件現(xiàn)場快速更換 ，保障超節(jié)點持續(xù)服務(wù)性。

ETH-X Ultra項目目標(biāo)

  四、光互聯(lián)超節(jié)點光引擎技術(shù)需求與互通測試

  光引擎總?cè)萘繛?.2T，由32個通道構(gòu)成，各通道可互相獨立工作，每通道速率可支持112Gbps，工作速率為106.25 Gbps。光引擎支持可插拔安裝，支持30 m互聯(lián)距離，鏈路最大損耗為3.0 dB（最大包含4個0.7 dB連接器損耗和0.2 dB光纖損耗）。

  光引擎的測試分解為單體指標(biāo)測試和系統(tǒng)端到端測試兩部分。其中單體指標(biāo)測試用于單獨表征引擎性能；系統(tǒng)端到端測試用于評估完整鏈路性能。單體指標(biāo)測試涵蓋光參數(shù)和電參數(shù)兩大塊，表征參數(shù)和測試方法參考LPO MSA Revision 1.0的條款9、10和IEEE Std 802.3-2022中的相關(guān)定義。系統(tǒng)端到端測試重點驗證完整鏈路的信號質(zhì)量，包括鏈路預(yù)算裕量、誤碼穩(wěn)定性和環(huán)境壓力性能，評估指標(biāo)主要使用BER和FEC分布。BER用于評估鏈路預(yù)算，參考IEEE Std 802.3-2022中的相關(guān)接收機和發(fā)射機指標(biāo)定義。誤碼穩(wěn)定性和環(huán)境壓力性能均以FEC分布作為參考，對于112G通道，當(dāng)鏈路預(yù)算裕量為0時，F(xiàn)EC bin測試值不得超過5（165s 累積值）。

  五、光互聯(lián)超節(jié)點可靠性方案分析

  FEC 時延在靜態(tài)時延中占比 30%~50%，而優(yōu)化 FEC 時延會導(dǎo)致誤碼率升高。為了避免誤碼丟包對集群通信吞吐產(chǎn)生影響，光互聯(lián)的Post-FEC誤碼率應(yīng)處于可容忍范圍內(nèi)（<1E-15)。

  當(dāng)鏈路中不可避免出現(xiàn)誤碼故障時，鏈路端可以及時檢查出異常并通過鏈路級重傳能力實現(xiàn)誤碼數(shù)據(jù)重傳。然而，降低誤碼率和鏈路級重傳的方式并不能完全避免光互聯(lián)中產(chǎn)生的單點故障問題。譬如：

  （一）單個通道污損故障需要通過通道動態(tài)容錯方式避免單點故障

  （二）單個模塊激光器故障故障需要通過跨模塊LLR方式避免單點故障

  六、光互聯(lián)超節(jié)點互聯(lián)成本分析

  以NPO形態(tài)組成的光互聯(lián)超節(jié)點技術(shù)方案，全光鏈路主要部件如下圖所示：

  OE鏈路部分相應(yīng)的成本構(gòu)成應(yīng)該包含所有光互聯(lián)的器件部分，總體成本目標(biāo)首先應(yīng)用拆解到各組成部分成本目標(biāo)：

  全光超節(jié)點主要包含以下幾種互聯(lián)方式，在以上光互聯(lián)組件構(gòu)成下，光互聯(lián)成本分析結(jié)論及目標(biāo)參考如下表所示，短距可采用多模NPO方案，成本可實現(xiàn)低于0.1$/G, 單模硅光NPO方案目標(biāo)實現(xiàn)0.12$/G。

  七、ETH-X Ultra項目構(gòu)成與樣機計劃

  ETH-X Ultra項目于2025年7月在ODCC夏季全會網(wǎng)絡(luò)工作組啟動后，與眾多GPU芯片廠家、交換芯片廠家、OE光引擎廠家、模塊廠家、整機系統(tǒng)廠家開展了深入交流，確定了項目技術(shù)規(guī)范與系統(tǒng)樣機時間表。項目技術(shù)規(guī)范包括：《光互聯(lián)硬件設(shè)計規(guī)范》、《光引擎（OE）技術(shù)規(guī)范》、《互通測試技術(shù)規(guī)范》、《光互聯(lián)系統(tǒng)可靠性方案規(guī)范》。

  ETH-X Ultra項目計劃在未來一年左右的時間內(nèi)聯(lián)合行業(yè)合作伙伴完成相關(guān)技術(shù)規(guī)范及驗證樣機研發(fā)測試，樣機計劃如下：

  聯(lián)系方式：

  騰訊  夏老師 forestxia@tencent.com；信通院 王老師 wangshaopeng@caict.ac.cn；信通院 孫老師 suncong@caict.ac.cn