ICC訊  在2025年OCP全球峰會上，Meta公司的Dan Rabinovitsj表示，超級計算機已從需耗時逾年在精英研究實驗室"精工細作"的項目，轉變為每日可量產數百臺的產品。

  "我們正在像量產產品一樣交付超級計算機，"Meta硬件與AI系統基礎設施工程副總裁Rabinovitsj在主題演講中表示，"我們正將基礎設施轉型為消費電子產品的運營模式。"他補充道："我們習慣于每年假日季推出新手機或新電視。現在我們正以同樣節奏部署超級計算機。"

  這種規模是為滿足AI算力需求以服務Meta每日34億用戶所必需的。"我們已成功將AI整合到公司幾乎各項業務中，"Rabinovitsj說，"這確實是令人興奮的旅程，但也非常艱難。我曾以為硬件之所以叫硬件是因為它難，但實際上各方面都難。"

  在2022年生成式AI革命之前，Meta就已開始使用AI。該公司曾建成橫跨整個數據中心的單一AI集群。隨著時間的推移，Meta持續將集群中的GPU數量翻倍——從24,000個增至100,000個。他表示，公司目前正規劃吉瓦級數據中心，其數百萬GPU將跨越多個區域。

  規模的擴大導致對錯誤控制的要求提高。為此，Meta提出了"服務器業力"的概念來預測服務器錯誤，使公司能夠主動將服務器下線以維持可靠性。"我們下一步的目標更加瘋狂，"Rabinovitsj說。

  全棧創新

  Meta計劃將AI擴展至相距數百公里的多個區域，這需要在軟件、硬件及技術棧的每個部分進行創新，"一路深入到定制芯片中的晶體管"。公司近期與英偉達合作推出了Minipack3數據中心交換機，并正在開發名為"非調度架構"的新型網絡架構，專為最大規模的AI集群設計。"僅僅為了解決在如此遠距離上構建這些龐大集群的挑戰，我們就需要一種方法來保證端到端的性能，"Rabinovitsj說。

  他指出，Meta的1吉瓦"Prometheus"集群已在俄亥俄州新奧爾巴尼市投入運行，其數據中心搭建在帳篷內以便更快部署——就像他發表演講的OCP主題演講所用的大帳篷一樣。5吉瓦的"Hyperion"集群計劃未來幾年在路易斯安那州里奇蘭教區上線。Hyperion的跨度相當于從紐約下城區到中央公園，步行需要三個小時。Rabinovitsj表示，這將是Meta及其他超大規模公司建設的眾多該規模集群之一。

  為實現此規模，Meta正在部署多種類型的標準化硬件，這帶來了軟件挑戰，并需要向開發人員社區隱藏復雜性。這種多樣性在彈性、性能和冗余供應鏈選項方面帶來了回報。

  如同移動非洲象

  Rabinovitsj表示，對于網絡，只有以太網能滿足Meta的需求。Meta支持新引入的"面向縱向擴展網絡的以太網"OCP工作流，該工作流也獲得了AMD、Arista、ARM、博通、思科、HPE、英偉達、OpenAI等AI和網絡領域領導者的支持。ESUN旨在提高縱向擴展環境中的吞吐量并降低延遲。

  大型縱向擴展域需要更大的機架。到2027年第三季度，Meta將需要支持多達256個加速器的機架。Rabinovitsj稱它們為"BFRs"。"我們讓你們自己想象'BFR'是什么，"他說。這些機架是滿足AI需求所必需的，但它們在設計、制造、運輸、運營和維護方面都很困難。例如，機架太大太重，無法放在搬運車上。一個60-70磅的托盤中間容易下垂，需要加固。

  Meta不得不設計一種新型牽引車在數據中心內移動這些機架——"其等效質量相當于一頭非洲象"——并將把該設計開源給OCP。"這些東西如此之大，你必須以不同的方式構建所有結構，以確保在移動這些機架時具備所需的剛性和完整性，"他說。這些機架采用液冷，內部有"許多昂貴且精密的設備，因此設計中所投入的考量確實令人印象深刻。"

  泡沫？何種泡沫？

  Rabinovitsj駁斥了關于AI是經濟泡沫、即將像互聯網泡沫或上世紀90年代和本世紀初的光纖建設熱潮那樣崩潰的言論。"這種容量需求至少在未來幾年內將持續存在，并且需要'以質量和可靠性'來交付，"他說。

  "從事基礎設施建設多年，我們曾以為已經掌握了關于規模的一切，但老實說，AI每天都在挑戰我們所有人的極限，"Rabinovitsj表示，"我們必須挺身而出，找出解決這些挑戰的方法。"然而，這種需求導致了技能短缺。"整個行業都急需高質量的工程師，"他說。這也適用于合作伙伴，他們需要雇傭熟練工人在工廠工作。

  此外，數據中心需要設計得能減少溫室氣體排放。"我們需要尋找非常顯著且富有創意的方法來減少所有這些基礎設施相關的排放，"Rabinovitsj說。

  他總結道："對我來說，在Meta工作最有趣的事情之一是我們能夠致力于從PyTorch到晶體管的所有技術棧層面，這極大地有助于理解這些挑戰的規模和背景。"