百萬卡AI集羣，離不開英偉達網絡_風聞

近兩年，打造新的超算集羣成為了科技巨頭的頭等大事。

誰有更大的超算集羣，誰就能在算力上佔得先機，誰就能先人一步訓練出更優秀的大模型，看似風平浪靜的海面之下，正在醖釀一場異常激烈的軍備競賽。

其中影響力最大的，莫過於埃隆·馬斯克（Elon Musk）的AI初創公司xAI在美國田納西州孟菲斯建造的超算集羣，該集羣由10萬塊英偉達Hopper GPU組成，可能會一舉成為目前地表最強AI超算集羣。

我們可以做一個簡單的對比，OpenAI的 GPT-4用了2.5萬塊英偉達Ampere GPU；全球超算TOP1的Frontier用了 3.78萬塊GPU，微軟的雲系統集羣Eagle也只用了1.44萬塊英偉達Hopper GPU，單純從AI算力來看，xAI的孟菲斯超算集羣是毫無爭議的第一。

然而，超算集羣不是GPU的簡單堆砌。對於研究人員來説，調用幾千塊GPU就需要耗費不少心力，想要讓10萬塊GPU做到如臂使指，難度可以説是指數級增長。

其中最大的挑戰，就是如何讓這麼一個超大規模集羣實現高效穩定的網絡連接。過往的數據中心通常會使用傳統以太網來進行連接，儘管這一方案在過去幾十年時間中不斷發展和升級，但對於今日蓬勃發展的AI數據中心來説，傳統以太網暴露的短板，已成為了不能忽視的阻礙。

**1.**網絡即是算力

講到數據中心，讓人不禁想到了約翰·蓋奇在1984 年為Sun Microsystems公司提出的口號——“網絡就是計算機”。

這句話的本意是，如果用户擁有合適的軟件，就可以使用網絡中的其他計算機，以獲得額外的CPU算力，從而可以解決單台計算機無法解決的困難問題，也就是今天所提到的雲計算的概念。

如今的AI數據中心同樣印證了80年代的這句話，在AI數據中心裏，服務器上跑着的AI應用程序本身並不能單獨工作，需要與後端GPU和人工智能加速器組成的計算節點以及CPU和存儲等前端節點之間通信實現協同工作。

在這種情況下，當涉及到ChatGPT這樣的大型複雜模型時，為了解決單個服務器節點算力不足的問題，加速模型訓練和對大量數據集的處理，就需要轉向分佈式並行計算，將工作負載分配到多個通過高速、低延時網絡連接的服務器節點上。

某種意義上來説，網絡不止是計算機，如今的網絡也可以和算力劃等號。以今天的目光來看，分佈式並行計算是AI取得成功的關鍵，高度可擴展的網絡使AI研究人員能夠利用更多的計算資源，從而更快、更出色地提升性能。

相對而言，AI和計算機是兩個明確的概念，而網絡相比之下就顯得寬泛很多了，它可以指代很多類型的網絡，AI所需要的網絡，到底是哪一種呢？

事實上，在AI浪潮中所興建的數據中心，所用到的後端網絡技術，不外乎InfiniBand和以太網這兩種，前者源於被英偉達收購的Mellanox，其高速和低延遲特性受到了AI的青睞，而後者則是構成互聯網的一種關鍵技術，如今也在數據中心裏被廣泛使用。

根據美國調研機構Dell’Oro Group今年7月的報告，未來五年內，用於連接加速服務器的AI後端網絡中部署的交換機支出預計將接近800億美元，這也意味着整個數據中心交換機市場實現了翻倍。

該調研機構指出，當前數據中心交換機市場支出主要用於連接通用服務器的前端網絡，但AI工作負載將需要新的後端基礎設施建設，雖然目前InfiniBand仍佔據主導地位（約90%），但隨着技術改進以及市場需求，未來以太網將會在AI後端網絡市場取得更多機會，到2027年將佔據20%的收入份額。

為什麼以太網能在後端網絡市場中異軍突起，快速敲開AI集羣的大門呢？

我們不妨用公路來做例子，以太網就像是高速公路，速度限制很高，但可能會發生碰撞，阻礙交通，它的優勢是較高的帶寬和可擴展性，但劣勢是容易產生丟包。

而InfiniBand更像是特殊設計的專用公路，速度很高，同時可以有效避免擁堵，它的獨特架構可以實現零丟包，同時大幅降低延遲，這兩個特性對於AI來説非常重要。

基於這兩種技術，我們可以把目前的AI系統大致分成兩類，即AI工廠和AI雲，儘管都面向AI市場，但它們的具體應用卻有着較大差別。

AI工廠旨在處理大語言模型（LLM）和其他基礎AI 模型等大規模算法模型，這些模型是構建更先進AI 系統的基礎模組，而AI雲擴展了傳統雲基礎設施的功能，以支持大規模生成式人工智能應用程序，前者更適合InfiniBand，而後者更傾向於以太網。

問題是，適用於傳統數據中心的以太網，放在AI集羣裏完全達不到開箱即用的水平，傳統以太網需要應對大量的、松耦合的不同業務的需求，融入了非常廣泛而複雜的功能，它們並非專為高性能並行計算而設計，使用傳統以太網絡搭建的系統只能實現 AI 雲預期性能的一小部分。

網絡為AI帶來了更強大的算力，但反過來，AI的飛速發展又對數據中心的網絡架構提出了更高要求，英偉達正是看到了這一趨勢，推出了專為AI雲設計的Spectrum-X。

**2.**為AI上雲而生

與很多人的印象有所不同，英偉達作為一家靠GPU起家的廠商，在2020年陸續併購Mellanox、Cumulus Networks這兩家公司之後，幾乎每年都會拿出新的網絡產品與解決方案。

2020年5月舉行的GTC春季大會期間，英偉達創始人兼首席執行官黃仁勳在線上主題演講開場10分鐘內，就特別向全球觀眾展示了於同年3月問世的400GbE以太網絡交換機：Spectrum-3 SN4000系列，後續又展示了2月推出的BlueField-2 DPU。

2022年3月舉行的GTC春季大會上，英偉達又推出下一代以太網絡平台Spectrum-4，該平台由 Spectrum-4交換機系列、ConnectX-7智能網卡、BlueField-3 DPU和DOCA數據中心基礎設施軟件組成，是全球首個400Gbps端到端以太網網絡平台。

而在2023年的台北國際電腦展上，英偉達正式推出了全球首款專為AI打造的以太網網絡平台——Spectrum-X，其將Spectrum-4以太網交換機與BlueField-3 DPU緊密結合，取得了1.7倍的整體AI性能和能效提升，可以在多租户環境中提供一致、可預測的性能。

從2020年的GTC到2023年的台北國際電腦展，英偉達逐步展現出了自己在網絡領域的實力，除了已有的InfiniBand外，以太網成了英偉達在AI網絡市場中的新焦點。

那麼Spectrum-X與傳統以太網平台有何區別呢？

正如英偉達在官方博客中所述，Spectrum-X作為一個端到端的網絡平台，集成了交換機、DPU網卡、AI Cloud優化軟件包以及可編程開發庫，為了解決生成式AI和AI雲的痛點，Spectrum-X在不同方向做了針對性優化。

NVIDIA Spectrum-X

首先是傳統以太網被詬病最多的延遲問題，Spectrum-X交換機應用了多種優化技術，最大限度應用cut-through技術，顯著降低端口轉發時延。並且引入了來自InfiniBand的RDMA（遠程直接內存訪問）技術，該技術允許GPU之間直接通過網絡進行內存通信，這樣就可以大幅降低通信延遲，提升集羣的整體效率，確保系統在擴展時依舊能保持較高性能。

而前面所提到的因負載衝突而帶來的網絡擁塞甚至丟包問題，英偉達為此加入了動態路由技術（Adaptive Routing），該技術能夠根據網絡負載情況，實時調整數據傳輸路徑，最大化網絡帶寬的利用率，通過這種方式來防止某些鏈路因負載過高而成為性能瓶頸。

除了以上兩個痛點外，AI雲與AI工廠最大的區別還是多租户，在多個AI作業同時運行的環境中，Spectrum-X也具備了性能隔離技術（Performance Isolation），該技術確保在多租户環境中，不同租户或應用之間的網絡流量互不干擾，確保各個任務都能在最優環境中運行。

除了以上幾點外，構建一個十萬乃至百萬GPU的AI集羣是一個浩大的工程，需要大量的時間與投入，傳統做法是先構建系統再逐漸調試優化，週期很長，而且一旦出現問題，就會帶來巨大的損失。

而英偉達的數字孿生技術（Digital Twin Technology），為構建AI集羣的客户解決了這方面的擔憂，它提供了一個可以進行預調試和優化的Spectrum-X虛擬環境。在實際構建物理平台之前，用户可以先在虛擬環境中完成所有的配置和測試，然後將這些優化應用到物理數據中心中，這不僅大幅降低了調試成本，還顯著縮短了部署時間。

作為NVLink和InfiniBand的提供商，英偉達本身就在網絡領域積累了相當豐厚的經驗，在理解了客户最真實的需求後，對傳統以太網的改造可謂是得心應手，解決了過往被詬病較多的問題，Spectrum-X開始在以太網市場中嶄露頭角，愈來愈多雲服務廠商開始嘗試這一新平台。

法國雲服務提供商Scaleway就採用了Hopper GPU和Spectrum-X平台來構建自己的AI集羣，通過英偉達這套整體解決方案，Scaleway極大地提升了AI計算能力，縮短了AI訓練時間，同時加速了AI解決方案的開發、部署和上市時間，有效提高了投資回報率。

事實上，在不到一年的時間內，英偉達已經構建了一個強大的網絡生態系統，迅速得到了全球主要 ODM和OEM的支持，如HPE、戴爾、聯想和Supermicro等廠商都推出了基於Spectrum-X的端到端解決方案，更多AI集羣在構建之初，就把目光瞄向了這個為AI上雲而生的平台。

**3.**AI解決方案的提供商

如今來看，英偉達早已不再是一個單純的GPU廠商，而是逐步轉型為全面的AI解決方案提供商。通過深耕GPU技術，英偉達奠定了其在加速計算領域的基礎，但它並未止步於此。通過整合以太網和InfiniBand這兩大網絡平台，英偉達開始從純粹的硬件部件供應商向全方位的AI基礎設施領軍者邁進。

當越來越多的AI集羣落地時，網絡的作用就會越發突出，提供算力的同時，思考如何更好地利用算力，在其他廠商還在苦苦思索之際，英偉達網絡，已經邁出了至關重要的一步。