英偉達芯片，最新路線圖_風聞
半导体行业观察-半导体行业观察官方账号-专注观察全球半导体最新资讯、技术前沿、发展趋势。10-11 10:48
眾所周知，隨着生成式AI的大熱，英偉達正在數據中心領域大殺四方，這也幫助他們實現了更好的業績。根據公司公佈的數據，截至 2023 年 7 月 30 日的第二季度，英偉達收入為 135.1 億美元，較上一季度增長 88%，較去年同期增長 101%。
不過，英偉達目前的業績預期很多都是基於當前的芯片和硬件所做的。但有分析人士預計，如果包含企業 AI 及其 DGX 雲產品，該數據中心的市場規模將至少是遊戲市場的 3 倍，甚至是 4.5 倍。
瑞銀分析師Timothy Arcuri也表示，英偉達目前在DGX雲計算方面的收入約為10億美元。但在與客户交談後，他認為，該公司每年可能從該部門獲得高達100億美元的收入。他給出的理由是Nvidia仍然可以在DGX雲上添加額外的產品，包括預先訓練的模型，訪問H100 GPU等等。他説，現在這些領先GPU仍然“非常難”獲得訪問，能夠根據需要擴大和縮小規模，並與現有的雲或內部部署基礎設施“基本上無縫集成”。
因此，英偉達在最近公佈了一個包括H200、B100、X100、B40、X40、GB200、GX200、GB200NVL、GX200NVL 等新部件在內的產品路線圖，這對英偉達未來的發展非常重要。
數據中心路線圖
根據servethehome披露的路線圖，英偉達的一項重大變化是他們現在將其基於 Arm 的產品和基於 x86 的產品分開，其中 Arm 處於領先地位。作為參考，普通客户現在甚至無法購買 NVIDIA Grace 或 Grace Hopper，因此在 2023-2025 年路線圖的堆棧中顯示它是一個重要的細節。以下是 NVIDIA 提出的路線圖：
在NVIDIA 宣佈推出雙配置的新型 NVIDIA Hopper 144GB HBM3e 型號（可能最終成為 GH200NVL）的時候，我們介紹了具有 142GB/144GB 內存的 GH200 （非 NVL）。據介紹，與當前一代產品相比，雙配置的內存容量增加了 3.5 倍，帶寬增加了 3 倍，包括一台具有 144 個 ArmNeoverse 核心、8 petaflops 的 AI 性能和 282GB 最新 HBM3e內存技術的產品。
面向 x86 市場，英偉達預計 2024 年將推出 H200，它會在 Hopper 架構上進行更新，並具有更多內存。B100和B40是下一代架構部件，隨後是2025年的X100和X40。考慮到B40和X40位於“企業”賽道上，而當前的L40S是PCIe卡，因此這些可能是PCIe卡。
在網絡方面，Infiniband 和以太網都將於 2024 年從 400Gbps 發展到 800Gbps，然後在 2025 年達到 1.6Tbps。鑑於我們已經在 2023 年初研究了 Broadcom Tomahawk 4 和交換機，並看到了合作伙伴今年的800G Broadcom Tomahawk 5 交換機，感覺有點像 NVIDIA 以太網產品組合在以太網方面明顯落後。Broadcom 的 2022-2023 年 800G 系列似乎與 NVIDIA 的 2024 年升級保持一致，NVIDIA 在 2023 年中期宣佈了 Spectrum 4，而Tomahawk 5 則在大約 21-22 個月前宣佈。在業界，芯片發佈與投入生產之間通常存在很大的差距。
由此可見，在 Infiniband 方面，NVIDIA 是孤軍奮戰。從該路線圖中，我們沒有看到 NVSwitch/NVLink 路線圖。
其他人工智能硬件公司應該會被 NVIDIA 的企業人工智能路線圖嚇到。在人工智能訓練和推理領域，這意味着 2024 年將更新當前的 Hopper，然後在 2024 年晚些時候過渡到 Blackwell 一代，並在 2025 年採用另一種架構。
在 CPU 方面，我們最近已經看到了令人激動的更新節奏，x86 方面的核心數量之戰出現了大幅增長。例如，英特爾的頂級 Xeon 核心數量預計從 2021 年第二季度初到2024 年第二季度將增加 10 倍以上。NVIDIA 在數據中心領域似乎也在緊跟這一步伐。對於構建芯片的人工智能初創公司來説，考慮到 NVIDIA 的新路線圖步伐，這現在是一場競賽。
對於英特爾、AMD，或許還有 Cerebras 來説，隨着 NVIDIA 銷售大型高利潤芯片，他們的目標將會發生變化。它還將基於 Arm 的解決方案置於頂級賽道中，這樣它不僅可以在 GPU/加速器方面獲得高利潤，而且可以在 CPU 方面獲得高利潤。
一個值得注意的落後者似乎是以太網方面，這感覺很奇怪。
精準的供應鏈控制
據semianalysis説法，英偉達之所以能夠在羣雄畢至的AI芯片市場一枝獨秀，除了他們在硬件和軟件上的佈局外，對供應鏈的控制，也是英偉達能坐穩今天位置的一個重要原因。
英偉達過去多次表明，他們可以在短缺期間創造性地增加供應。英偉達願意承諾不可取消的訂單，甚至預付款，從而獲得了巨大的供應。目前，Nvidia 有111.5 億美元的採購承諾、產能義務和庫存義務。Nvidia 還額外簽訂了價值 38.1 億美元的預付費供應協議。單從這方面看，沒有其他供應商可以與之相媲美，因此他們也將無法參與正在發生的狂熱AI浪潮。
自 Nvidia 成立之初起，黃仁勳就一直積極佈局其供應鏈，以推動 Nvidia 的巨大增長雄心。黃仁勳曾在重述了他與台積電創始人張忠謀的早期會面中表示：
“1997 年，當張忠謀和我相遇時，Nvidia 那一年的營收為 2700 萬美元。我們有 100 個人，然後我們見面了。你們可能不相信這一點，但張忠謀曾經打銷售電話。你以前經常上門拜訪，對嗎？你會進來拜訪客户，我會向張忠謀解釋英偉達做了什麼，你知道，我會解釋我們的芯片尺寸需要有多大，而且每年都會變得越來越大而且更大。你會定期回到英偉達，讓我再講一遍這個故事，以確保我需要那麼多晶圓，明年，我們開始與台積電合作。Nvidia 做到了，我認為是 1.27 億，然後，從那時起，我們每年增長近 100%，直到現在。”
如果某件事有效，為什麼要改變它？
最近這一次，英偉達又搶走了SK海力士、三星、美光HBM的大部分供應，這是GPU和AI芯片正在追逐的又一個核心。英偉達向所有 3 個 HBM 供應商下了非常大的訂單，並且正在擠出除Broadcom/Google之外的其他所有人的供應。
此外，Nvidia 還已經買下了台積電 CoWoS 的大部分供應。但他們並沒有就此止步，他們還出去考察並買下了Amkor的產能。
Nvidia 還利用了 HGX 板或服務器所需的許多下游組件，例如重定時器、DSP、光學器件等。拒絕英偉達要求的供應商通常會受到“胡蘿蔔加大棒”的對待。一方面，他們可以從英偉達那裏獲得看似難以想象的訂單，另一方面，他們也面臨着被英偉達現有供應鏈所設計的問題。他們僅在供應商至關重要並且無法設計出來或多源時才使用提交和不可取消。
每個供應商似乎都認為自己是人工智能贏家，部分原因是英偉達從他們那裏訂購了大量訂單，而且他們都認為自己贏得了大部分業務，但實際上，英偉達的發展速度是如此之快，甚至已經超出了他們的想想。
回到上面的市場動態，雖然 Nvidia 的目標是明年數據中心銷售額超過 700 億美元，但只有 Google 擁有足夠的上游產能，能夠擁有超過 100 萬個規模的有意義的單元。即使AMD最新調整了產能，他們在AI方面的總產能仍然非常温和，最高只有幾十萬台。
精明的商業計劃
眾所周知，Nvidia 正在利用 GPU 的巨大需求，利用 GPU 向客户進行追加銷售和交叉銷售。供應鏈上的多位消息人士告訴semianalysis，英偉達正在基於多種因素對企業進行優先分配，這些因素包括但不限於：多方採購計劃、計劃生產自己的人工智能芯片、購買英偉達的 DGX、網卡、交換機和光學器件等。
Semianalysis指出，CoreWeave、Equinix、Oracle、AppliedDigital、Lambda Labs、Omniva、Foundry、Crusoe Cloud 和 Cirrascale 等基礎設施提供商所面臨的分配的產品數量遠比亞馬遜等大型科技公司更接近其潛在需求。
據semianalysis所説，事實上，Nvidia 的捆綁銷售非常成功，儘管之前是一家規模很小的光收發器供應商，但他們的業務在 1 季度內增長了兩倍，並有望在明年實現價值超過 10 億美元的出貨量。這遠遠超過了 GPU 或網絡芯片業務的增長率。
而且，這些策略是經過深思熟慮的，例如目前，在 Nvidia 系統上通過可靠的 RDMA/RoCE 實現 3.2T 網絡的唯一方法是使用 Nvidia 的 NIC。這主要是因為Intel、AMD、Broadcom缺乏競爭力，仍然停留在200G。
在Semianalysis開來，Nvidia正在趁機管理其供應鏈，使其 400G InfiniBand NIC 的交貨時間明顯低於 400G 以太網 NIC。請記住，兩個 NIC (ConnectX-7) 的芯片和電路板設計是相同的。這主要取決於 Nvidia 的 SKU 配置，而不是實際的供應鏈瓶頸。這迫使公司購買 Nvidia 更昂貴的 InfiniBand 交換機，而不是使用標準以太網交換機。當您購買具有 NIC 模式 Bluefield-3 DPU 的 Spectrum-X 以太網網絡時，Nvidia 會破例。
事情還不止於此，看看供應鏈對 L40 和 L40S GPU 的瘋狂程度就知道了。
Semianalysis透露，為了讓那些原始設備製造商贏得更多的 H100 分配，Nvidia 正在推動 L40S的銷售，這些 OEM 也面臨着購買更多 L40S 的壓力，進而獲得更好的 H100 分配。這與 Nvidia 在 PC 領域玩的遊戲相同，筆記本電腦製造商和 AIB 合作伙伴必須購買大量的 G106/G107（中端和低端 GPU），才能為更稀缺、利潤率更高的 G102/G104 獲得良好的分配（高端和旗艦 GPU）。
台灣供應鏈中的許多人都被認為 L40S 比 A100 更好，因為它的 FLOPS 更高。需要明確的是，這些 GPU 不適合 LLM 推理，因為它們的內存帶寬不到 A100 的一半，而且沒有 NVLink。這意味着除了非常小的模型之外，以良好的總體擁有成本在它們上運行LLM幾乎是不可能的。高批量大小（High batch sizes）具有不可接受的令牌/秒/用户（tokens/second/user），使得理論上的 FLOPS 在實踐中對於 LLM 毫無用處。
Semianalysis説，OEM 廠商也面臨着支持 Nvidia 的 MGX 模塊化服務器設計平台的壓力。這有效地消除了設計服務器的所有艱苦工作，但同時也使其商品化，創造了更多競爭並壓低了 OEM 的利潤。戴爾、HPE 和聯想等公司顯然對 MGX 持抵制態度，但台灣的低成本公司，如超微、廣達、華碩、技嘉、和碩和華擎，正在急於填補這一空白，並將低成本“企業人工智能”商品化。
當然，這些參與 L40S 和 MGX 遊戲的 OEM/ODM 也獲得了 Nvidia 主線 GPU 產品更好的分配。
雖然英偉達正在面臨着芯片廠商和系統廠商自研芯片的夾擊。但這些佈局，似乎短期內都能讓英偉達高枕無憂。他們依然會是AI時代最成功的“賣鏟人”。