最強AI芯片來了!英偉達H200發佈,3款"縮水"芯片難以滿足中國_風聞
智百道-昨天 22:19

文 / 道哥
近日,在2023年的全球超算大會(SC23)上,英偉達發佈了其最新的AI芯片——NVIDIA HGX H200(以下簡稱“H200”)。這款芯片是其前代產品H100的升級版,基於相同的Hopper架構,但在性能和效率上有了顯著的提升,堪稱目前全球最強AI芯片。

最強AI芯片英偉達H200發佈
據悉,H200是首款採用HBM3e GPU(內存,相較此前速率更快、容量更大),進一步加速生成式AI與大語言模型,同時推進用於HPC(高性能計算)工作負載的科學計算,可提供傳輸速度4.8 TB/秒的141GB顯存。
**相比前一代的NVIDIA A100,其容量幾乎翻了一倍,帶寬增加了2.4倍。**這種改進使得H200能夠更高效地處理大規模的數據集,從而加速生成式AI和大語言模型的訓練。
對於HPC(高性能計算)工作負載,H200同樣表現出色。其高顯存帶寬確保了數據的高效訪問,與CPU相比,獲得結果的時間最多可提升110倍。這使得H200不僅適用於AI大模型的訓練,還適用於各種科學計算。
在架構方面,儘管H200與H100基於相同的Hopper架構,但性能有了顯著的提升。
根據英偉達的測試,**H200在700億參數的Llama 2大模型上的推理速度比H100快了一倍,推理能耗直接降低了一半。**此外,H200在Llama 2和GPT-3.5大模型上的輸出速度分別是H100的1.9倍和1.6倍。這些性能提升使得H200成為了AI和HPC應用的理想選擇。

除了硬件上的升級,H200還在軟件上與H100保持兼容。這意味着H200將繼承H100的所有功能,同時提供更強的性能和效率。此外,H200提供了四路和八路H200服務器主板的可選配置,使其可以部署在各種類型的數據中心,包括本地、雲、混合雲和邊緣環境。
根據英偉達的規劃,H200預計將於2024年第二季度開始出貨。亞馬遜雲科技、谷歌雲、微軟Azure和甲骨文雲等雲服務提供商也預計將成為首批部署基於H200實例的服務商。這對於渴望利用生成式AI和HPC應用的企業和組織來説,無疑是一個令人振奮的消息。
值得一提的是,英偉達的股價在發佈這一新品的消息後持續上漲,這反映出市場對英偉達及其新產品線的強烈信心。隨着AI和HPC市場的持續增長,英偉達通過其強大的產品和創新能力,繼續鞏固其在這些領域的領先地位。

中國市場仍要努力
此前不久,針對中國市場,英偉達還推出了三款基於H100的AI芯片,分別是HGX H20、L20 PCle、L2 PCle。據規格文件顯示,這三款產品主要面向訓練、推理和邊緣場景,並預計將於今年11月至明年1月間量產。然而,與H100相比,這些芯片在性能上有所縮減,有些“雞肋”的味道。
其中,HGX H20在帶寬和計算速度等方面受到限制,理論上整體算力比H100降低約80%。儘管價格相對下降,但仍可能比國內AI芯片910B高一些。對於這種性能,有行業人士認為其對中國客户而言有些“雞肋”。
那麼,國產芯片是否可以替代?據智百道瞭解,目前國內AI芯片910B在大模型推理方面僅能達到A100的60%-70%性能,且算力功耗、發熱等方面遠高於英偉達A100/H100系列產品。
此外,新的HGX H20芯片雖然採用了先進封裝技術並擁有更高的互聯速率,但其FP16稠密算力僅為H100的15%。因此,在算力集羣方面,新的H20芯片的理論極限低於H100/H800和A100,需要增加更多成本和擴展更多算力才能完成大規模模型訓練。

有行業專家預測,基於目前性能參數的預估,明年英偉達B100 GPU產品可能不再向中國市場銷售。但是,整體來看,對於需要進行大規模模型訓練的大模型企業而言,目前只有H800和H100能夠勝任。國產910B芯片性能介於A100和H100之間,只是備用選擇。而新的H20芯片更適用於特定領域的模型訓練和推理,無法滿足萬億級大模型訓練需求。
因此,英偉達新推出的H20芯片更適用於垂類模型訓練、推理,在一定程度上對國產AI芯片市場形成了衝擊,但其仍無法滿足萬億級大模型訓練需求,無法完全滿足中國市場的需求。
最新財報顯示,截至7月30日的一個季度內,英偉達135億美元的銷售額中,有超過85%份額來自美國和中國,只有大約14%的銷售額來自其他國家和地區。
中國市場是英偉達無法忽視的,而隨着中國自身芯片產業的崛起,英偉達“縮水”版芯片還會有多大吸引力,值得持續觀察。
智百道