華為昇騰AI芯片在運行深度求索R1模型時如何超越英偉達處理器 | 南華早報

華為技術有限公司的先進數據中心架構CloudMatrix 384，使得該公司的昇騰芯片在運行深度求索的R1人工智能（AI）模型時，性能超越了英偉達的H800圖形處理器（GPU），據一份技術論文所述。這篇由華為與中國AI基礎設施初創公司硅流（SiliconFlow）的研究人員聯合撰寫的論文，將CloudMatrix 384描述為一個專為處理大規模AI工作負載而設計的“AI超級節點”。根據本週發佈的論文，華為預計CloudMatrix將重塑AI基礎設施的基礎。它由384顆昇騰910C神經網絡處理器（NPU）和192顆鯤鵬服務器中央處理器組成，通過提供超高帶寬和低延遲的統一總線相互連接。

論文稱，這一先進的大型語言模型（LLM）服務解決方案名為CloudMatrix-Infer，利用了該基礎設施。在運行深度求索6710億參數的R1推理模型時，其性能超越了全球一些最著名的系統。該架構體現了受美國製裁的華為正努力突破華盛頓技術管控措施，該公司正在推動人工智能系統性能的邊界。數據中心是容納大容量服務器和數據存儲系統的設施，擁有多重電源和高帶寬互聯網連接。越來越多的企業利用數據中心為其人工智能項目託管或管理計算基礎設施。