華為雲CEO:384超節點每卡性能可達英偉達H20三倍

(文/觀察者網 呂棟 編輯/張廣凱)
“芯片重不重要?重要。但更重要的是,能夠提供客户所需要的計算結果。”8月28日,在中國國際大數據產業博覽會開幕式上,華為常務董事、華為雲計算CEO張平安説道。
這是華為雲被傳出組織架構大調整後,張平安首次公開發聲。他表示,華為雲正在堅定不移地造算力黑土地,通過昇騰AI雲服務和Tokens服務滿足客户的“最終計算結果”。
在當下,大模型發展對AI基礎設施提出了更高要求,未來十年,算力的需求可能會有數萬倍的增長。但是相比英偉達、AMD等海外廠商,國產芯片的發展受到美國層層圍堵。
在芯片工藝受限的情況下,中國如何提升算力性能和規模?張平安表示,華為可以發揮“大雜燴”的優勢——綜合在光通信、網絡、供電等多方面的技術,以系統補單點,以空間換算力,以帶寬換算力,以能源換算力,通過雲上算力集羣,獲得規模優勢和提升性能。
今年4月,華為雲發佈了CloudMatrix384超節點,將384顆昇騰NPU和192顆鯤鵬CPU,通過全新高速網絡MatrixLink全對等互聯,形成一台超級“AI服務器”,算力規模達到300 PFlops。此外,對於萬億、十萬億參數的大模型訓練任務,可以通過橫向擴展方式,將432個超節點連在一起,組成一個16萬卡的AI集羣。如果這個集羣用於訓練千億參數大模型,可以同時支持1300個。
在這次大會上,華為雲宣佈其Tokens服務接入CloudMatrix384超節點,通過xDeepServe架構創新,單芯片最高可實現2400TPS、50msTPOT的高吞吐、低時延,超過業界水平。
觀察者網從現場瞭解到,xDeepServe是以Transformerless的極致分離架構,把MoE大模型拆成可獨立伸縮的Attention、FFN、Exper三個微模塊,相當於在一台CloudMatrix384上把“大模型”拆成“積木”,並分派到不同的NPU上同步處理任務。之後,再用基於內存語義的微秒級XCCL通信庫與FlowServe自研推理引擎,把它們重新拼成一個超高吞吐的LLM服務平台,即Tokens的“超高速流水線”。通過xDeepServe不斷調優,最終實現了從非超節點單卡吞吐600tokens/s至超節點單卡吞吐2400tokens/s的提升。
“昇騰AI雲服務,我們可以稱之為國產的,我們不在意它是7納米、5納米還是10納米,我們在意的是這樣的AI雲服務,能夠為客户提供算力服務,提供Token服務,來服務客户的最終計算結果。很高興告訴大家,現在我們超節點的Token服務,在50ms時延下,每卡可以生產出2400個Token,這個效率是H20的三倍。除盤古外,我們還支持主流的DeepSeek、Kimi等開源大模型。”張平安在大會上表示。

CloudMatrix384超節點
根據大會上的信息,目前華為雲正圍繞貴安、烏蘭察布、和林格爾、蕪湖三大核心樞紐,打造“全國算力一張網”,其中在貴州已部署超40套CloudMatrix384超節點。相比去年同期,華為雲整體算力規模增長接近250%,昇騰AI雲服務客户從從去年的321家增長到今年1714家,重大事故為零的記錄連續保持了756天。
與此同時,華為雲圍繞智能駕駛領域集中發佈CloudVeo智能駕駛雲服務等解決方案和成果,華為雲貴安汽車專區正式上線,長安天樞智駕搭載華為雲CloudMatrix 384超節點也同步亮相。
華為雲透露,中國最大的智能駕駛(輔助)企業引望已經跑在昇騰上。多個項目的實際測試結果顯示,在典型感知模型、E2E、VLA模型上,CloudMatrix 384超節點可以達到或者超過H1002.5-3倍。
就在這次大會前,華為雲組織架構調整引發諸多關注。市場傳言稱,華為雲多個部門被裁撤整合。調整後,華為雲將聚焦3+2+1業務:3包括通算、智算、存儲;2包括AI PaaS、數據庫;1則主要為安全業務。
Canalys數據顯示,今年一季度,華為雲在中國大陸雲服務市場中排名第二,佔據18%的份額,與阿里雲33%的份額仍有差距。而阿里雲AI相關工作負載已連續七個季度實現三位數增長,成為其雲業務的核心引擎。
在分析人士看來,市場主流需求已從“上雲”轉向“上AI”,客户對AI的旺盛需求正重塑雲計算應用方式。華為雲此次組織“陣痛”是一次必然的戰略抉擇,就是通過砍掉協同效應弱、資源消耗大的外圍研發,將所有力量都集中到能最大化“昇騰AI+盤古”組合優勢的核心場景上。
這次大會上,華為副總裁、中國雲業務部部長陳林也談到組織架構調整一事。他表示,“原因很簡單,就是聚焦AI飽和投入。當前是人工智能應用行業落地的加速期,中國擁有千行萬業的業務場景,各行各業都在積極的擁抱AI,中國非常有機會在各行業構築起全球領先的優勢。”
“我們希望大模型能在昇騰雲上跑的更快更好。”張平安也提到,在蒸汽機發明的時候,人們曾經嘗試着給三輪車裝上蒸汽機,這讓火車的發明推遲了四十年,因此,在AI時代來臨的時候,要積極擁抱AI原生思維,用AI原生的思維來構築AI,圍繞AI重新構建應用、數據、流程、人員。
“今天是硅基輔助人來幹活,AI是工具;未來AI可能會成為執行任務的主體,人的任務就是管理AI,控制AI的開關。對於希望用AI構築領先優勢的企業來説,只有通過AI原生思維來擁抱AI,才能充分發揮AI的潛力,提高效率,創新業務模式,抓住智能時代機遇,實現智能躍遷。”他表示。
本文系觀察者網獨家稿件,未經授權,不得轉載。