華為雲基於CloudMatrix384的昇騰AI雲服務全面上線

【環球網科技綜合報道】在6月20日舉行的華為開發者大會2025（HDC 2025）上，華為常務董事、華為雲計算CEO張平安宣佈基於CloudMatrix384超節點的新一代昇騰AI雲服務全面上線，為大模型應用提供充足算力。

隨着大模型訓練和推理對算力需求的爆炸式增長，傳統計算架構已難以支撐AI技術的代際躍遷。華為雲新一代昇騰AI雲服務基於CloudMatrix384超節點，首創將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯，形成一台超級“AI服務器”，單卡推理吞吐量躍升到2300 Tokens/s。超節點架構能更好地支持混合專家MoE大模型的推理，可以實現“一卡一專家”，一個超節點可以支持384個專家並行推理，極大提升效率。同時，超節點還可以支持“一卡一算力任務”，靈活分配資源，提升任務並行處理，減少等待，將算力有效使用率（MFU）提升50%以上。

對於萬億、十萬億參數的大模型訓練任務，在雲數據中心，還能將432個超節點級聯成最高16萬卡的超大集羣；同時，超節點還可以支持訓推算力一體部署，如“日推夜訓”，訓推算力可靈活分配，幫助客户資源使用最優。

張平安表示，“昇騰AI雲服務得到了全球客户、夥伴和開發者的支持。正是因為他們對華為的堅定信任，才有機會讓昇騰構築起一個比肩巔峯，開創未來的AI算力底座。”

新浪與華為雲深度合作，基於CloudMatrix384昇騰AI雲服務，為“智慧小浪”智能服務體系構建了統一的推理平台，底層由昇騰AI算力提供支持。推理的交付效率提升了超過50%，模型上線速度成倍加快；通過軟硬協同調優，NPU利用率提升超過40%，每一份資源都得到更高效的使用。在科研領域，中科院基於CloudMatrix384超節點打造了自己的模型訓練框架，快速構建了中科院AI for Science科研大模型，擺脱了對國外高性能AI算力平台的依賴。

當前，昇騰AI雲服務已經為超過1300家客户提供充足的AI算力。