華為將首次展出“算力核彈”真機

觀察者網獲悉，本次世界人工智能大會（WAIC），華為將首次線下展出昇騰384超節點真機。

隨着大模型訓練和推理對算力需求的爆炸式增長，傳統計算架構已難以支撐AI技術的代際躍遷。華為昇騰384超節點，首創將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯，形成一台超級“AI服務器”，單卡推理吞吐量躍升到2300 Tokens/s。

在高速互聯總線聯接下，昇騰384超節點共由12個計算櫃和4個總線櫃構成，是目前業界最大規模的超節點，算力總規模達300Pflops，是英偉達NVL72的1.7倍；網絡互聯總帶寬達269TB/s，比英偉達NVL72提升107%；內存總帶寬達1229TB/s，比英偉達NVL72提升113%。 更重要的是，通過最佳負載均衡組網等方案，昇騰超節點還能進一步擴展為包含數萬卡的Atlas 900 SuperCluster超節點集羣，未來可以支撐更大規模的模型演進。

並且，超節點架構還能更好地支持混合專家MoE大模型的推理，可以實現“一卡一專家”，一個超節點可以支持384個專家並行推理，極大提升效率。同時，超節點還可以支持“一卡一算力任務”，靈活分配資源，提升任務並行處理，減少等待，將算力有效使用率（MFU）提升50%以上。

本文系觀察者網獨家稿件，未經授權，不得轉載。