國產GPU為底座，摩爾線程首個千卡智算中心落地

12月19日，觀察者網瞭解到，摩爾線程首個全國產千卡千億模型訓練平台——摩爾線程KUAE智算中心揭幕儀式在北京舉辦，這宣告國內首個以國產全功能GPU為底座的大規模算力集羣正式落地。

與此同時，摩爾線程聯合國內眾多合作伙伴發起併成立了摩爾線程PES -KUAE智算聯盟和摩爾線程PES-大模型生態聯盟，致力於夯實從智算基礎設施到大模型訓練與推理的國產大模型一體化生態。

摩爾線程CEO張建中在主題演講中帶來新品發佈，包括大模型智算加速卡MTT S4000，以及專為千億參數大模型訓練和推理提供強大支持的摩爾線程KUAE平台。

第三代MUSA內核

據介紹，摩爾線程大模型智算加速卡MTT S4000，採用第三代MUSA內核，單卡支持48GB顯存和768GB/s的顯存帶寬。基於摩爾線程自研MTLink1.0技術，MTT S4000可以支持多卡互聯，助力千億大模型的分佈式計算加速。同時，MTT S4000提供先進的圖形渲染能力、視頻編解碼能力和超高清8K HDR顯示能力，助力AI計算、圖形渲染、多媒體等綜合應用場景的落地。尤為重要的是，藉助摩爾線程自研MUSIFY開發工具，MTT S4000計算卡可以充分利用現有CUDA軟件生態，實現CUDA代碼零成本遷移到MUSA平台。

摩爾線程KUAE智算中心解決方案以全功能GPU為底座，是軟硬一體化的全棧解決方案，包括以KUAE計算集羣為核心的基礎設施、KUAE Platform集羣管理平台以及KUAE ModelStudio模型服務，旨在以一體化交付的方式解決大規模GPU算力的建設和運營管理問題。該方案可實現開箱即用，大大降低傳統算力建設、應用開發和運維運營平台搭建的時間成本，實現快速投放市場開展商業化運營。

支持主流大模型訓練和微調

分佈式並行計算是實現AI大模型訓練的關鍵手段。摩爾線程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內的業界主流分佈式框架，並融合了多種並行算法策略，包括數據並行、張量並行、流水線並行和ZeRO，且針對高效通信計算並行和Flash Attention做了額外優化。

目前，摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓練和微調。基於摩爾線程KUAE千卡集羣，70B到130B參數的大模型訓練，線性加速比均可達到91%，算力利用率基本保持不變。以2000億訓練數據量為例，智源研究院700億參數Aquila2可在33天完成訓練；1300億參數規模的模型可在56天完成訓練。此外，摩爾線程KUAE千卡集羣支持長時間連續穩定運行，支持斷點續訓，異步Checkpoint少於2分鐘。

智算中心不應只是硬件的堆積

大模型時代，以GPU為代表的智能算力是基石，也是生成式AI世界的中心。

在本次活動上，摩爾線程聯合中國移動北京公司、中國電信北京分公司、聯想、世紀互聯、光環新網、中聯數據、數道智算、中發展智源、企商在線、北電數智北京數字經濟算力中心、紫光恆越、瑞華產業控股（山東）、賽爾網絡、中科金財、中耘智算、金舟遠航（排名不分先後）等十餘家企業，共同宣佈“摩爾線程PES - KUAE智算聯盟”成立。聯盟將大力建設和推廣從底層硬件到軟件、工具到應用的全國產智算平台，旨在實現集羣的高利用率，以好用、易用的全棧智算解決方案成為大模型訓練首選。

活動現場，摩爾線程分別與中聯數據和數道智算進行了現場簽約，並共同為摩爾線程KUAE智算中心揭牌。現場200多名與會嘉賓一同見證了這一重要時刻。

人工智能應用的突破，生態是關鍵。

為此，摩爾線程攜手360、飛槳、京東言犀、智譜AI、超對稱、無問芯穹、滴普科技、網易、清華大學、復旦大學、浙江大學、北京理工大學、凌雲光、瑞萊智慧、南威軟件（排名不分先後）等多家大模型生態夥伴，發起併成立“摩爾線程PES - 大模型生態聯盟”。摩爾線程將以MUSA為中心的軟硬一體化大模型解決方案，積極與廣泛的生態夥伴開展兼容適配及技術調優等工作，共同推動國產大模型生態的全面繁榮。

在最後的圓桌對話環節，摩爾線程副總裁董龍飛與中能建綠色數字科技（中衞）有限公司董事長牆虎、智譜AI CEO張鵬、京東雲首席AI科學家裴積全、中金資本董事總經理翟贏、超對稱創始人吳恆魁、數道智算董事長甄鑑等重磅嘉賓，就當前大模型的算力需求和智算中心的建設與運營等話題展開了深入探討。

嘉賓一致認為，智算中心不應只是硬件的堆積，更是對軟硬一體化的GPU智算系統整合能力的考驗，GPU分佈式計算系統的適配、算力集羣的管理和高效推理引擎的應用等，都是提高算力中心可用性的重要因素。國產智算中心的發展，更是依託於將各方需求和優勢充分融合，產業聚力才能實現整個生態的協同，推動國產事業往前發展。