聯想AMD AI服務器單機部署滿血版DeepSeek大模型

【環球網科技綜合報道】3月18日消息，聯想日前宣佈旗下首款AMD AI大模型訓練服務器聯想問天WA7785a G3在單機部署671B（滿血版） DeepSeek大模型時，可實現極限吞吐量6708token/s，將單台服務器運行大模型的性能推向了新高。

依託聯想萬全異構智算平台，聯想通過訪存優化、顯存優化、PCIe 5.0全互聯架構創新以及精選SGLang框架中性能最優算子等諸多創新方式，對大模型從預訓練、後訓練到推理的全流程進行持續優化，在單台部署DeepSeek 671B大模型的聯想問天WA7785a G3上實測最高吞吐量達6708 token/s。

在模擬問題對話場景（上下文序列長度128/1K）時，最高可支持併發數158，TPOT 93毫秒, TTFT 2.01秒；而在模擬代碼生成（上下文序列長度512/4K ）時，併發數可達140，TPOT 100毫秒, TTFT 5.53秒。

據官方介紹，單台聯想問天WA7785a G3可以支撐1500人規模企業的正常使用，是繼聯想問天WA7780 G3服務器單機部署滿血版DeepSeek 大模型總吞吐量突破2500 token/s之後，單機部署該大模型推理性能的又一次突破。

值得一提的是，此次突破是聯想中國基礎設施業務羣、聯想研究院ICI實驗室和AMD聯合設計、協同調優、共同實現的。此結果也並非最終結果， 聯想與AMD 還在持續嘗試深度調優新方法。實現更高調優突破。（青雲）