浪潮信息推出元腦R1推理服務器，單機釋放DeepSeek 671B強大模力

北京2025年2月12日 /美通社/ -- 2月11日，浪潮信息正式推出元腦R1推理服務器，通過系統創新和軟硬協同優化，單機即可部署運行DeepSeek R1 671B模型，幫助客户顯著降低DeepSeek R1全參數模型的部署難度及成本，並提升推理服務性能，加速千行百業探索智能湧現。

當前，DeepSeek開源多版本模型，助力各行業加速應用大模型技術推動業務升級轉型。其中，DeepSeek R1 671B模型作為全參數基礎大模型，相比蒸餾模型具有更強的泛化能力、更高的準確性和更好的上下文理解能力，但也對系統顯存容量、顯存帶寬、互連帶寬和延遲提出了更高要求：在FP8精度下至少需要約800GB顯存承載，FP16/BF16精度下需要1.4TB以上的顯存空間；此外，DeepSeek R1是典型的長思維鏈模型，具有短輸入、長輸出的應用特點，推理解碼階段依賴更高的顯存帶寬和極低的通信延遲。面向671B模型的算力特徵和系統需求，元腦R1推理服務器提供領先的顯存容量、顯存帶寬和通信速度，能夠助力企業高效完成DeepSeek全參數模型的本地化部署。

元腦R1推理服務器NF5688G7是領先的高算效AI計算平台，原生搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失。在顯存方面，提供1128GB HBM3e高速顯存，滿足671B模型FP8精度下不低於800GB顯存容量的需求，單機支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術特徵，在推理解碼階段可實現顯著加速。在通信方面，GPU P2P帶寬達900GB/s，保障單機部署張量並行更佳通訊性能，基於最新推理框架單機可支持20-30用户併發。同時，單台NF5688G7配備3200Gbps無損擴展網絡，可根據用户業務需求增長實現敏捷擴展，提供成熟的R1服務器集羣Turnkey解決方案。

元腦R1推理服務器NF5868G8是專為大推理模型（Large Reasoning Model）創新設計的高吞吐推理服務器，業界首次實現單機支持16張標準PCIe雙寬卡，提供高達1536GB顯存容量，支持在FP16/BF16精度下單機部署DeepSeek 671B模型。創新研發基於PCIe Fabric的16卡全互連拓撲，任意兩卡P2P通信帶寬可達128GB/s，降低通信延遲超60%。通過軟硬協同優化，相較傳統2機8卡PCIe機型，NF5868G8可將DeepSeek 671B模型推理性能提升近40%，目前已支持多元AI加速卡選配。

浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商，通過發展新一代以系統為核心的計算架構，打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力於AI計算平台、資源平台和算法平台的研發創新，並通過元腦生態攜手領先夥伴，加速人工智能的創新和應用落地。

消息來源：浪潮信息