清華團隊突破大模型算力瓶頸：4090單卡實現DeepSeek-R1滿血運行_風聞

IT之家

現階段用户使用 DeepSeek-R1 的主要途徑無外乎雲服務及“本地部署”，但官網服務器頻頻宕機、個人部署多為參數量縮水 90% 的蒸餾版。因此，一般用户要想在普通硬件上運行起真正的 DeepSeek-R1 滿血版可以説很難很難，而租賃服務器的成本就算是開發者也倍感壓力。

清華大學 KVCache.AI 團隊與趨境科技聯合發佈 KTransformers（IT之家注：發音為 Quick Transformers）開源項目本週宣佈迎來重大更新，成功破解千億級大模型本地部署難題，突破標誌着大模型推理從“雲端壟斷”走向“普惠化”的重要一步。

如圖所示，KTransformers 團隊於 2 月 10 日成功在 24G 顯存 + 382 GB 內存的 PC 上實現本地運行 DeepSeek-R1、V3 的 671B 滿血版，速度提高 3~28 倍。

2月15日， KTransformers 宣佈支持更長的上下文（24GB 單卡支持 4~8K），並實現 15% 加速（每秒最多 16 個 Tokens）。

據官方介紹，KTransformers 是一個靈活的、以 Python 為中心的框架，其設計核心是可擴展性、通過用一行代碼實現和注入一個優化模塊，用户就能訪問兼容 Transformers 的界面、符合 OpenAI 和 Ollama 標準的 RESTful API，甚至是類似 ChatGPT 的簡化網頁用户界面。

該技術首次支持在單張 24GB 顯存的消費級顯卡（如 RTX 4090D）上運行 DeepSeek-R1 / V3 的 671B 參數滿血版，預處理速度最高達 286 tokens / s，推理生成速度達 14 tokens / s，徹底改寫了 AI 大模型依賴昂貴雲服務器的歷史格局。

DeepSeek-R1 基於混合專家（MoE）架構，其核心是將任務分配給不同專家模塊，每次推理僅激活部分參數。團隊創新性地將非共享稀疏矩陣卸載至 CPU 內存處理，結合高速算子優化，顯存需求從傳統 8 卡 A100 的 320GB 壓縮至單卡 24GB。

**藉助於KTransformers，普通用户只需 24G 顯存即可****在本地運行 DeepSeek-R1、V3 的 671B 滿血版。**預處理速度最高達到 286 tokens/s，推理生成速度最高能達到 14 tokens/s。

針對 MoE 架構的特點，KTransformers 團隊通過 Marlin GPU 算子實現量化矩陣計算，效率較傳統方案提升 3.87 倍；再加上 CPU 端突破，採用 llamafile 實現多線程並行，結合英特爾 AMX 指令集優化，CPU 預填充速度較 llama.cpp 提升 28 倍，長序列任務響應時間從分鐘級縮短至秒級。

此外，他們通過減少 CPU / GPU 通信斷點，實現單次解碼僅需一次完整的 CUDA Graph 調用，生成速度優化至 14 tokens/s，功耗僅 80W，整機成本約 2 萬元，僅為傳統 8 卡 A100 方案的 2%。

經過開發者實測，使用 RTX 3090 顯卡和 200GB 內存配置，結合 Unsloth 優化，Q2_K_XL 模型推理速度達 9.1 tokens/s，實現千億級模型的“家庭化”運行。

必須要説明的是，KTransformers 並非一個單純的推理框架，也不限於 DeepSeek 模型，它可以兼容各式各樣的 MoE 模型和算子，能夠集成各種各樣的算子，做各種組合的測試，同時還提供了 Windows、Linux 的平台的支持，感興趣的用户可自行嘗試。

當然，要想使用 KTransformers 也有一點的硬件條件，而不是説只有有一張 RTX 4090 就行順利運行。先決條件：

CPU：英特爾至強 Gold 6454S 1T DRAM（2 個 NUMA 節點）

GPU：RTX 4090D（24G VRAM）

內存：標準 DDR5-4800 服務器 DRAM（1 TB）

CUDA 12.1 或更高版本

RTX 4090D + 雙路 Xeon Gold 實測數據：

對於 Linux-x86_64 系統，您需要 gcc、g++ 和 cmake 使用以下命令進行安裝：

sudo apt-get updatesudo apt-get install gcc g++ cmake ninja-build

這裏強烈建議使用 Conda 創建一個包含 Python 3.11 的虛擬環境。使用以下命令創建並激活環境：

conda create --name ktransformers python=3.11 conda activate ktransformers # 您可能需要運行 ‘conda init’

安裝 PyTorch、packaging、ninja、cpufeature 和 numpy：

pip install torch packaging ninja cpufeature numpy

安裝 KTransformers

pip install ktransformers --no-build-isolation

快速使用

python -m ktransformers.local_chat --model_path <your model path> --gguf_path <your gguf path> --prompt_file <your prompt txt file> --cpu_infer 65 - max_new_tokens 1000<when you see chat, then press enter to load the text prompt_file>

**參數解釋：**model_path：模型路徑。gguf_path: gguf 文件路徑。

prompt_file：包含提示文本的文件路徑。

cpu_infer 65：指定用於推理的 CPU 核心數。如果使用雙路 CPU，因此設置為 65。

max_new_tokens 1000：設置生成 token 的最大數量。

參考資料

GitHub 地址：https://github.com/ kvcache-ai / ktransformers

本地化 671B DeepSeek-Coder-V3 / R1 教程：https://github.com/ kvcache-ai / ktransformers / blob / main / doc / en / DeepseekR1_V3_tutorial.md