DeepSeek玩家能提前拿蘋果新品！只要15萬元，在家跑滿血版R1_風聞

金磊 發自 凹非寺

量子位 | 公眾號 QbitAI

號稱地表最強的M3 Ultra，本地跑滿血版DeepSeek R1，效果到底如何？

其實，有些DeepSeek玩家們已經提前拿到手做過實測了。

例如這位Alex老哥就是其中之一：

他提前拿到了兩台搭載M3 Ultra的Mac Studio，配置是這樣的：

M3 Ultra（32 核中央處理器、80 核圖形處理器和 32 核神經網絡引擎）

512G統一內存

1TB固態硬盤

具體來説，Alex老哥用配備Thunderbolt 5互連技術（傳輸速率為 80Gbps）的EXO Labs設備，來運行完整的DeepSeek R1模型（671B、8-bit）。        

嗯，跑通了！

Alex老哥表示，兩台Mac Studio本地跑滿血版DeepSeek R1，實際速度是11 tokens/秒，理論上可以達到20 tokens/秒。

至於價格嘛，一台上述配置的Mac Studio是74249元，兩台就是小15萬元。

或許很多小夥伴覺得這個價格有點略貴。

但在M3 Ultra之前啊，如果你想在本地使用顯卡來推理V3或R1，那麼就得起碼需要6、7張A100……大約小100萬元。

也正因如此，也有不少網友認為搭載M3 Ultra的Mac Studio，堪稱是**“性價比最高的大模型一體機”**。

值得注意的是，蘋果這次似乎是主動給DeepSeek玩家們提前發貨，有種讓他們趕緊測一測的意味。

畢竟在發佈之際，蘋果就強調了可以在M3 Ultra版Mac Studio中跑超過6000億參數的大模型。

掀起一波本地跑DeepSeek的風

其實在M3 Ultra版Mac Studio發佈前後，已經有不少人做過類似的評測。

例如B站博主“雖然但是張黑黑”的測試結果是：

15.78 tokens/秒：採用Ollama的GGUF格式

19.17 tokens/秒：採用更適合蘋果的MLX格式

這個速度已經跟在線使用DeepSeek R1的速度相媲美了。

除此之外，像外網博主Xcreate還把M3 Ultra版Mac Studio和M4 Max版Macbook Pro的拉到一個“擂台”做了比較。

首先從性能上來看，Geekbench測試的結果顯示，M3 Ultra在CPU性能方面與M4 Max非常接近，但M3 Ultra略勝一籌。

在本地運行大模型測試方面，博主在運行基於Llama的DeepSeek R1 70B模型時，M3 Ultra的速度為11.3 tokens/ 秒，而M4 Max測試結果為10.69 tokens/秒，差距並不是很大。

但更重要的是測試滿血版DeepSeek R1的結果。

對此，博主認為在本地完整運行671B的DeepSeek是有點困難的，因為已經有人宣告失敗。

但也有成功的例子。

他舉例另一位評測人員的結果，顯示是運行8bit量化版本的DeepSeek R1，得到了9-21 tokens/秒的速度。

而在4bit量化版情況下，速度為16-18 tokens/秒。

至於為什麼體量更大的671B的DeepSeek，會比70B運行速度更快，是因為DeepSeek將671B模型分片為 “專家混合體”，實際運行時根據問題切換，類似運行30B的模型。

最後，博主也提醒想要在本地運行大模型的友友們，網傳蘋果將在今年WWDC上發佈M4 Ultra，所以可以再觀望一下。

參考鏈接：

[1]https://x.com/alexocheema/status/1899604613135028716

[2]https://www.bilibili.com/video/BV1nkRnYTEWx/