金磊 發自 凹非寺
量子位 | 公眾號 qbitai
號稱地表最強的m3 ultra,本地跑滿血版deepseek r1,效果到底如何?
其實,有些deepseek玩家們已經提前拿到手做過實測了。
例如這位alex老哥就是其中之一:
他提前拿到了兩台搭載m3 ultra的mac studio,配置是這樣的:
m3 ultra(32 核中央處理器、80 核圖形處理器和 32 核神經網路引擎)
512g統一內存
1tb固態硬碟
具體來說,alex老哥用配備thunderbolt 5互連技術(傳輸速率為 80gbps)的exo labs設備,來運行完整的deepseek r1模型(671b、8-bit)。
然後效果是這樣的:
嗯,跑通了!
alex老哥表示,兩台mac studio本地跑滿血版deepseek r1,實際速度是11 tokens/秒,理論上可以達到20 tokens/秒。
至於價格嘛,一台上述配置的mac studio是74249元,兩台就是小15萬元。
或許很多小夥伴覺得這個價格有點略貴。
但在m3 ultra之前啊,如果你想在本地使用顯卡來推理v3或r1,那麼就得起碼需要6、7張a100……大約小100萬元。
也正因如此,也有不少網友認為搭載m3 ultra的mac studio,堪稱是「性價比最高的大模型一體機」。
值得注意的是,蘋果這次似乎是主動給deepseek玩家們提前發貨,有種讓他們趕緊測一測的意味。
畢竟在發布之際,蘋果就強調了可以在m3 ultra版mac studio中跑超過6000億參數的大模型。
掀起一波本地跑deepseek的風
其實在m3 ultra版mac studio發布前後,已經有不少人做過類似的評測。
例如b站博主「雖然但是張黑黑」的測試結果是:
15.78 tokens/秒:採用ollama的gguf格式
19.17 tokens/秒:採用更適合蘋果的mlx格式
這個速度已經跟在線使用deepseek r1的速度相媲美了。
除此之外,像外網博主xcreate還把m3 ultra版mac studio和m4 max版macbook pro的拉到一個「擂台」做了比較。
首先從性能上來看,geekbench測試的結果顯示,m3 ultra在cpu性能方面與m4 max非常接近,但m3 ultra略勝一籌。
在本地運行大模型測試方面,博主在運行基於llama的deepseek r1 70b模型時,m3 ultra的速度為11.3 tokens/ 秒,而m4 max測試結果為10.69 tokens/秒,差距並不是很大。
但更重要的是測試滿血版deepseek r1的結果。
對此,博主認為在本地完整運行671b的deepseek是有點困難的,因為已經有人宣告失敗。
但也有成功的例子。
他舉例另一位評測人員的結果,顯示是運行8bit量化版本的deepseek r1,得到了9-21 tokens/秒的速度。
而在4bit量化版情況下,速度為16-18 tokens/秒。
至於為什麼體量更大的671b的deepseek,會比70b運行速度更快,是因為deepseek將671b模型分片為 「專家混合體」,實際運行時根據問題切換,類似運行30b的模型。
最後,博主也提醒想要在本地運行大模型的友友們,網傳蘋果將在今年wwdc上發布m4 ultra,所以可以再觀望一下。
參考鏈接:
[1]https://x.com/alexocheema/status/1899604613135028716[2]https://www.bilibili.com/video/bv1nkrnytewx/