一体机,阻碍DeepSeek性能的最大绊脚石!

2025年03月25日10:30:25 财经 4976

一体机是DeepSeek交付的最佳方式吗?

恰恰相反,一体机是阻碍DeepSeek提升推理性能的最大绊脚石。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

为啥?

只因DeepSeek这个模型有点特殊,它是个高稀疏度的MoE模型。

MoE这种混合专家模型,设计的初衷是通过“激活一堆专家中的少量专家”,来达到减少计算量、提升推理效率的目标。

举个例子,MoE模型好比是一个超级大饭店的后厨,这个后厨里有几百个大厨,每个大厨擅长做不同菜系川菜厨子、鲁菜厨子、湘菜厨子…

这些厨子就相当于不同领域的专家。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

其中有个人是厨师长,厨师长不负责炒菜,他清楚地知道每个厨师擅长做什么菜。

这个厨师长就是MoE模型中的门控网络。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

每次顾客点菜的时候,厨师长(门控网络)会根据顾客点菜的需求以及自己对厨师能力的了解,安排擅长做这些菜的厨子炒菜。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

这样,酒店的后厨就不必为每位厨师安排灶眼,只需少量灶眼(比如8个),供那些需要上岗炒菜(被激活)的厨师使用就可以了。

这就相当于MoE的原理:只激活少量专家,从而大幅降低计算量。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

是不是看起来很不错,但是有一点很重要:不参与炒菜的厨子们虽然不占用灶眼,但是还是要挤在后厨随时等待召唤。

也就是说,MoE模型里那些未激活专家,虽然不消耗算力,但它们的参数量仍然要占用显存/内存,带来巨大的存储开销和调度复杂性。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

回过头来,我们再来看DeepSeek-R1/V3,是稀疏度极高的MoE模型(总参数量6710亿,激活量370亿)。

按照DeepSeek官方的最新披露,模型每层256个专家,只有8个被激活(V3的Transformer 层数设置为 61 层)。

好比你的饭店有60多个后厨房间,每个屋里放256个厨师,同时只有8个厨师干活,其他待命。

你想想,恐怕只有新东方厨师专修学院才这么干吧。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

这就意味着,你需要配置超高的一体机(大显存、大内存),才能够运行满血版DeepSeek。

事实证明,目前的状况也的确如此,市面上的“真·满血DeepSeek一体机”价格都是100万起,甚至要大几百万。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

把MoE模型装进一体机的不科学之处在于↓

我花了大钱买了一堆不能同时干活的专家,只为他们可以减少计算量。
然而,这种一体机部署模式算力是我买断的,难道不应该让他们尽量都干活,从而让算力最大化使用吗?
我的显存/内存/硬盘都是为了装下6710亿参数,但实际干活只有370亿参数…

所以,我们的观点是:

一体机其实是运行DeepSeek这种MoE模型的最差选择,更适合运行那些非MoE的全参数激活模型。

这一点,大家如果仔细看上周DeepSeek官方在知乎披露的推理优化架构就明白了。

人家说的很清楚,要想获得“更大的吞吐、更低的延迟”,核心就是要使用“大规模跨节点专家并行”。

你一体机就单个节点、8张卡,勉强装下所有专家,还并行个毛线啊?

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

按照DeepSeek给出的官方参考推理架构(专家并行、数据并行、PD分离):

Prefill阶段:部署单元4节点(32张H800),32路专家并行和数据并行。
Decode阶段:部署单元18节点(144张H800),144路专家并行和数据并行。

这就意味着,一个22节点的集群(176张卡),才能发挥出最优的推理吞吐和延迟。(让每个专家获得足够的输入,都忙活起来,而不是“占着茅坑不拉屎”)

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

正因为这种采用这种大规模并行架构,DeepSeek官方给出的单服务器平均推理性能才高得离谱(输入:73.7k tokens/s,输出14.8k tokens/s)。

而一体机厂商们给出的性能,输出+输入的总和最多也不过4k tokens/s。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

当然,我们并不是要否定大模型一体机,只是一体机不适合部署MoE模型,让它跑个稠密模型,不需要大规模并行的,还是很好的。

眼下DeepSeek一体机满天飞,更多的还是满足客户的情绪价值:本地化、开箱即用、专属性……

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

尤其在数据隐私方面,一体机有着无与伦比的优势,不只是合规,更能切实有效的保护数据不出域。

比如,很多通过API、WEB或APP提供DeepSeek服务的供应商,在他们的用户协议里可能赫然写着“…我们可能会将服务所收集的输入及对应输出,用于本协议下服务的优化…”。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

这对于大部分企业级客户来说,这都是无法接受的,所以本地化部署肯定是刚需,这也是目前DeepSeek一体机火爆的原因(即便性能不佳)。

其实,很多企业过去两年自己囤过算力,此时参考DeepSeek的大规模并行架构,部署起来,相信会有不错的效果。

而满血版的DeepSeek一体机,企业可以量预算而行,不要硬上:

第一,蒸馏版,体积小性能好,效果差点不耽误练手;
第二,最近新模型层出不穷,可以尝试下非MoE架构的小体积新模型;
第三,相信不久的将来下一代DeepSeek就会发布,届时再下手也不迟。

大模型的前方是星辰大海,但我们,才刚刚上路呢。

一体机,阻碍DeepSeek性能的最大绊脚石! - 天天要闻

财经分类资讯推荐

大智慧:上半年预亏280万元至420万元,同比大幅减亏 - 天天要闻

大智慧:上半年预亏280万元至420万元,同比大幅减亏

大智慧 视觉中国 资料图大智慧预计上半年实现大幅减亏。7月11日晚间,上海大智慧股份有限公司(大智慧,601519.SH)发布2025年半年度业绩预告。预计2025年半年度实现归母净利润为-420万元到-280万元,上年同期为-1.38亿元,据记者计算预计同比减亏超1.33亿元。此外,大智慧预计2025年半年度实现归母扣非净利润为-4000万元到...
“证券业高质量发展28条”出台,中证协明确未来工作重点 - 天天要闻

“证券业高质量发展28条”出台,中证协明确未来工作重点

中国证券业协会 视觉中国 资料图7月11日,澎湃新闻记者了解到,中国证券业协会(下称“中证协”)向各家券商下发了《中国证券业协会关于加强自律管理 推动证券业高质量发展的实施意见》(下称“《实施意见》”),明确了中证协今后一段时期的职能定位、工作重点和主要任务。整体来看,《实施意见》共28条,主要包括八方面内...
2025北京丽泽国际消费季启幕  创新场景激活消费新活力 - 天天要闻

2025北京丽泽国际消费季启幕 创新场景激活消费新活力

央广网北京7月11日消息(记者 朱冠安)7月11日,由北京丽泽金融商务区管委会主办的2025丽泽国际消费季在京启幕。本次活动以“盈丰而上 镜启繁融”为主题,融合“果甄蔬适节”市集等丰富活动,构建“15分钟自然生活圈”消费场景,为市民带来集消费、文化、艺术于一体的沉浸式体验,为京城夏日注入全新消费活力。活动现场(央...
8股本周获机构大手笔净买入!一周牛熊股出炉 - 天天要闻

8股本周获机构大手笔净买入!一周牛熊股出炉

今日(7月11日),沪指冲高回落,全市场成交额1.74万亿元,较上一个交易日放量超2000亿元。收盘上涨个股近3000只,其中收盘股价涨停的有69只。从一周表现来看,沪指本周累计涨1.09%,深证成指累计涨1.78%,创业板指累计涨2.36
浅议中国稀土的40大关。 - 天天要闻

浅议中国稀土的40大关。

今天(2025年7月11日)的中国稀土股价最终涨幅:9.99 %,成功封板;股票收盘价:40.73元/股。这是自2023年2月1日盘中冲上:45.28元后,历时2年零5个月,再次站上40元的关口。2023年4月17日,盘中最高:38.86元
医保新政,狙击卷王 - 天天要闻

医保新政,狙击卷王

出品 | 虎嗅科技医疗组作者 | 陈广晶编辑 | 苗正卿头图 | AI生成商保创新药目录又进一步。7月10日,国家医保局发布了一系列关于2025年基本医保目录和第一版商保创新药目录调整的文件。
香飘飘上半年预亏超9700万元,同比扩大逾两倍,传统冲泡业务缘何旺季“熄火”? - 天天要闻

香飘飘上半年预亏超9700万元,同比扩大逾两倍,传统冲泡业务缘何旺季“熄火”?

每经记者:蔡鼎 每经编辑:魏文艺7月11日晚间,香飘飘(SH603711,股价13.84元,市值57.14亿元)发布2025年半年度业绩预告,预计2025年上半年营业收入10.35亿元左右,同比下滑12.21%左右;预计上半年归属于上市公司股东的净利润亏损9739万元左右,较2024年同期的亏损2950.11万元增加逾两倍;预计上半年归属于上市公司股东的..