10月20日,DeepSeek宣布将内部推理框架DeepInfer全面开源,GitHub仓库同步上线,并罕见地晒出生产账本:单集群日吞吐155万亿Token,每卡每小时收入38美元——按此测算,单张卡月收入可超18万元。大模型推理的“成本黑箱”,被揭开了一角。

开源的不只是模型,还有部署它的引擎
据界面新闻、财联社等报道,DeepInfer是支撑DeepSeek V4.1 Flash高吞吐、低延迟大规模推理服务的内部框架,未来新模型的推理代码及后续优化都将在该仓库持续更新。同步开放的还有生产级Token编解码组件deepseek-recipe。官方表示,希望通过分享内部部署经验,帮助开发者与企业优化大规模推理的吞吐与延迟,高效构建私有化及公有云部署。
DeepInfer 开源要点
· 兼容英伟达与华为昇腾芯片,支持昇腾950(据BlockBeats,尚非完整在线服务)
· 单集群日吞吐155万亿Token;每卡每小时收入38美元
· 同日:V4.1 Flash登顶Arena开源榜,形成“模型+引擎”组合拳
这笔账本的行业含义大于数字本身:38美元/卡时意味着在满载推理场景下,单卡月收入约27,360美元——对正纠结“买卡自建还是租用API”的企业,DeepSeek给出了可对标的单位经济学参照系。而兼容昇腾等国产芯片这一点,让私有化部署的算力选择更加多元。

推理框架开源,动了谁的奶酪?
官方口径直指两大目标:降低算力成本、减少能源消耗,“让智能以更低价格触达更广泛人群”。这与vLLM、SGLang等开源推理栈形成了正面竞争,也把“推理服务要不要自研”的命题摆上了所有云厂商的桌面。开源消息公布当天,相关算力与AI应用板块全线拉升。
模型开源决定智能的上限,推理框架开源决定智能的单价。
九天技术在算力调度与推理服务上的实践与DeepInfer思路相通:把吞吐、延迟与单位成本做成可度量、可优化的工程指标,才是行业智能规模化交付的前提。我们会持续评估DeepInfer在自有智算底座上的适配表现。
(信息综合自界面新闻、财联社、华尔街见闻、第一财经、观察者网等公开报道)