10月20日，深度求索（DeepSeek）宣布将内部推理框架DeepInfer全面开源，并同步开源生产级Token编解码组件deepseek-recipe。这是DeepSeek继开源模型、TileLang编译工具及推理算子库之后，首次对外放出支撑其线上大规模服务的核心推理引擎。据官方技术报告，基于DeepInfer部署的DeepSeek V4.1 Flash，单一集群日吞吐量达155万亿Token，按谷电价计算每卡每小时收入为38美元。

DeepInfer采用Apache 2.0许可证，基于Python构建，最初建立在vLLM之上，并借鉴了SGLang与TensorRT-LLM的设计思路。该框架原生适配英伟达GPU与华为昇腾平台，集成了分布式推理、推测解码、SWA Bounded Replay及结构化输出等能力。官方表示，后续新模型的推理实现与性能优化将在此框架中持续开源。

框架的核心设计之一，是将推理过程拆分为Prefill与Decode两阶段并分别部署。Prefill负责读取输入提示词，Decode负责逐Token生成。因两阶段计算负载特征不同，DeepSeek使用8卡服务器承担Prefill任务，采用64至128卡超节点承担Decode任务，并通过自动扩缩容动态调整两阶段实例比例，以减少流量波动导致的资源错配；在MoE模型推理中，通过专家并行与动态负载均衡降低计算卡间的负载差异。

缓存复用是DeepSeek降低推理成本的另一项关键机制。V4.1 Flash将KVCache分为Block KVCache与SWA KVCache两部分。Block KVCache存储在独立的3FS分布式文件系统中，容量约100PiB，Agent流量缓存保留3天，聊天流量保留7天；3FS集群峰值聚合读取带宽达10TiB/s，写入带宽约850GiB/s。当请求命中前缀缓存时可复用计算结果，减少重复Prefill计算。SWA KVCache仅保留在机器内存中，保留时间约180秒，命中率超过98%。针对SWA未命中情况，DeepSeek采用SWA Bounded Replay机制，仅重算最近128个Token并将注意力窗口限制在该区间，以固定缓存缺失时的重算成本。技术报告披露，线上平均每个请求携带77K Token输入，其中96%命中缓存；命中与未命中输入的定价相差50倍。

在生成阶段，DeepSeek采用DSpark投机解码框架，依据候选Token的预期接受概率动态决定验证范围，避免将验证算力浪费在低接受概率的候选结果上。官方披露，相比固定验证5个Token的方案，变长验证使线上吞吐提升约6%。调度环节则通过CPU与GPU异步协作，让请求调度、前向计算与采样尽可能重叠。

同步开源的deepseek-recipe支持Chat Completions API、Responses API和Messages API等主流接口，通过特殊Token边界识别、普通文本分段并行编码及流式输出解析提升长文本处理效率，确保第三方部署的API处理逻辑与官方服务一致。

需要指出的是，本次开源并未覆盖DeepInfer全部组件。由于KVCache管理、全局负载均衡及Prefill/Decode分离调度等环节与DeepSeek内部基础设施（如3FS存储集群）耦合较深，这部分代码尚未完整开放。企业需自行补齐该层调度与存储底座，方能在私有化或公有云环境中复现官方同等的超大规模部署效果。

本次开源将推理引擎内核、缓存体系设计思路与生产指标一并公开，为云厂商与自建大模型服务栈提供了可参照的降本实现路径。