10. DeepInfer:大模型怎样在加速卡上运行
你把一篇文章交给模型,请它整理三个要点。屏幕上的回答是怎样从模型和加速卡中产生的?当很多人同时提问,又是谁安排计算和显存?
DeepInfer 是 DeepSeek 公开的推理框架,负责组织模型参数、设备和计算。本文从一次摘要请求出发,介绍模型如何处理输入、逐步生成回答,以及 DeepInfer 如何安排这些计算。读完后,你可以理解缓存和多卡协作为什么重要,也能分清推理框架与完整在线服务各自负责什么。
下文以 2026 年 11 月 16 日的公开仓库为准。项目支持的模型和硬件会变化;这里的过程演示不是性能测试。
一次回答是怎样产生的
模型不会直接把整篇文章当成一个不可分割的字符串。程序先把输入编码成模型词表中的数字单元,称为 token。一个 token 可以对应一个字、一部分词或其他片段;它与中文的“字数”并没有固定换算关系。
处理输入称为 Prefill;有了上下文后,模型开始预测下一个 token,并不断重复,这个逐步生成过程称为 Decode。先看一个简化示意:
请求:整理文章要点过程示意
第 1 / 4 步准备输入
把问题和文章交给模型;处理输入前还没有生成回答。
输入
问题文章
已生成
尚无
缓存
尚无
图中按内容分组以便观察,不是真实 token 数量;缓存保存计算状态,不是原文。
图中的“问题”“文章”和“要点”是便于观察的示意分组,不对应真实分词数量。处理输入后,模型得到第一个输出,同时缓存已处理输入的状态;随后处理第一个输出,其状态才加入缓存,再预测第二个输出。实际实现可能进行批处理或推测解码,运行方式会更复杂。
这张图把注意力放在一次离线执行:输入经过处理,设备运行模型并返回输出。DeepInfer 的调度、算子和设备协作贯穿计算过程。真实模型可能还包含图像处理等步骤;两阶段差异可继续阅读 Prefill 与 Decode。
为什么读完输入还要保存状态
写摘要时,生成每个新词都要参考已经读过的文章和前面的回答。如果每次都从头重新计算历史内容,工作会重复。模型可以保留注意力计算所需的历史键和值,这部分状态叫 KV 缓存。
可以把它想成已经整理好的工作笔记:后续步骤继续查看已有笔记,并给新生成的位置补上对应状态。随着上下文变长、同时处理的请求增多,缓存也会占用更多显存。缓存省下重复计算,却要为存储和读取付出空间与带宽。
DeepInfer 仓库说完整在线服务所需的 KV 缓存系统未包含在本次发布中。这指服务层面的一整套缓存管理能力;离线推理仍需要使用模型运行时的 KV 状态。具体容量及访问过程见 KV Cache。
一个请求和很多请求,难点不同
只有一个短问题时,用户关心的是多久开始回答、之后输出是否流畅。并发请求多时,设备还要在不同请求之间安排计算。把一些工作放在一起算叫批处理,它可能提高设备利用率;批次太大或排队太久,也可能让单个用户等待更久。
这时至少要分开看三个数字:
| 指标 | 读者能感受到什么 |
|---|---|
| 首字等待时间 | 从发出请求到看到第一个输出等了多久 |
| 后续生成间隔 | 回答开始后,输出是否流畅 |
| 吞吐量 | 一段时间内系统总共处理了多少内容 |
例如把请求合批后,总吞吐可能提高,但某个请求为了等待其他请求,首字反而变慢。只看“每秒 token 数”,看不出这种取舍。具体指标与测量方法见 推理性能指标。
DeepInfer 的优化分别动了哪里
异步调度:减少设备等待。 CPU 在准备下一批任务时,设备可以继续执行当前计算。两部分工作有机会重叠,但模型计算本身并不会因此消失。
推测解码:先提候选,再验证。 假设系统先提出几个可能接在后面的 token,再由目标模型检查。如果连续候选能被接受,就可能一次推进多个位置;猜得不准仍需处理被拒绝的部分。DeepInfer 的 DSpark 使用候选及置信度安排验证,实际收益取决于接受情况与额外开销。详细过程见 推测解码。
多卡并行:把工作拆给多个设备。 仓库列出数据、上下文及专家并行等方式。这里的 MoE 是“混合专家”:模型中有多个专家模块,每个 token 选择其中一部分参与计算。不同设备要交换信息,通信可能成为瓶颈,所以增加卡数不意味着速度一定按卡数同比增长。
仓库也提供结构化输出,例如约束结果符合 JSON 格式。格式正确方便程序读取,但里面的事实仍需核对。确定性采样则有明确条件:官方说明要求 NVIDIA 平台、开启批次不变、关闭对应 MTP 变长路径并固定 seq_seed;改变条件后不能直接承诺结果逐字相同。
有界重放与并行协作
V4.1 的输出侧存在滑动窗口。DeepInfer 的 SWA 有界重放只重放所需的后缀,减少输出侧的预填充工作;公开配置中 compact 模式配合保留 140 个 token,要求覆盖窗口与最大回退长度。这个数字对应当时的默认 V4.1 设置,窗口或草稿回退条件变化后需要重新计算,不能把它当成“所有输入只保留 140 个 token”。长期信息还有其他缓存路径。
并行上,Attention DP 按请求划分注意力,balanced CP 在上下文维度分工作,MoE EP + EPLB 分散专家并处理热点。算子层组合 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与 TileLang 实现;每个组件的支持平台还需分别核对。
DSpark 的默认最大草稿长度为 5,通过置信度安排验证;它与 V3 原报告里额外预测一个 token 的实验不是同一套配置。草稿增长会引入更长回退路径,缓存状态、验证调度和有界重放必须一致,否则即使单个算子计算正确,完整生成也可能偏离预期。
离线框架与在线服务之间
按当前仓库说明,公开版本提供离线推理,列出的模型是 DeepSeek-V4.1-Flash,支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU。离线示例接收输入并生成结果;面向大量用户的服务还要解决更广的协作问题:
| 服务需要解决的问题 | 当前仓库说明 |
|---|---|
| 缓存如何在服务中管理 | 完整 KV 缓存系统未包含 |
| 不同计算阶段如何分开部署 | 阶段分离需额外提供;部分引擎功能已实现 |
| 多个副本如何分配请求 | 需要另行提供负载均衡 |
这也是为什么“开源了推理框架”不代表“下载后就是完整聊天服务”。如果研究受支持模型在指定设备上的算子、多卡与离线执行,项目源码值得参考;如果只想在普通电脑上快速运行模型,先确认设备和模型支持,再考虑更适合本地使用的工具。
仓库基准分别使用 4 张 SM100 卡测 Prefill、64 张测 Decode,属于作者给出的不同测试配置,不能直接当作一台机器或端到端服务的成绩。当前仓库要求 Linux、Python 3.12、GCC 13 及以上,并按平台分别要求 CUDA 13 或 CANN 9.2;默认模型首次运行可能需要下载。本文没有在目标硬件上构建或复测,最新条件见项目仓库。
回到开头的摘要请求:模型先处理文章,再逐步生成回答;缓存让它不必在每一步都重新计算全部历史内容。DeepInfer 负责组织这些计算,并通过调度、推测解码和多卡协作等方式尝试提高执行效率。面向用户的在线服务还需要管理请求、缓存和资源,选择工具时要连同设备支持与实际工作负载一起判断。
推理框架把模型变成输出,工具运行框架则把输出连接成行动,下一篇是 DeepSeek Harness。想进一步比较推理工具,可以接着读 推理框架对比 与 生产环境中的推理系统。
