Skip to content

约 4 分钟阅读

04. MTP:多 token 预测与投机解码 ​

资料助手每输出一个 token 都要运行一次大模型。如果附加模块能便宜地猜出后续内容,再让主模型验证,就有机会减少大模型串行运行的次数。本篇先讲 V3 如何训练这个模块,再讲推理怎样使用与拒绝草稿,最后分清模块参数和权重文件大小。

主模型与附加预测模块 ​

配置里的 num_nextn_predict_layers = 1 表示 V3 带一个多 token 预测(Multi-Token Prediction,MTP)模块。普通语言模型在每个位置只学“下一个 token 是什么”,MTP 让它在每个位置额外学“再下一个是什么”。

MTP 模块把主模型的最后隐藏状态和下一个 token 的词嵌入拼接,经过一个 Transformer 块和共用输出头,预测再下一个 token

以下用“根据”“员工”作为示意 token,不代表实际分词结果。以资料助手为例:主模型读完“年假怎么申请?”,在“?”这个位置输出下一个 token“根据”。MTP 模块拿到两样东西:主模型在“?”位置的最后一层隐藏状态 [1, 7168],以及“根据”的词嵌入 [1, 7168]。两者各做一次 RMSNorm(权重里叫 hnorm、enorm),拼成 [1, 14336],经 eh_proj 投影回 7168 维,再过一个使用 MLA + MoE 的 Transformer 块,最后用与主模型共用的输出头预测“根据”之后的 token。训练时“根据”是真实文本里的下一个 token,推理时是主模型刚预测出来的 token。

这个模块的参数约 116 亿(不含共用的词嵌入和输出头,官方文档写 11.5B),检查点里它存在 model.layers.61。Transformers 的 DeepseekV3PreTrainedModel 把 model.layers.61.* 列为加载时忽略的权重,用 Transformers 直接加载时只得到 61 层主模型。

MTP 在两个阶段各有用处:

  • 训练:每个位置多一个预测目标,总损失 = 主损失 + λ × MTP 损失,λ 在前 10T token 取 0.3,之后取 0.1。论文的消融实验显示加上 MTP 后多数评测有提升;MTP 只在训练时增加计算,训练完可以整块丢掉,不影响主模型的推理。
  • 推理:留下它当投机解码的草稿。主模型每一步出一个 token 的同时,MTP 顺手猜出再下一个;验证阶段让主模型并行计算候选位置的条件分布,再按接受规则推进;不匹配时丢弃被拒绝的后缀。论文报告第二个 token 的接受率在 85%—90%,解码速度提高到约 1.8 倍。投机解码为什么不改变输出分布、什么情况下反而变慢,见推理系列第 15 篇。

V3 只有一个 MTP 模块,原报告重点展示额外预测一个 token 的用法。模块层数与推理时递归起草的长度是两回事:是否连续使用它提出多个候选,由引擎算法决定。不能从 num_nextn_predict_layers = 1 推出任何实现都只能起草一个 token。

11.6B 与约 14B 为什么同时出现 ​

按 V3 配置计算,MTP 独有模块约 11,610,067,968 个参数;检查点还单独存放词嵌入和输出头的对应权重,并保存 256 个均衡偏置。因此检查点中的 MTP 部分约为 13,463,426,304 个元素,官方以约 14B 描述;与主干相加得到 684,489,845,504,按约数就是 685B。这里统计的是权重元素,FP8、BF16 和 FP32 的字节数不同,不能直接当成下载大小。

架构中的权重共享与文件中的存储形式要分开看。只比较参数标签,容易把共享权重重复计算成新增能力,也容易低估磁盘占用。

候选被拒绝时发生什么 ​

用示意 token 说明:主模型先给出“根据”,MTP 提议接“员工”;目标模型验证后若应当接“公司”,就拒绝“员工”以及依赖它的后续草稿。缓存只能保留已经接受的前缀,被拒绝位置的状态需要回滚或覆盖。训练时 MTP 看到的是真实后续 token,推理时可能看到错误草稿,接受率因此依任务而变。

贪心解码可直接比较目标模型的最大概率 token;随机采样要按草稿分布与目标分布执行接受和校正,不能把“两个 token 相同”当成通用算法。严格的分布保持依赖正确实现,详见投机解码的接受规则。

开启前后测同一批请求 ​

先运行不带 MTP 的基线,再用相同模型、提示、精度、采样设置与并发开启 MTP,比较每次验证接受多少 token、每 token 延迟、峰值显存和回答质量。候选越长可能覆盖更多步,也可能让验证浪费更多计算。短回答、高并发或草稿接受率低时,MTP 的额外成本可能大于收益;论文里的约 1.8 倍不能直接当成自己的服务承诺。

MTP 同时影响训练目标与推理执行,但推理收益需要正确加载和验证。下一篇转向训练成本:FP8、分块缩放与 DualPipe。

别急,先让缓存热一下。