03. DeepSeekMoE:细粒度专家、路由与参数账
同样回答“年假怎么申请”,V3 为什么有 671B 参数,却说每个 token 只激活约 37B?本篇从一个 token 进入前馈网络开始,解释小专家、共享专家和节点受限路由怎样配合,并把总参数、激活参数、权重存储三笔账分开。
小专家怎样组合
一个专家负责的变换为什么要越切越细?DeepSeekMoE(2024 年 1 月)给出了两个理由,也提出了两种对应的结构。
细粒度专家(fine-grained experts):把每个专家切小,数量相应增加,激活的个数也成比例增加,总参数和激活参数都不变。好处是组合数暴涨。16 个专家选 2 个只有 120 种组合;切成 64 个、选 8 个,忽略路由和通信后,专家矩阵乘的计算量相同,组合有 4,426,165,368 种。Mixtral 的 8 选 2 只有 28 种,DeepSeek-V3 的 256 选 8 约 4.1 × 10¹⁴ 种。组合越多,每个专家可以只负责更窄的一类模式,再由路由器拼出 token 需要的那一套,而不是让一个大专家同时记住很多不相干的东西。
共享专家(shared expert):留一个或几个专家给所有 token 必经,不参与路由。语言里有大量所有 token 都需要的通用处理(基本语法、常见搭配),如果每个路由专家都各学一份,就是重复存储。共享专家把这部分集中起来,路由专家专心学有区分度的部分。DeepSeek-V3 有 1 个共享专家,输出直接加到路由专家的结果上;Qwen3.5 也有 1 个,但先乘一个由当前 token 决定的 sigmoid 门控(源码里的 shared_expert_gate),让模型自己决定这个 token 要多少通用处理。
这两种结构不是必选项。Qwen3 的技术报告明确说 Qwen3-MoE 去掉了 Qwen2.5-MoE 用过的共享专家,改用全局批次均衡损失;到 Qwen3.5 又加了回来。共享专家的利弊目前没有一边倒的结论,各家仍在根据自己的实验取舍。另一个常见选择是前几层不用 MoE:DeepSeek-V3 前 3 层、Kimi Linear 第 1 层是稠密 FFN,浅层的表示还比较“通用”,按 token 分流的收益相对小,这几层留给稠密 FFN 的参数也不多。
V3 的分组路由
DeepSeek-V3(2024 年 12 月发布)把 V2 的骨架放大:隐藏维度 7168、61 层,前 3 层是密集 FFN(中间维度 18432),后 58 层是 MoE。每个 MoE 层有 256 个路由专家、1 个共享专家,每个 token 选 8 个,每个专家的中间维度 2048。路由方式也换了:V2 用 softmax 打分,V3 改成 sigmoid 打分,并引入无辅助损失的负载均衡偏置。
按 Transformers 里 DeepseekV3TopkRouter.forward 的逻辑,简化后是这样:
python
# x: [n, 7168],W: [256, 7168],bias: [256](e_score_correction_bias,不参与梯度)
s = sigmoid(x @ W.T) # [n, 256] 原始分数
c = s + bias # 只用于“选谁”
group = c.view(n, 8, 32).topk(2).values.sum(-1) # [n, 8] 每组取最高 2 个分相加
keep = group.topk(4).indices # 留下 4 组 = 128 个候选
c = c.masked_fill(不在 keep 组里, -inf)
idx = c.topk(8).indices # [n, 8] 选中的专家
w = s.gather(1, idx) # 权重用原始分数,不含 bias
w = w / w.sum(-1, keepdim=True) * 2.5 # routed_scaling_factor
y = Σ w_k · expert_k(x) + shared_expert(x)以上为路由逻辑伪代码,省略了张量 API 和掩码实现,不能直接运行。这里有两个 DeepSeek 特有的取舍。
先选组,再选专家。 训练时 256 个路由专家分布在 8 个节点上,一组对应一个节点。每个 token 最多发往 4 个节点(论文里 M = 4),跨节点的通信量就被封顶了。这是为训练集群的网络拓扑设计的约束,n_group 和 topk_group 两个字段记录的就是它。推理部署不一定按这个方式摆放专家,但路由规则已经训练进模型,推理时仍要照做。
偏置只管选择,不管加权。 每个专家有一个不经梯度的偏置,过载就调低、空闲就调高(机制和模拟见第 11 篇)。V3 的具体设置是:调整步长 γ 在前 14.3T token 取 0.001,最后 500B token 取 0;另外只留一项系数 α = 0.0001 的序列级辅助损失,防止单条序列内极端不均衡。论文的消融实验里,同样规模的模型改用无辅助损失方案后,多数评测好于纯辅助损失方案;另一组 1B 模型的对照中,验证损失是 2.253,序列级辅助损失方案是 2.258。这是 DeepSeek 自己的对照,差距不大,能说明“去掉主要的辅助损失不会更差”,不能说明它在所有规模、所有数据上都更好。
负载失衡怎样看出来。 和所有 MoE 一样,均衡失败会表现为路由坍缩(第 11 篇);对 DeepSeek-V3,除了监控每个专家接到的 token 比例,还要看 e_score_correction_bias 是否持续朝一个方向漂移。
671B 和 37B 的参数账
把 V3 的配置逐项代入(计算脚本按 config.json 字段写成,每个模块的形状来自 modeling_deepseek_v3.py):
text
每层 MLA:q_a 7168×1536 + q_b 1536×(128×192) + kv_a 7168×576
+ kv_b 512×(128×256) + o 16384×7168 + 两个小 norm = 187,107,328
每个专家:3 × 7168 × 2048 = 44,040,192(gate、up、down 三个矩阵)
密集 FFN:3 × 7168 × 18432 = 396,361,728,共 3 层
路由器:256 × 7168 = 1,835,008,共 58 层
词嵌入、输出层:各 129280 × 7168 = 926,679,040
总参数 = 61 × 注意力 + 3 × 密集 FFN + 58 × (路由器 + 257 × 专家) + 词嵌入 + 输出层 + norm
= 671,026,404,352每个 token 实际经过的部分把“257 个专家”换成“8 个路由专家 + 1 个共享专家”:
text
激活参数 = 61 × 注意力 + 3 × 密集 FFN + 58 × (路由器 + 9 × 专家) + 词嵌入 + 输出层 + norm
= 37,552,282,624 ≈ 37.6B图里最显眼的是两个比例。第一,路由专家占了总参数的 97.4%,模型“大”几乎全大在专家上;注意力只有 114 亿,在总量里不到 2%。第二,到了每 token 的激活参数里,注意力占了三成。这和 Llama-3.1-8B 很不一样,那里 FFN 占 70%。MoE 把 FFN 的激活量压下来以后,注意力变成了不可忽视的计算来源,这也是 DeepSeek 后来在注意力上继续做稀疏化的背景。
技术报告以约数写“671B 总参数、37B 激活”;这里按列出的模块相加,计入完整词嵌入表与输出头,得到约 37.55B。词嵌入实际上只查一行,因此这个数不等于一次前向真正读取的全部参数或精确 FLOPs。权重说明另有 36.7B 的口径,不能把差值未经核对就归因于某一个模块。检查点主干还保存 58 × 256 = 14,848 个不经梯度更新的均衡偏置;加上它们是 671,026,419,200 个存储元素。MTP 独有参数与检查点重复存储的区别见下一篇。
负载和显存不能只看激活比例
资料助手的一条请求每层只选 8 个路由专家,但 32 个请求组成一批后会选到很多不同专家。按均匀、独立路由的教学假设,单层被使用的专家比例是 1 − (1 − 8/256)^32 ≈ 63.8%。实际文本会造成热点,所以压测要看每张卡、每个专家的 token 数和等待时间。
权重存储仍由总参数决定。把“37B 激活”当成“只需放下 37B 权重”会导致容量规划失败;将专家放到不同设备后,token 还要分发和收回。负载均衡偏置影响模型选择,运行时的专家复制和重排影响设备负载,两者的职责不同。
专家也不是预先指定的“法律部门”“数学部门”。路由器选择的是学习到的向量变换,不能拿专家编号作为业务分类结果。
DeepSeekMoE 用稀疏计算扩大容量,用路由约束控制通信与负载;这还没有改变每次只生成下一个 token 的基本过程。下一篇看 MTP 如何多学一步,并为推理起草候选。
