08. V4 与 V4.1:压缩注意力、mHC 和条件记忆
资料助手继续扩展到百万 token 时,只减少读取位置还不够,全部历史状态本身也很大。V4 把长期信息压成条目,同时保留近期原文;V4.1 又让输入与输出使用不同规模的计算。本篇接着 DSA 解释缓存、残差与条件记忆分别改变了什么,避免把几个不同层面的“压缩”混为一谈。
近期原文与远期压缩
DeepSeek-V4 预览版在 2026 年 4 月 24 日发布,V4-Pro 在 8 月 13 日正式上线,权重为 MIT 许可证。它分两个尺寸:V4-Flash 总参数 2840 亿、激活 130 亿,V4-Pro 总参数 1.6 万亿、激活 490 亿,上下文都是 100 万 token。官方说明在 100 万 token 上下文时,V4-Pro 每生成一个 token 的计算量是 V3.2 的 27%,KV Cache 是 V3.2 的 10%。
V4 的注意力不再是 MLA。按 2026 年 10 月的配置快照与 Transformers 5.21.0 的实现,DeepseekV4Attention 有四处变化:
- 共享 KV 的 MQA:
num_key_value_heads= 1、head_dim= 512,每个 token 只算一个 512 维向量,同时当 K 和 V 用,所有查询头共享。不再有潜向量展开这一步; - 部分 RoPE:只在每个头的 64 维位置分量上加旋转;因为 V 和 K 是同一个向量,V 也带上了旋转,输出端再按查询位置反向转回来;
- 注意力汇聚:每个头一个可学习的 sink 参数,和 gpt-oss 的做法相同(第 18 篇细讲);
- 分组输出投影:以 V4-Flash 为例,64 个头 × 512 维拼起来有 32768 维,直接投影到 4096 维太贵,V4 把头分成 8 组(
o_groups),每组先投影到 1024 维(o_lora_rank),再合并到隐藏维度;V4-Pro 是 128 个头分 16 组。
真正支撑百万上下文的是 KV 的压缩方式。每一层都保留最近 128 个 token 的原样 KV(滑动窗口),更早的内容按层类型分两种处理:
- CSA(Compressed Sparse Attention):每 4 个 token 用可学习的门控加权合成一个 512 维条目,相邻窗口有重叠;再由一个和 V3.2 同类的闪电索引器从这些条目里挑 top-k(Flash 512 个、Pro 1024 个)。
- HCA(Heavily Compressed Attention):每 128 个 token 合成一个条目,窗口不重叠,不做挑选,所有条目都参与注意力。
config.json 里的 compress_ratios 列出每层用哪种:0 表示只有滑动窗口,4 是 CSA,128 是 HCA。V4-Flash 的 43 层是“2 层纯滑动窗口 + CSA、HCA 交替”,共 21 层 CSA、20 层 HCA;V4-Pro 的 61 层是“2 层 HCA + CSA、HCA 交替”,共 30 层 CSA、31 层 HCA。
可以用每 token 新增的缓存量粗算一下为什么 KV 能降到一成。滑动窗口每层固定 128 个 token,不随上下文增长,百万 token 时可以忽略;随长度增长的部分(按元素个数估算,不考虑各部分存储精度的差别):
text
V3.2:61 层 × (576 + 128 索引键) = 42,944 个数 / token
V4-Pro:30 层 CSA × (512 ÷ 4 + 128 ÷ 4 索引键) + 31 层 HCA × (512 ÷ 128)
= 30 × 160 + 31 × 4 = 4,924 个数 / token
比值 ≈ 11.5%这个粗算和官方的 10% 在同一量级。代价也很直观:远处的内容只剩压缩后的摘要,HCA 层里 128 个 token 只剩一个向量,要靠 CSA 层的索引器和每层的滑动窗口去补细节。反过来,短对话里这些机制几乎用不上:128 个 token 以内,每层看到的就是全部原文;几千 token 时,压缩条目也只有几百(CSA)到几十个(HCA)。
哈希路由与多条残差流
FFN 和残差也有变化。V4 的每一层都是 MoE,没有密集层(V3 有 3 层);Flash 每层 256 个路由专家、Pro 384 个,都只选 6 个,外加 1 个共享专家。前 3 层改用哈希路由:选哪些专家由一张按 token 编号固定的表 tid2eid 决定,不再由路由器学习,路由器只负责给选中的专家算权重。其余层仍用无辅助损失偏置,打分函数从 sigmoid 换成 sqrtsoftplus(softplus 再开方),不再分组限制。残差连接换成 mHC(Manifold-Constrained Hyper-Connections):每个 token 的残差流从一条扩成 hc_mult = 4 条并行的流,进入注意力或 FFN 前加权合成一条,出来后再分回 4 条,流之间的混合矩阵用 Sinkhorn 迭代约束成双随机矩阵,防止信号在几十层里被放大。残差流的基本概念见第 08 篇。
按配置复算,V4-Flash 总参数约 2843 亿、激活约 138 亿(不含词嵌入和输出层约 127 亿),V4-Pro 总参数约 1.573 万亿、激活约 498 亿,与官方公布的规模处于同一量级,激活量仍需按词嵌入等统计口径分别对照。发布的权重里路由专家用 FP4 存储、其余大部分用 FP8。V4 同样带 1 层 MTP,但上述 Transformers 版本的实现不实例化它(配置说明里写明“not instantiated here”)。训练上 V4 改用 Muon 优化器;优化器根据梯度决定参数怎样更新,属于训练配方,不是推理时额外运行的一层。
mHC 中的“双随机”指混合矩阵元素非负,而且每行、每列之和接近 1。以两条残差流的教学例子为例,[[0.8, 0.2], [0.2, 0.8]] 分别混合两条流,各行没有额外放大总权重;实际模型用四条流,Sinkhorn 迭代交替归一化行列。约束的是残差混合路径,不能据此宣称整个神经网络绝不会放大信号或训练失败。
注意力或 FFN 仍接收一条隐藏向量,四条流负责跨层传递和组合。它增加了表达与混合能力,也增加中间状态和算子工作;hc_mult = 4 不意味着复制四套完整注意力或四套专家权重。
V4.1:输入与输出的计算开始不对称
2026 年 9 月 10 日发布的 V4.1-Flash 采用因果编码器—解码器(Causal Encoder–Decoder,CED),官方给出的总参数是 552B,输入阶段激活 8B、输出阶段激活 16B,并加入原生视觉理解。这些数字对应不同阶段,不能用一个固定激活参数代替所有输入与输出 token 的成本。
“编码器—解码器”在这里描述这代模型的具体计算结构,不能直接套用早期翻译 Transformer 的双向编码器。运行时还需要区分输入侧生成的共享状态与输出侧局部状态。DeepInfer 的公开执行路径包含跨层共享状态与滑动窗口的有界重放:预填充时可避免把完整历史在输出侧重复跑一遍,但保留后缀必须覆盖窗口和回退长度,详见 DeepInfer。
Engram:条件记忆与条件计算的区别
Engram 是 DeepSeek 的条件记忆研究:用相邻 token 组成的 N-gram 特征进行确定性寻址,查到可学习的嵌入,再结合当前上下文融合进主干。常见局部模式因此可以通过查表取得,不必每次都依赖多层神经网络重新构造。
资料助手反复读到固定短语时,MoE 路由会选择一些专家来计算变换,Engram 则选择一些记忆条目来读取表示。查表地址由离散输入决定,有利于提前安排读取和把大表放到主机内存;真正的延迟还取决于表位置、传输带宽、命中与重叠情况,O(1) 寻址不等于零成本。
这种条件记忆是模型里的参数化表示,与查询最新员工手册的外部检索用途不同。它不提供文档权限、出处和事实更新保证;发生哈希冲突或任务依赖复杂上下文时,也需要主干计算与门控判断。公开 Engram 演示对 Attention、MoE、mHC 等部件做了模拟,不能把运行演示当成完整模型验证。V4.1 的具体集成与规模应以对应权重和实现为准,不能从独立研究仓库推定任意检查点都包含相同配置。
长文档如何验证压缩边界
将“请假需提前 5 天”与后面的“紧急情况可当日申请”分开放置,分别测试单条定位、合并判断和原文引用;再改变间距,使它们跨过滑动窗口和压缩分组。压缩使缓存增长更慢,但逐字细节可能混入同一条表示;只测试摘要质量,无法判断精确引用是否受损。
缓存估算要同时计入窗口、压缩条目、索引键、压缩器运行状态与实际精度。前面的 11.5% 是元素增长率的简化账,不是当前实现的显存实测。
从 MLA 的潜向量到 DSA 的位置选择,再到压缩条目与不对称计算,节省的对象逐步变化。真正部署还要把模型、精度和算子对上,下一篇进入推理系统与开源算子。
