Skip to content

约 6 分钟阅读

02. MLA:把 KV 缓存压成潜向量 ​

资料助手要读取 10 万 token 的手册时,除了模型权重,还要保存生成过程反复使用的历史状态。上一章把 MLA 放到了版本地图里,本篇沿着“写入缓存、读取缓存、计算注意力”三步说明它怎样节省空间,以及节省之后计算和并行怎样变化。理解 Q、K、V 的基本职责即可继续;需要手算注意力时可先看注意力基础。

从多份 K、V 到一份潜向量 ​

分组查询注意力(GQA)省 KV 的方式是让多个查询头共用一组 K、V,代价是头之间的 K、V 不再独立。DeepSeek-V2 提出的多头潜在注意力(Multi-head Latent Attention,MLA)换了个思路:每个头仍有自己的 K、V,但它们都由同一个低维向量算出来,缓存里只存这个低维向量。

低秩压缩是核心。以 DeepSeek-V3 的配置为例(kv_lora_rank 512,128 个头,每头 K 的“内容部分” 128 维、V 128 维):

text
压缩(下投影):c_kv = RMSNorm(h · W_DKV)        [n, 7168] → [n, 512]      ← 存进缓存
展开(上投影):k_nope = c_kv · W_UK              [n, 512] → [n, 128 头, 128]
                v      = c_kv · W_UV              [n, 512] → [n, 128 头, 128]

这里 h 是输入隐藏状态,n 是 token 数;W_DKV 是下投影矩阵,W_UK、W_UV 分别把潜向量还原成各头的 K、V。RMSNorm 对每个 token 的向量做归一化,具体机制见归一化。

如果直接按多头注意力(MHA,每个头独立保存 K、V)存 128 个头的 K、V,每层每 token 要 128 × (128 + 128) = 32,768 个数;MLA 只存 512 个。“低秩”指 128 个头的 K、V 拼起来虽然有 32,768 维,但都是同一个 512 维向量的线性变换,自由度只有 512。这相当于假设各个头需要的 K、V 信息高度重叠,可以用一个共享的 512 维摘要表示。Q 也做了类似的压缩(7168 → 1536 → 每头 192 维),那是为了省训练时的激活显存,与 KV Cache 无关。

解耦 RoPE 解决位置编码的问题。RoPE 按 token 的位置旋转 Q 和 K(见位置编码),旋转角度和位置有关。如果对展开后的 k_nope 做 RoPE,就必须先展开再旋转,缓存压缩向量的意义打了折扣,后面的矩阵吸收也做不了。MLA 的做法是把位置信息单独拿出来:每个头的 Q 额外有 64 维 q_rope,K 额外有 64 维 k_rope,只有这两部分做 RoPE;k_rope 由输入直接算出、所有头共用一份,也存进缓存。所以 DeepSeek-V3 每层每 token 存 512 + 64 = 576 个数:

text
每头分数 = q_nope · k_nope + q_rope · k_rope      (128 维 + 64 维,再除以 √192)
每 token KV = 61 层 × 576 × 2 字节 = 70,272 字节 ≈ 68.6 KiB
若按 128 头 MHA 存:61 × 128 × (192 + 128) × 2 = 4,997,120 字节 ≈ 4.77 MiB,是 MLA 的 71 倍

576 个数相当于 2.25 个 128 维 KV 头的 K 和 V,缓存量接近一个只有 2—3 组的 GQA,但 128 个头的 K、V 各不相同。

DeepSeek-V3 的 MLA:KV 路径把 7168 维压到 512 维 c_kv 和 64 维 k_rope 存进缓存,用时经 kv_b_proj 展开;Q 路径压到 1536 维再展开成每头 192 维

矩阵吸收让推理时连展开都省掉。看一个头内容部分的分数:

text
q_nope · k_nope = q_nope · (c_kv · W_UK) = (q_nope · W_UKᵀ) · c_kv

右边先把 Q 乘上 W_UK 的转置,得到一个 512 维的向量,再直接和缓存里的 c_kv 点积。V 一侧同理:先在 512 维上按注意力权重加权求和,最后再乘 W_UV(也可以并进 o_proj)。这样 Decode 时 128 个头都在同一份 576 维缓存上计算,访存模式像多查询注意力(MQA,全部查询头共用一组 K、V),每个头的 K、V 却仍是各自的。DeepSeek 官方推理代码 inference/model.py 的默认实现 attn_impl = "absorb" 就是这样算的。代价是每个头的点积从 192 维变成 576 维,计算更多;在显存带宽受限的 Decode 配置下,多出的计算可能被空闲算力吸收,具体收益仍取决于硬件、批次与算子实现。有的推理引擎在 Prefill 阶段仍走展开路径,在 Decode 阶段走吸收路径。

按 2026 年 10 月的 Transformers 5.21.0 实现:modeling_deepseek_v3.py 的 DeepseekV3Attention 已经把压缩后的 c_kv 和 k_rope 写进缓存,但计算前调用 expand_kv 展开成 128 个头,没有做矩阵吸收。它的缓存大小是对的,计算方式是“参考实现”。

MLA 的问题也很具体:结构比 GQA 复杂,位置编码要单独拆一路,上下文扩展方法要跟着改;算子需要专门实现,早期很多推理引擎不支持或很慢;它解决的是 KV 大小,不改变注意力随上下文平方增长的计算量。质量方面,DeepSeek-V2 报告里的对比实验显示 MLA 不差于甚至好于 MHA,这是作者自己的结果,其他模型改用 MLA 时仍要用自己的评测确认。

长文档的缓存账 ​

V3 沿用 V2 的 MLA 配置,层数变成 61,每 token 的缓存是:

text
MLA 每 token KV Cache = 层数 × (kv_lora_rank + qk_rope_head_dim) × 每个数的字节
                      = 61 × (512 + 64) × 2 B(BF16)
                      = 70,272 B ≈ 68.6 KiB

资料助手把一整本 10 万 token 的员工手册放进上下文时,差别就是能不能放得下:

结构对照(前三行均为 61 层、128 个查询头)每层每 token 存的数10 万 token(BF16)
普通 MHA:128 头 × (K 192 + V 128)40,960约 500 GB(465 GiB)
GQA:8 个 KV 头 × (128 + 128)2,048约 25.0 GB(23.3 GiB)
MLA(V3 实际)576约 7.0 GB(6.5 GiB)
对照:Llama-3.1-8B(32 层 GQA)2,048约 13.1 GB(12.2 GiB)

V2 论文用“等价于 2.25 组的 GQA”描述这件事,(512 + 64) ÷ (2 × 128) = 2.25;论文报告相比 DeepSeek 67B,KV Cache 减少 93.3%、最大生成吞吐提高到 5.76 倍。

代价在计算和部署上。解码时用吸收后的形式,128 个头都直接在 576 维缓存上算点积、在 512 维上加权求和。单个请求解码时,每个历史位置、每层的账大约是:

text
吸收后的 MLA:2 × 128 头 × (576 + 512) ≈ 27.9 万 FLOPs,读 576 × 2 = 1,152 B,约 240 FLOPs/B
Llama-3.1-8B GQA:2 × 32 头 × (128 + 128) ≈ 1.6 万 FLOPs,读 8 × 256 × 2 = 4,096 B,4 FLOPs/B

240 已经接近 H800 这类 GPU 的算力与带宽之比(约 990 TFLOPS ÷ 3.35 TB/s ≈ 295)。MLA 把解码注意力从“等显存读数据”推到“快要等算力”,所以高效执行通常需要与模型匹配的专用算子(历史 FlashMLA 版本提供了对应实现);先展开完整 K、V 的参考实现会多占临时空间,持久缓存是否变大取决于缓存存放的位置。另一个代价在多卡部署:所有头共用同一个潜向量,采用按头切分、复制潜向量的张量并行实现时,各卡仍保存完整的缓存,所以部署 DeepSeek 时注意力部分常改用数据并行。显存账和多卡并行见推理系列的第 04 篇和第 16 篇。

怎样验证缓存真的压缩了 ​

保持请求数为 1,将输入长度从 8K 增到 16K,记录引擎分配的 KV 块、缓存精度和显存变化;先扣除固定权重与预分配空间,再与每 token 68.625 KiB 的 BF16 理论值比较。分页余量、FP8 KV 缩放、临时张量和并行复制都会改变观测值。若只看进程总显存,很容易把预分配缓存误认为 MLA 没生效。

MLA 的低秩是模型结构中的学习表示;它与只训练少量适配矩阵的 LoRA 微调用途不同。无法给任意已训练 MHA 模型直接加一个压缩开关,就得到同等质量的 MLA。

MLA 以低秩表示和解耦位置编码减少缓存,再用矩阵吸收避免每步展开。它没有减少专家权重;下一篇转向 DeepSeekMoE 的路由与参数账。

别急,先让缓存热一下。