12. 读懂检查点:配置、参数与验证
拿到一个 DeepSeek 检查点时,名字只是入口。资料助手能否装下它、是否真正使用 MTP、长文档会不会漏条款,都需要从配置一路检查到实际输出。本篇把前面各章连成一条可复查的路径,以 V3 为算例,说明哪些结果只需读文件,哪些必须在目标硬件上运行。
先给产物确定身份
记录仓库名、权重 revision、模型类、分词器、对话模板和量化配置。若是 R1-Distill-Qwen,从 Qwen 学生结构开始;若是 V3.2,必须继续检查索引器;若是 V4/V4.1,则不能用 V3 的 MLA 缓存公式。
静态复算失败时先回到配置与权重清单,运行一致性失败时先检查加载、模板与算子,任务验收失败时再区分模型能力和业务资料。跳过中间检查直接调温度,通常不能定位结构接错的问题。
V3 的关键字段
| 字段 | V3 值 | 用来判断什么 |
|---|---|---|
num_hidden_layers / hidden_size | 61 / 7168 | 主干深度与每个 token 的隐藏宽度 |
kv_lora_rank / qk_rope_head_dim | 512 / 64 | MLA 缓存的潜向量和位置分量 |
q_lora_rank | 1536 | 查询侧压缩宽度,不进入历史 KV 账 |
n_routed_experts / n_shared_experts | 256 / 1 | 可路由与必经专家的数量 |
num_experts_per_tok | 8 | 每个 MoE 层激活的路由专家数 |
first_k_dense_replace | 3 | 前 3 层仍为密集 FFN |
n_group / topk_group | 8 / 4 | 分组选择规则,不能随意删除 |
num_nextn_predict_layers | 1 | 检查点带 MTP,不代表运行时已开启 |
weight_block_size | 128 × 128 | FP8 权重的分块方式 |
字段名与含义必须和实现对照。MLA 的 num_key_value_heads 即使写着 128,也不能直接套 GQA 的 128 头缓存公式;num_nextn_predict_layers 也不等于草稿长度。
不下载权重也能核对的算例
下面只用 Python 3 标准库,macOS、Linux 或 Windows 的任意目录均可运行。它没有加载模型,也不读取网络;输入是表中的 V3 配置常量,输出用于检查公式和量纲。
python
from math import comb
layers, latent, rope = 61, 512, 64
kv_bytes = layers * (latent + rope) * 2 # BF16: 每元素 2 字节
expert = 3 * 7168 * 2048 # SwiGLU 的三个矩阵
routed_total = 58 * 256 * expert
routed_active = 58 * 8 * expert
used_fraction = 1 - (1 - 8 / 256) ** 32 # 均匀独立路由的教学假设
print('KV 字节/token:', kv_bytes)
print('KV KiB/token:', kv_bytes / 1024)
print('10 万 token KV GB:', kv_bytes * 100000 / 1e9)
print('路由专家总参数:', routed_total)
print('路由专家激活参数:', routed_active)
print('256 选 8 组合:', comb(256, 8))
print('32 token 批次专家覆盖率:', round(used_fraction, 4))应得到每 token 70,272 字节,即 68.625 KiB;10 万 token 约 7.0272 GB;路由专家总参数 653,908,770,816,激活部分 20,434,649,088;32 token 批次覆盖率约 0.6379。若结果相差约 1000 倍,先检查 B、GB 与十亿参数是否混用;若相差两倍,检查 K/V 是否在 MLA 公式中被重复计数。
需要按实际 JSON 逐模块求和,可继续使用模型配置计算实践。该页的计算工具按支持的架构工作;不支持的模型应扩展公式并核对源码,不改个 model_type 冒充兼容。
运行时应当留下什么证据
| 检查 | 记录的证据 | 失败后优先检查 |
|---|---|---|
| 权重加载 | 缺失/额外权重、实际模型类、MTP 是否实例化 | 架构支持、权重映射、共享参数 |
| 模板与分词 | 实际输入 token、思考前缀、停止符 | tokenizer revision 与 chat template |
| 缓存与精度 | KV 布局、块数、dtype、缩放布局 | 后端兼容、分页余量与并行复制 |
| 稀疏与压缩 | 参考输出、索引位置、长度分桶结果 | RoPE 布局、top-k、压缩状态 |
| 投机解码 | 接受长度、回退后输出、关闭时基线 | 草稿分布、验证规则、缓存回滚 |
| 工具动作 | 工具返回值、程序权限判定、幂等结果 | 解析器与执行端,不能只看模型自述 |
涉及多卡和 GPU/NPU 的行,需要目标硬件与真实请求验证。本系列没有在这些设备上完成性能复测,算例通过只证明所列计算过程可复现。
用资料任务验收效果
准备包含正确条款、过期条款、例外条款和资料外问题的固定集合。每题记录应使用的条款与允许的回答范围;分别比较短上下文、长上下文、思考模式与非思考模式。对遗漏和错误引用单独计数,不让语言流畅掩盖内容错误。
选择模型时,最终应同时看到质量、资源、速度与执行边界:一条正确答案不证明长文档可靠,单请求更快不证明并发吞吐更高,工具调用格式正确也不证明动作已获授权。
沿着检查点、模型计算、训练目标、推理执行和工具结果逐层验证,就能把 DeepSeek 的技术名称变成可解释的工程判断。需要回看某一环时,可返回系列导读选择对应章节。
