Skip to content

约 3 分钟阅读

12. 读懂检查点:配置、参数与验证 ​

拿到一个 DeepSeek 检查点时,名字只是入口。资料助手能否装下它、是否真正使用 MTP、长文档会不会漏条款,都需要从配置一路检查到实际输出。本篇把前面各章连成一条可复查的路径,以 V3 为算例,说明哪些结果只需读文件,哪些必须在目标硬件上运行。

先给产物确定身份 ​

记录仓库名、权重 revision、模型类、分词器、对话模板和量化配置。若是 R1-Distill-Qwen,从 Qwen 学生结构开始;若是 V3.2,必须继续检查索引器;若是 V4/V4.1,则不能用 V3 的 MLA 缓存公式。

从模型身份和配置到静态复算、运行一致性及任务验收

静态复算失败时先回到配置与权重清单,运行一致性失败时先检查加载、模板与算子,任务验收失败时再区分模型能力和业务资料。跳过中间检查直接调温度,通常不能定位结构接错的问题。

V3 的关键字段 ​

字段V3 值用来判断什么
num_hidden_layers / hidden_size61 / 7168主干深度与每个 token 的隐藏宽度
kv_lora_rank / qk_rope_head_dim512 / 64MLA 缓存的潜向量和位置分量
q_lora_rank1536查询侧压缩宽度,不进入历史 KV 账
n_routed_experts / n_shared_experts256 / 1可路由与必经专家的数量
num_experts_per_tok8每个 MoE 层激活的路由专家数
first_k_dense_replace3前 3 层仍为密集 FFN
n_group / topk_group8 / 4分组选择规则,不能随意删除
num_nextn_predict_layers1检查点带 MTP,不代表运行时已开启
weight_block_size128 × 128FP8 权重的分块方式

字段名与含义必须和实现对照。MLA 的 num_key_value_heads 即使写着 128,也不能直接套 GQA 的 128 头缓存公式;num_nextn_predict_layers 也不等于草稿长度。

不下载权重也能核对的算例 ​

下面只用 Python 3 标准库,macOS、Linux 或 Windows 的任意目录均可运行。它没有加载模型,也不读取网络;输入是表中的 V3 配置常量,输出用于检查公式和量纲。

python
from math import comb

layers, latent, rope = 61, 512, 64
kv_bytes = layers * (latent + rope) * 2  # BF16: 每元素 2 字节
expert = 3 * 7168 * 2048                # SwiGLU 的三个矩阵
routed_total = 58 * 256 * expert
routed_active = 58 * 8 * expert
used_fraction = 1 - (1 - 8 / 256) ** 32  # 均匀独立路由的教学假设

print('KV 字节/token:', kv_bytes)
print('KV KiB/token:', kv_bytes / 1024)
print('10 万 token KV GB:', kv_bytes * 100000 / 1e9)
print('路由专家总参数:', routed_total)
print('路由专家激活参数:', routed_active)
print('256 选 8 组合:', comb(256, 8))
print('32 token 批次专家覆盖率:', round(used_fraction, 4))

应得到每 token 70,272 字节,即 68.625 KiB;10 万 token 约 7.0272 GB;路由专家总参数 653,908,770,816,激活部分 20,434,649,088;32 token 批次覆盖率约 0.6379。若结果相差约 1000 倍,先检查 B、GB 与十亿参数是否混用;若相差两倍,检查 K/V 是否在 MLA 公式中被重复计数。

需要按实际 JSON 逐模块求和,可继续使用模型配置计算实践。该页的计算工具按支持的架构工作;不支持的模型应扩展公式并核对源码,不改个 model_type 冒充兼容。

运行时应当留下什么证据 ​

检查记录的证据失败后优先检查
权重加载缺失/额外权重、实际模型类、MTP 是否实例化架构支持、权重映射、共享参数
模板与分词实际输入 token、思考前缀、停止符tokenizer revision 与 chat template
缓存与精度KV 布局、块数、dtype、缩放布局后端兼容、分页余量与并行复制
稀疏与压缩参考输出、索引位置、长度分桶结果RoPE 布局、top-k、压缩状态
投机解码接受长度、回退后输出、关闭时基线草稿分布、验证规则、缓存回滚
工具动作工具返回值、程序权限判定、幂等结果解析器与执行端,不能只看模型自述

涉及多卡和 GPU/NPU 的行,需要目标硬件与真实请求验证。本系列没有在这些设备上完成性能复测,算例通过只证明所列计算过程可复现。

用资料任务验收效果 ​

准备包含正确条款、过期条款、例外条款和资料外问题的固定集合。每题记录应使用的条款与允许的回答范围;分别比较短上下文、长上下文、思考模式与非思考模式。对遗漏和错误引用单独计数,不让语言流畅掩盖内容错误。

选择模型时,最终应同时看到质量、资源、速度与执行边界:一条正确答案不证明长文档可靠,单请求更快不证明并发吞吐更高,工具调用格式正确也不证明动作已获授权。

沿着检查点、模型计算、训练目标、推理执行和工具结果逐层验证,就能把 DeepSeek 的技术名称变成可解释的工程判断。需要回看某一环时,可返回系列导读选择对应章节。

别急,先让缓存热一下。