Skip to content

约 4 分钟阅读

DeepSeek 技术解析 ​

把一本员工手册交给模型,让它找出请假条件、算出加班费,再查询一项审批状态,看起来只是一段对话,背后却有几类不同的工作:保存长文档的状态、从大量参数里选择本次要用的部分、学会按步骤推理,以及把工具请求交给真正的程序执行。

DeepSeek 是一组模型和相关技术项目。理解它,既要看模型每一层怎样计算,也要看训练如何塑造行为、推理软件如何安排设备、工具环境如何约束动作。本系列沿着这条资料助手的任务线,把这些技术放回各自负责的问题里。读完后,你应能区分版本和蒸馏学生,估算缓存与参数,并判断一个“更省、更快”的说法省在哪里、在什么条件下成立。

一次回答背后的几条技术线 ​

输入先被分成 token,也就是模型处理的离散文本单元。模型逐层读取上下文、变换表示,再预测下一个 token。保存历史注意力状态的空间叫 KV 缓存;模型越大、上下文越长,计算、存储和数据搬运之间的取舍越明显。

训练得到模型参数,推理处理资料请求,工具环境执行动作并反馈结果

图上方的训练改变模型参数,下方的运行过程使用这些参数回答问题。MLA 压缩历史状态,MoE 只选择部分专家参与计算,MTP 可以起草后续 token;R1 的推理行为来自训练。DeepInfer 组织模型计算,Harness 组织工具行动,业务程序仍负责权限和结果校验。

初次阅读只需先知道“模型按 token 逐步生成”。遇到向量、注意力和训练损失时,可按文中的链接补读对应基础,无需先学完整套框架生态。

从结构与一笔资源账开始 ​

先读01. DeepSeek 的版本与技术演进,分清 V2/V3、R1、V3.2、V4/V4.1 与蒸馏版。版本地图帮助判断:换模型后,是内部计算变了,还是训练出的回答方式变了。

接着跟着资料助手的长文档请求读三篇:

这三篇能回答一个常见疑问:模型参数很大,为什么不必每次都计算全部参数,又为什么仍需要很大的存储空间。

再看效率与推理能力从哪里来 ​

05. FP8 与训练工程:精度、通信和 DualPipe解释低精度计算、专家通信与流水线调度如何配合,明确训练成本数字的统计范围。

06. R1 与 GRPO:推理能力怎样训练出来从一个能由程序判对错的加班费题开始,讲组内奖励比较、R1-Zero、正式 R1 的四阶段训练和蒸馏。它也解释为什么奖励检查器的漏洞会变成模型行为。

当手册从几千 token 扩展到十几万甚至百万 token,继续读:

这些方案需要在真实任务上同时检查速度与信息保留。找到一条孤立规则和汇总所有例外条款,对注意力选择的要求不同。

把模型放进实际系统 ​

09. 推理系统:并行、算子与版本边界把请求、注意力缓存、专家设备与算子库连起来;FlashMLA、DeepGEMM、DeepEP 各自处理的工作和版本兼容性,在这里统一解释。

10. DeepInfer:大模型怎样在加速卡上运行通过可推进的生成过程,说明公开离线框架的调度、DSpark、有界重放与在线服务边界。11. DeepSeek Harness:让模型连接工具与工作环境则跟着一个失败测试,观察模型、插件、工具和会话怎样形成反馈循环。

最后用12. 读懂检查点:配置、参数与验证完成闭环:先读配置、独立复算,再在目标环境检查模板、缓存、输出与业务结果。只想部署或排查的人,也可以从第 09 篇开始,按需回看结构和训练。

与其他专题怎样衔接 ​

本系列围绕 DeepSeek 的具体设计和组合。注意力、FFN、位置编码的共同机制见大模型架构,优化器与微调方法见模型训练与调优,调度和性能分析见大模型推理优化,具体引擎参数见推理引擎与框架。这些专题可以按问题交叉阅读。

理解 DeepSeek 的技术路线,最终是把一个现象追到具体环节:上下文放不下就算缓存,专家设备排队就看路由与通信,推理答案不稳就检查训练信号和验证器,工具动作异常则回到执行程序。带着这条判断路径,从版本与技术演进开始。

别急,先让缓存热一下。