05. FP8 与训练工程:精度、通信和 DualPipe
把 V3 的前向计算放到多卡上,成本并不只来自乘法:专家之间要交换 token,反向传播要保存状态,设备还可能等待数据。前面几篇解释了结构如何节省工作量,本篇看数值格式和训练调度怎样配合,让剩下的工作更有效地执行。贯穿例子是一批资料问答文本的训练微批次;下面的数量估算与官方训练统计分开说明。
FP8 缩小了什么
FP8 用 8 位保存一个浮点数,能够表示的范围和刻度都比 BF16 更受限制。V3 的矩阵乘法使用 E4M3 数据:激活按 1 × 128 分块,权重按 128 × 128 分块,每块配缩放因子。若块内最大绝对值为 a,可以用近似 s = a / 448 的尺度把数值映射到 E4M3 范围;实际内核还会约束缩放因子的表示与布局。
假设一个 128 × 128 的权重块使用 FP8,加一个 FP32 缩放因子,存储量为 16,384 + 4 = 16,388 字节;同样元素用 BF16 为 32,768 字节。这个教学估算只比较矩阵数据与一个尺度,不含对齐、元数据和其他精度的张量。
图中的缩放让同一块共享数值范围。若块里只有一个特别大的值,其他小数会挤在很少的刻度上,误差变大;把块切细可以缓解,但要多保存尺度并增加转换工作。格式、缩放和算子必须成套匹配。
混合精度没有把整个训练变成 8 位
V3 保留高精度的主权重、优化器状态和敏感计算,并对低精度矩阵乘的累加过程做精度控制。参数更新中的微小变化若直接写回粗糙的 FP8 刻度,可能被舍掉,因此低精度计算副本不能代替训练所需的全部状态。
拿一个出现损失突增的训练片段判断:先检查激活与梯度中的非有限值、各块最大值及尺度,再比较高精度参考计算的输出误差。仅看到权重文件大小减半,不能推出训练显存也减半。通用显存组成见训练显存账本,格式与缩放见混合精度。
V3.1 的发布配置使用 UE8M0 存储缩放因子。这是只编码指数的无符号 8 位尺度,与 E4M3 矩阵数据职责不同。将旧内核直接用于新尺度布局,可能产生错误结果;加载时必须核对数据格式、尺度格式与块形状。
专家并行把瓶颈带到网络
一个 token 被路由到其他设备上的专家时,需要先发送隐藏向量,计算后再收回专家输出。V3 的分组路由限制每个 token 访问的节点数量,但传输没有消失。批次较小时要控制延迟,批次较大时要提高吞吐;两者对通信缓冲、聚合和内核调度的要求不同。
DeepEP 提供专家分发与汇总通信,DeepGEMM 提供矩阵乘与分组专家计算,FlashMLA 提供注意力算子。它们的结果互相交接,不能把安装其中一个库当成整套训练系统。具体版本兼容性在推理工程讨论。
DualPipe 怎样减少等待
流水线并行把不同层放到不同设备,训练批次再切成多个微批。单一微批走到后半段时,前半段设备若没有其他工作就会空转,这些空档称为流水线气泡。DualPipe 采用双向流水线,让前向、反向和通信按可重叠的顺序安排;反向中计算输入梯度与权重梯度的部分,也可以按依赖关系排到合适位置。
例如微批 A 的专家向量正在跨节点传输时,设备可以处理另一微批 B 已经准备好的计算。通信依赖没有解除,B 必须独立且资源足够才能覆盖这段等待。双向排布还会改变每张设备保存的参数分片和激活数量,所以调度收益需要连同显存预算计算。
DualPipe 的公开实现要求为实际模块提供 overlapped_forward_backward。只采用示例时间表,而不把真实注意力、专家通信和反向计算拆到正确边界,不能得到报告里的重叠效果。判断应看设备时间线:哪段通信与哪段计算重叠、仍有多长的等待、吞吐提升是否伴随显存超限。
278.8 万 GPU 小时的范围
V3 报告列出约 14.8T token 的预训练,预训练耗费 266.4 万 H800 GPU 小时,连同上下文扩展和后训练合计 278.8 万。GPU 小时是“设备数 × 运行时间”的总和,不能直接当作训练持续了多久;也不涵盖整个公司的前期探索、数据建设和所有失败试验。
若只做除法,278.8 万 GPU 小时除以 2048 张卡约为 1361 小时,即约 56.7 天。这是把统计量折成等效设备时间的估算,并非对全部阶段真实日历安排的测量。不同硬件、并行方式和模型规模不能直接套用同一个成本。
对资料助手的常见微调任务,先确认训练数据和验证器能否改善业务质量,再判断精度、重计算或分布式是否真正必要。把 V3 集群配方照搬到小模型上,可能增加转换和通信开销,反而更慢。
FP8 降低矩阵数据与计算成本,通信库和 DualPipe 减少设备等待,高精度状态维持更新的可靠性。训练效率解决了“怎样负担得起”,下一篇看 R1 如何通过奖励改变回答行为。
