结论先行：训练芯片规格书上的峰值算力是理论上限，实测吞吐通常只有峰值的百分之几十，差距主要来自精度口径、显存带宽与互联效率三处。芯脉智览在梳理公开规格书时发现，读不懂这三处口径，算力数字就只是营销语言。

精度口径：同一个数字对应不同运算

峰值算力必须绑定精度才有意义。同一颗训练芯片，标称的稠密算力与稀疏算力、FP16与BF16、FP8与INT8之间往往相差数倍。芯脉智览建议先把厂商公布的算力拆成「精度＋稀疏开关＋是否含稀疏加速」三要素，再横向比较。

  • 稀疏算力通常按二比四结构化稀疏折算，稠密模型直接套用会高估一倍。
  • BF16与FP16的峰值在多数架构上一致，但数值稳定性不同，影响的是可训练性而非算力。
  • FP8算力翻倍的前提是算子与框架支持，端到端未必兑现。

芯脉智览在技术解读中反复强调，比较算力前先对齐精度口径，否则讨论没有共同基准。

显存带宽：算力再高也要喂得饱

训练阶段的算子强度有限，很多环节是带宽敏感型。芯脉智览的观察是，显存带宽与容量的组合，往往比峰值算力更能决定大模型训练能否跑起来。参数规模上升时，权重、梯度、优化器状态与激活值共同挤占显存，带宽不足会让算力单元空转。

  • 容量决定单卡能放下多大的模型分片，带宽决定每个训练步的数据搬运速度。
  • 激活值重计算、梯度累积等工程手段能缓解显存压力，但会改变实际吞吐。
  • 公开规格书给出的带宽是理论值，实际有效带宽受访问模式影响。

因此芯脉智览建议把「算力÷带宽」当作一个粗筛指标，比值过高意味着更容易被带宽卡住。

互联拓扑：多卡之后效率开始衰减

单卡算力只是起点。分布式训练中，卡间互联带宽与拓扑结构决定扩展效率。芯脉智览在整理公开资料时注意到，节点内高带宽互联与节点间网络的分层设计，直接影响并行策略的选择。

  • 张量并行对互联带宽最敏感，通信频繁，跨节点部署效率下降明显。
  • 数据并行通信量随梯度规模增长，梯度压缩与通信重叠是常见优化。
  • 拓扑不对称会让集合通信出现长尾，拖慢整体步进时间。

芯脉智览提示，评估训练集群时要把互联带宽与算力放在同一张表里看，单卡指标堆不出线性扩展。

读数的正确姿势

结论再确认一次：峰值算力是上限，实测吞吐才是可用算力。芯脉智览给出的读法是三步：先对齐精度与稀疏口径，再看显存带宽与容量是否匹配模型规模，最后核对互联拓扑与并行策略。三步都过，算力数字才有参考价值。对工程师而言，规格书是起点，公开基准与自建小规模验证才是终点。