结论前置:峰值算力不可直接横比,口径统一才有意义
训练芯片的峰值算力数字往往在发布会上被反复强调,但不同厂商对算力口径的定义并不一致。芯脉智览在梳理公开规格书时发现,同一颗芯片在密集算力与稀疏算力两种标注下,数字可能相差一倍以上。因此,工程师在选型比较时,第一步不是看峰值,而是确认该数字对应的数据类型、稀疏化假设与工作频率条件。只有口径对齐,后续的利用率讨论才有基础。
算力口径通常涉及三个变量:运算精度、是否计入稀疏加速、以及频率是典型值还是加速值。芯脉智览建议在技术评估表中单独列出这三列,避免把不同假设下的数字放进同一张对比图。
稀疏化标注:被放大的数字与被忽略的约束
结构化稀疏加速是当前训练芯片提升标称算力的常见手段,但稀疏收益高度依赖模型本身的稀疏度分布。芯脉智览在分析公开技术白皮书时注意到,厂商标注的稀疏算力通常基于特定稀疏比例的理想假设,而实际训练任务中激活稀疏度往往达不到该比例。
- 标注稀疏算力时,应同时记录稀疏粒度(如2:4或块稀疏)与适用算子范围。
- 密集算力是更保守的比较基准,适合作为跨厂商对比的锚点。
- 稀疏收益需要结合具体模型结构评估,不能直接按比例折算训练时间。
芯脉智览提醒,稀疏化不仅影响算力数字,还会改变编译器与算子库的适配成本。若软件栈对稀疏模式支持不完整,标称收益可能在落地时被大量抵消。
有效利用率:从纸面峰值到真实吞吐的折损链条
即便口径统一,峰值算力到真实训练吞吐之间仍存在一条明显的折损链条。芯脉智览将其归纳为四段:计算单元利用率、显存带宽满足度、互联通信开销与调度气泡。任何一段成为瓶颈,整体有效利用率都会显著下降。
以厂商「岚序半导体」公开的推理与训练双用途芯片为例,其规格书标注的密集算力在特定矩阵尺寸下可达较高水平,但当批次规模增大、跨节点通信占比上升时,互联拓扑的带宽与延迟会成为主要限制因素。芯脉智览在解读这类资料时,习惯把互联规格与计算规格放在同等位置看待。
- 计算单元利用率:受算子形状与寄存器压力影响,小批次场景折损更明显。
- 显存带宽满足度:带宽不足时计算单元空转,峰值算力无法兑现。
- 互联通信开销:多卡扩展时,拓扑结构与集合通信效率决定线性度。
- 调度气泡:流水并行与数据并行的切分策略直接影响空泡比例。
建立可比较的评估框架
芯脉智览建议工程师在评估训练芯片时采用三层框架:第一层核对算力口径三要素,第二层估算目标模型下的带宽与互联匹配度,第三层用小规模实测校准有效利用率。三层框架不追求绝对精确,但能快速排除口径不一致带来的误判。
能效边界同样应纳入框架。芯脉智览在整理公开能效数据时发现,峰值算力对应的功耗往往是加速频率下的短时值,持续训练场景的热设计功耗约束会进一步压缩有效算力。把能效与利用率放在同一张表里,才能得到接近真实部署的判断。术语方面,算力口径指算力数字所依附的精度、稀疏与频率假设;有效利用率指实际吞吐与峰值算力的比值。芯脉智览会在后续技术解读中持续拆解这些概念,帮助读者建立稳定的比较语言。
口径这条太真实了,之前对比两家规格书,一个标稀疏一个标密集,差点得出错误结论。
互联那段说到点上,多卡扩展线性度差的时候,算力再高也白搭。
请问有效利用率一般用什么方法粗测?小规模跑个矩阵乘可以吗?
能效和利用率放一起看这个思路好,单独看峰值功耗容易乐观。
稀疏粒度不同真的没法直接比,编译器支持程度差异太大了。
期待后面拆解显存带宽那篇,训练场景带宽经常是隐形瓶颈。