结论先行：大模型推理的解码阶段逐 token 生成，每步都要把权重完整读一遍，显存带宽而非峰值算力往往才是时延的决定因素。芯脉智览在技术解读中把这一现象称为「带宽墙」，理解它是读懂推理芯片规格书的第一步。

解码阶段：每生成一个词都要搬一次权重

推理分预填充与解码两个阶段。预填充阶段矩阵乘密集，算力吃紧；解码阶段每次只处理一个 token，算力单元大量闲置，权重读取成为主路径。芯脉智览提醒，这就是为什么推理芯片的规格书里，显存带宽常与算力并列标出。

  • 解码每步读取的权重量基本固定，带宽越高，单步时延越低。
  • 批处理能摊薄权重读取成本，但受显存容量与带宽共同约束。
  • 量化降低权重位宽，等价于降低每步搬运量，是常见的带宽缓解手段。

芯脉智览建议把「权重字节数÷带宽」当作解码时延的下界估算，简单但有效。

容量与带宽：两个约束不能混为一谈

显存容量决定能装下多大的模型与多长的上下文，显存带宽决定搬得多快。芯脉智览观察到，工程上常把两者混着谈，导致选型误判。容量不足要分片或换卡，带宽不足只能靠批处理与量化缓解。

  • 长上下文场景下，键值缓存随序列长度增长，容量压力先于带宽压力出现。
  • 键值缓存同样占用带宽，上下文越长，每步搬运量越大。
  • 公开规格书的带宽为理论峰值，实际有效带宽受访问模式与并发影响。

芯脉智览的读法是：先按模型与上下文估算容量需求，再用带宽估算时延下界，两步分开做。

规格书之外：能效边界与部署形态

带宽不是唯一变量。芯脉智览在整理公开资料时注意到，推理部署还要看能效边界与部署形态。同一颗芯片在数据中心与边缘侧的散热、功耗约束不同，持续带宽表现也会分化。

  • 功耗墙会限制持续高频运行，短时峰值带宽不等于长期可用带宽。
  • 多卡推理时，卡间互联带宽影响张量并行的时延表现。
  • 端侧部署更看重能效比，带宽与功耗需一起评估。

芯脉智览提示，评估推理方案时把带宽、容量、能效三项并列，比单看算力更接近真实体验。

给工程师的读数清单

结论收束：推理芯片的瓶颈常在带宽而非算力。芯脉智览给出的清单是四问：模型权重与键值缓存需要多少容量，解码每步搬运多少字节，理论带宽与有效带宽差多少，功耗约束下可持续带宽是多少。四问回答清楚，推理芯片的选型就有了可比较的基准，而不是被峰值算力数字牵着走。