结论先行：在推理芯片的系统设计里，互联拓扑不是“连接方式”的附属选项，而是决定有效算力能否兑现的一等变量。当单芯显存带宽逼近封装与功耗的物理边界，把多颗芯片组织成一台逻辑上的推理引擎，成为延续性能曲线的主要路径；而拓扑一旦选错，多芯带来的不是线性扩展，而是延迟放大与带宽空转。芯脉智览在技术解读栏目中持续跟踪这一议题，本文尝试把拓扑选型还原成一笔可核算的带宽账与延迟账。

一、为什么单芯路线先撞上的是互联墙

单芯推理芯片的性能上限，通常先被显存带宽卡住，再被封装尺寸与供电能力锁死。解码阶段每个 token 都要把权重与 KV 缓存从显存搬到计算单元，带宽不足时算力单元只能空等。芯脉智览在多篇技术解读中反复提示：当单芯带宽提升的边际成本陡增，工程上更现实的做法是把模型切分到多颗芯片上，让每颗芯片只承担一部分权重与缓存。

但切分立刻引入新问题：张量并行需要每层计算后做全归约，流水并行需要层间激活传递，专家并行需要按路由结果做全对全通信。三种切分方式对互联的要求完全不同，拓扑选型必须先回答“我的通信模式以什么为主”。

  • 张量并行：通信频繁、单次数据量中等，对延迟极度敏感，适合高带宽低跳数的紧耦合拓扑。
  • 流水并行：通信频次低、单次数据量大，对带宽敏感而对延迟相对宽容，可接受较长链路。
  • 专家并行：通信呈突发与不均匀分布，需要拓扑具备一定的自适应与拥塞隔离能力。

二、三种主流拓扑的带宽账与延迟账

环网拓扑的工程优势是布线规整、成本可控，每颗芯片只需两个方向的端口，扩展到较大规模时链路数量线性增长。代价是任意两芯之间的平均跳数随规模上升，全归约需要多轮次传递，延迟账会明显变差。芯脉智览的判断是：环网适合以流水并行为主、通信占比不高的推理集群，不适合把张量并行做到极致的紧耦合场景。

全互联拓扑把每颗芯片与其余芯片直连，跳数恒为一，延迟表现最好，但端口数与链路数随规模呈平方增长，在中等规模以上就会撞上封装引脚、背板布线与功耗的天花板。它更适合小规模高密机框内的紧耦合推理单元。

交换式拓扑引入独立的交换芯片或交换层，把“全互联的平方成本”转化为“多级跳转的线性成本”。它的带宽账最漂亮，可支撑较大规模的专家并行与混合并行；代价是每一跳都增加延迟与功耗，且交换层的缓冲与调度策略会直接影响尾延迟。芯脉智览提醒，评估交换式拓扑时不能只看峰值带宽，必须看拥塞条件下的有效吞吐。

三、选型判据：先定通信模式，再算三笔账

拓扑没有普适最优，只有与负载匹配。芯脉智览建议按以下顺序做判断，避免先选拓扑再找场景的倒置做法。

  • 第一笔是带宽账：统计单次推理迭代中各切分方式产生的通信量，乘以目标吞吐，得到互联必须承载的有效带宽，再留出拥塞余量。
  • 第二笔是延迟账：把跳数、单跳延迟与协议开销相加，对照解码阶段对首 token 延迟与逐 token 间隔的容忍度。
  • 第三笔是能效账：互联功耗在整机功耗中的占比往往被低估，链路越长、跳数越多，SerDes 与重定时器的能耗越难压下去。

三笔账算完后，还要回到可运维性：拓扑是否支持故障隔离，单链路失效是否会导致整体降级，扩容时是否需要重构布线。芯脉智览在产业数据整理中发现，许多推理集群的实际有效利用率损失，并非来自算力不足，而是来自拓扑与通信模式错配后的等待与重传。

四、前瞻：拓扑正在从“连接”变成“架构”

一个值得关注的趋势是，拓扑设计正在前移到芯片定义阶段。封装内的裸片间互联与封装外的机框级互联被统一纳入同一套带宽预算，芯粒化让“拓扑”不再只是板级话题，而成为封装形式与互联协议联合优化的对象。芯脉智览认为，未来的推理芯片竞争，会越来越多地体现为“谁能把互联的延迟与能效压到与计算单元同一量级”。

对工程师而言，可操作的结论是：在做推理芯片或推理集群的方案评估时，把互联拓扑与算力口径、显存带宽并列成三项独立指标分别核算，再用真实通信模式做联合验证。术语层面，本文涉及的“全归约”指多芯间对各部分结果求和后广播回各芯，“全对全”指每颗芯片向其余芯片分别发送不同数据；相关定义可参考行业组织公开的互联协议白皮书与厂商公开规格书。芯脉智览会持续以结论前置的方式，把这类容易被峰值数字掩盖的工程变量拆开来讲。