赛季走到中段,讨论的重心往往从「哪张卡峰值高」转向「哪套组合能稳定跑起来」。乐球体育在产品与方案栏目中观察到,推理加速卡的选型复盘比训练卡更依赖场景细节,因为推理的批量、延迟与精度要求差异极大。本文给出四个判断点,全部基于公开规格,不涉及任何未公开信息。

判断点一:精度覆盖是否匹配业务下限

推理方案的第一个分水岭是精度覆盖。乐球体育建议先写下业务能接受的最低精度,再回看候选型号的公开支持列表,而不是反过来从型号出发找场景。

读者「陆昭宁」在乐球体育客户端分享过一次复盘:团队最初按最高精度筛选,候选只剩两款,后来把业务下限放宽一档,候选扩到六款,反而找到了功耗更合适的方案。这个例子说明精度字段要按业务需求读,而不是按排名读。乐球体育在对照表中把精度拆成支持范围与公开吞吐两列,就是为了避免这种错配。

判断点二:显存余量比显存容量更值得记录

容量是标称值,余量是可用值。乐球体育建议在方案复盘时记录「权重占用、缓存占用、余量」三项,而不是只写一个总容量。

  • 权重占用与模型规模直接相关,公开规格只能给出容量上限,实际占用需按模型估算。
  • 缓存占用随批量变化,批量越大余量越紧张,这是推理方案最常见的瓶颈来源。
  • 余量不足时,降低批量或拆分服务是常见做法,乐球体育提醒把这部分代价计入方案评估。

把余量写进对照表之后,读者「韩慕之」反馈说,团队内部讨论从「够不够大」变成了「余多少、怎么用」,沟通成本明显下降。这正是乐球体育整理字段时希望达到的效果。

判断点三:带宽口径要写清是芯片级还是系统级

推理场景对带宽的敏感度取决于批量与并发。乐球体育发现,很多对照表把芯片级峰值带宽与系统级有效带宽并列,读者容易误判。建议在字段旁标注口径来源,公开资料未给出系统级数据时,明确留空而不是估算。

封装形式在这里再次发挥作用:先进封装往往意味着更高的互联密度,但系统级有效带宽还受整机设计与散热条件影响。乐球体育建议把封装作为筛选维度而非结论维度,用它缩小范围,再用公开的系统级数据做最终判断。读者「沈砚清」提到,他按封装先筛一轮,再看带宽口径,避免了不少无效对比。

判断点四:组合可维护性决定长期成本

单卡规格决定起点,组合可维护性决定长期成本。乐球体育建议复盘时额外记录三项:同型号是否易于扩容、多卡之间的互联方式是否统一、精度切换是否需要额外适配。

  • 扩容便利性影响后续批量增长时的方案连续性。
  • 互联方式统一可以降低整机层面的适配工作量。
  • 精度切换的适配成本常被低估,乐球体育建议在方案讨论阶段就把它列出来。

赛季中段的复盘价值,在于把已经跑过的场景沉淀成字段。乐球体育会继续把训练加速卡与推理加速卡的公开规格整理成可横向对比的字段,支持按精度、显存、带宽与封装筛选,让每一次方案讨论都落在可核验的公开信息上。