高带宽内存（HBM）一直是推动人工智能发展的核心技术。尽管HBM的成本相比其他内存类型较高，芯片设计师依然在越来越多的AI加速器中使用这种内存。随着设计新一代HBM，各大厂商通过增加内存立方数量和提高堆叠密度来提升每个加速器的内存容量。这一发展使HBM在DRAM总产能中的比例显著上升，导致当前严重的DRAM短缺。由于技术与供应链的双重因素，市场正在经历变革。下一代加速器将采用标准的8层堆叠，而目前的主流则为12层堆叠。英伟达已决定在其Rubin Ultra上应用这一方案，使单个GPU的显存从288GB减少到192GB。半导体分析首次披露了这一变化，供应链也在为8层堆叠成为新标准而做准备，尽管一年前业界尚在期待更高的堆叠层数达到16层或以上。

内存模型的演变表明，这一趋势将持续发展。对于需要高带宽的推理工作负载来说，4层HBM能够提供最优的带宽性价比，降低单片成本。容量在达到阈值前十分关键，但超过该阈值后，增加内存的收益将逐渐减小，因此实验室的硬件团队希望在下一代HBM4中实现这一优化。硬件设计人员也致力于最大化每瓦功耗下的芯片容量，4层HBM正是这一目标的有效途径。

本报告将探讨这种产能变化背后的原因，指出HBM产能常常被闲置的现象，以及如何推动实验室的总拥有成本与内存供应商的收益均获利。HBM一直是AI工作负载的主要内存形式，因为它在容量与带宽之间取得了良好的平衡，而SRAM虽然速度更快但成本较高，传统DDR DRAM虽然性价比更优却带宽不足。 球友会

随着AI工作负载对内存的需求增加，各加速器的HBM内容屡创新高：立方体数量、密集程度和堆叠高度均在提升。不过，近期这一趋势出现了逆转，Rubin Ultra搭载的HBM内存容量缩减至192GB，而传统Rubin的HBM内存高达288GB。这种变化与大家对Rubin Ultra将配备1TB HBM内存的预期形成了鲜明对比。尽管应用环境的变化，英伟达还是基于供应链的考量选择降低HBM密度。这是因为当前HBM晶圆稀缺，无法满足需求，8层堆叠的转变将有助于利用有限的晶圆生产更多立方体，从而缓解供应压力。

在未来，HBM的成本将继续上升，英伟达在这方面比其它企业拥有更优的采购条件，但即便如此，面对显存成本上涨，英伟达仍需调整利润预期。HBM密度增长的趋势正面临挑战，除了供应问题，架构和工作负载需求的变化也发挥了重要作用。尽管增加HBM容量能够提高性能，但如果成本过高，客户可能并不愿意为此买单，而未来的HBM 4-hi配置或将成为更好的选择。

降低堆叠高度虽会减少单个GPU的容量，但不影响带宽。每个HBM立方体的可用带宽与堆叠高度无关，每个HBM4立方体都可实现2048个数据路径，4层堆叠是最大化带宽的最低要求。供应商和最终用户的成本主要取决于每个立方体的DRAM容量，HBM价格与每堆叠的GB数挂钩，而客户获得的价值主要是带宽。因此，选择较低堆叠高度实际上意味着用户每获得带宽的成本更低。 球友会

不同的AI工作负载对容量与带宽有各自的需求，但二者的相对重要性往往依赖于具体的使用场景。整体来看，HBM的市场现状与未来发展将取决于多种因素的共同作用。