英伟达的 NVLink Fusion 项目为合作伙伴提供了必要的基础组件，使其能够将定制芯片接入 NVLink 扩展域，从而把多个独立处理器连接起来，组成一个统一的计算系统，例如 Vera Rubin NVL72 机架级加速器。如今，英伟达又为这套工具箱加入了一个新的基础组件：NVHBM。这是一种定制版高带宽内存（HBM），而 HBM 几乎已经成为当前所有 AI 加速器的核心组成部分。

英伟达表示，NVHBM 采用定制的 HBM 基础裸片，相比传统 HBM4e，可以提供更高的带宽、更低的功耗以及更小的芯片面积。英伟达称，NVHBM 已经与“领先的内存厂商”共同完成设计和验证，因此，对于开发定制芯片的厂商来说，相比从零开始采用标准 HBM，NVHBM 有望帮助其更快推出产品。不过需要强调的是，NVHBM 并不是 HBM 的替代品，而是英伟达专门向定制芯片合作伙伴提供的一种全新基础组件。

据IT之家了解，对于 AI 加速器而言，内存带宽至关重要。英伟达表示，与标准 HBM4e 相比，NVHBM 每个内存堆栈的带宽最高可以提升 30%。对于受内存带宽限制的 AI 工作负载来说，更高的带宽意味着更高的吞吐量，例如在 AI 推理场景下，可以提高每秒生成的 Token 数量。

NVHBM 的定制基础裸片还能够减少与内存相关的电路在主加速器裸片上占用的面积。传统方案通常会将 HBM 内存控制器集成在封装中的主硅裸片上，而 NVHBM 则将内存控制器转移到了 HBM 堆栈的基础裸片中，同时提供更小型的定制 PHY（物理层接口）。NVLink Fusion 客户可以将这一 PHY 集成到自己的芯片设计中。

英伟达表示，这种设计能够释放宝贵的封装空间，让厂商可以将更多面积用于计算功能，在主硅裸片上最多增加 30% 的计算资源。此外，对于采用先进封装技术、需要将多个芯片连接在一起的设计，NVHBM 还可以简化中介层上的布线。

与直接采用商用 HBM4e 堆栈相比，NVHBM 还能够降低功耗。在 Vera Rubin 的发布过程中，英伟达一直强调，对于 AI 加速器而言，没有用于生成 Token 的每一瓦电力，都是一种浪费。英伟达表示，NVHBM 的功耗比标准商用 HBM4e 低 15%。这些节省下来的功耗可以用于提升每瓦性能，也可以重新分配给定制加速器中的更多功能单元，或者在相同的功耗预算下实现更高的持续性能。

对于需要在芯片之间搬运大量数据的 AI 加速器来说，在降低功耗的同时提高内存带宽具有很大的价值。这些数据包括模型权重和 KV Cache 等大规模数据结构。尤其是在数千颗芯片组成的系统中，单颗芯片节省的功耗累积起来会非常可观。原本用于数据传输的能源可以重新用于提升加速器自身的性能，也可以在固定的整体功耗范围内支持部署更多加速器。

不过，就目前而言，这些优势更多是英伟达未来潜在合作伙伴考虑在定制芯片设计中采用 NVLink Fusion 和 NVHBM 的理由，而不是已经能够在正在量产的 Rubin 机架级系统中兑现的实际收益。

英伟达在公布 NVHBM 的同时还宣布，亚马逊旗下的 Annapurna Labs 将成为 NVHBM 的首个合作伙伴。Annapurna Labs 副总裁 Nafea Bshara 表示：“我们期待通过这项技术合作，为未来的 AWS 基础设施设计带来助益。”

Annapurna Labs 下一代 Trainium 4 AI 芯片已经支持 NVLink Fusion 扩展接口，因此后续芯片很可能也会支持 NVHBM。

责任编辑：kj005

文章投诉热线:157 3889 8464  投诉邮箱:7983347 16@qq.com