NVIDIA 正式公佈自研高頻寬記憶體方案「NVHBM」（NVIDIA High Bandwidth Memory），鎖定未來 AI GPU 與 XPU 平台，主打更高記憶體頻寬與更低功耗，以因應代理式 AI、實體 AI 以及兆級參數模型持續推高的資料傳輸需求。NVHBM 是 NVLink Fusion 架構的延伸，相關設計由 NVIDIA 與 Amazon 旗下 Annapurna Labs 共同推進，預計 2028 年隨 Feynman 世代 GPU 首度量產。
NVHBM 的核心改變，就是將原本位於 GPU 或其他 XPU 上的記憶體控制器，直接整合進 HBM 底部的 Base Die。傳統 HBM 架構通常會在計算裸片上部署記憶體控制器，由此占用原本可用於計算單元的寶貴矽片面積。NVHBM 則透過將控制器轉移至 HBM 堆疊內部，旨在同時改善頻寬、能效以及計算裸片的可用面積。
按照 NVIDIA 給出的數據，相比標準 HBM4E，NVHBM 可實現最高 30% 的記憶體頻寬提升、15% 的 HBM 功耗下降，並讓處理器計算裸片獲得最高 25% 的額外可用面積。此外，相較 JEDEC HBM4E 標準，NVHBM 設計可讓 PHY 與相關支援電路所占面積最多減少 67%，中介層（interposer）佈線亦更簡化，整體矽片利用率提升達 80%。
NVIDIA 強調，NVHBM 並非取代通用 HBM 產品，而是專門向定制晶片合作夥伴提供的全新基礎組件。公司正與多家記憶體供應商（包括三星、SK 海力士、美光等）合作建立標準化 NVHBM 實作方案，以降低跨供應商整合與驗證的工程成本。加入 NVLink Fusion 生態的客戶，亦可藉此更快推出定制 AI 晶片。
Amazon Annapurna Labs 已確認成為首批採用 NVHBM 的客戶，下一代 AWS Trainium 晶片（由 Trainium4 起）將透過 NVLink Fusion 與 NVIDIA GPU 互連，構建統一機架級 AI 架構。對於 AI 加速器而言，記憶體頻寬直接決定吞吐量——尤其在推理場景下，頻寬提升可轉化為更高的 Token 生成速率，而 15% 功耗節省則可重新分配至更多計算單元，或在固定功耗預算下實現更高持續性能。
