当前HBM内存成为HPC与AI顶级硬件的热门内存规格，美光Micron宣布推出新一代的HBM3 Gen 2内存，初步推出8层堆叠的24GBHBM3 Gen 2内存，预计2024年再公布12层堆叠的36GB HBM3 Gen2 ; 美光HBM3 Gen 2每脚位传输速率超过9.2GB/s、较目前市面上HBM3方案高出50%以上，并达到1.2TB/s以上带宽，同时每瓦效能提升2.5倍。
美光HBM3 Gen 2将提升AI数据中心的关键性能、容量与功耗指标，并有助缩减如GPT-4等大型语言模型（LLM）与未来更高阶版本的训练时间，在提升AI基础硬件性能之余提供卓越的总体拥有成本。
▲美光先推出8层堆叠的24GB HBM3 Gen 2 ，预计2024年送样12层堆叠、36GB版本
美光HBM3 Gen 2采用1βDRAM制程节点，将总共24GB晶粒以堆叠8层高度方式构成立方体，同时也将于2024年送样12层的36GBHBM3，将可比竞品高出50%容量。 美光在 HBM3 Gen 2 通过比当前 HBM3 高出一倍的硅晶穿孔数量，以及以五倍金属密度减少热阻抗，藉此实现低功耗。 美光通过参与台积电3DFabric联盟伙伴，与台积电导入与整合AI及高效能运算设计的运算系统，台积电当前已收到美光HBM3 Gen 2样品并进行评估与测试。
在当前最热门的生成式AI技术，美光HBM3 Gen 2的高带宽与容量发挥关键效用，每组堆叠达24GB容量、每脚位大于9.2GBps的传输速度能减少30%大型语言模型的训练时间，除了降低总体持有成本，也能提升每日查询次数; 此外由于优异的每瓦效能，已装设1，000万个GPU计算，每组爹蝶能减少5W效能、在5年使用可省下达5.5亿美金的运营成本。
