NVIDIA 今日宣布推出新一代 NVIDIA GH200 Grace Hopper 平台,该平台专为加速运算和生成式人工智能时代而打造,采用全新 Grace Hopper Superchip 与全球首款 HBM3e 处理器。
此全新平台将提供多种配置,可用于处理世界上最复杂的生成式人工智能工作负载,包括大型语言模型、推荐系统和向量数据库。
此新平台采用双配置:内存容量和带宽分别是市面上产品的3.5倍和3倍,包括一台拥有144个Arm Neoverse核心、8 petaflops人工智能运算效能,以及282GB最新HBM3e内存技术的服务器。
NVIDIA 创办人暨执行长黄仁勋表示:「为满足市场对生成式人工智能不断增长的需求,数据中心需要有能够满足专属需求的加速运算平台。 全新 GH200 Grace Hopper Superchip 平台以其出色的内存技术和带宽,加大了数据处理能力; 能够连接多个GPU,将效能聚集不减损; 并为可以轻松部署到整个数据中心的服务器设计。”

新平台采用Grace Hopper Superchip,可以通过 NVIDIA NVLink 高速 GPU 互连技术与其他超级芯片互连与协同工作,为生成式人工智能部署所需的巨型模型。
这个高速连贯的技术,可以让GPU彻底访问CPU内存,在双配置时提供合计1.2TB的高速内存。
HBM3e 内存的存取速度比当前的HBM3快上50%,可提供合计每秒10TB的带宽,让新平台能够运行比前一个版本大上3.5倍的模型,同时以快三倍的内存带宽提高整体执行效能。
各大主要制造商已经开始提供搭载先前发布之 Grace Hopper Superchip 的系统。 为推动市场更广泛采用这项技术,搭载HBM3e的下一代Grace Hopper Superchip平台与今年稍早在台北国际电脑展发表的NVIDIA MGX服务器规范完全兼容。 任何系统制造商借助 MGX,都能以符合成本效益的方式,快速将 Grace Hopper 加入 100 多款服务器内。
各大系统制造商预计于2024年第二季度推出基于此平台的系统。