VMware 与 NVIDIA 为企业开启生成式 AI 时代

VMware（NYSE：VMW）和 NVIDIA（NASDAQ：NVDA）于今日宣布扩展双方的战略合作伙伴关系，帮助成千上万使用 VMware 云端基础架构的企业做好准备，迎接AI时代的到来。

VMware Private AI Foundation with NVIDIA将使企业能够自定义模型并运行各种生成式 AI 应用，如智能聊天机器人、助理、搜索和摘要等。该平台是全集成解决方案，采用英伟达提供的生成式AI软件和加速计算，基于VMware Cloud Foundation构建，并针对AI进行了优化。

VMware 首席执行官 Raghu Raghuram 表示：「生成式 AI 与多云两者是完美的搭配。客户的数据无处不在，遍布其数据中心、边缘、云端等多处。我们将与 NVIDIA 一同帮助企业放心地在数据附近运行生成式 AI 工作负载，并解决其在企业数据隐私、安全和控制方面的问题。」

NVIDIA 创办人暨执行长黄仁勋表示：「世界各地的企业都在竞相将生成式 AI 整合到自身业务中。通过与 VMware 扩大合作，我们将能够为金融服务、医疗、制造等领域的成千上万客户提供其所需的全栈式软件和运算，使其能够使用基于自身资料定制的应用，充分挖掘生成式 AI 的潜力。」

全栈式运算大幅提升生成式 AI 的效能

为更快实现业务效益，企业希望简化并提高生成式 AI 应用的开发、测试和部署效率。根据麦肯锡的预测，生成式 AI 每年可为全球经济带来多达 4.4 万亿美元的成长^（1）。

VMware Private AI Foundation with NVIDIA 将帮助企业充分利用其性能，定制大语言模型，创建供内部使用的更加安全的私有模型，将生成式 AI 作为一项服务提供给用户，并更加安全地大规模运行推理工作负载。

该平台计划提供的各种集成AI工具，将帮助企业高效益地运行以其私有数据训练而成的成熟模型。创建在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 软件上的平台预计能够提供以下方面的优势：

隐私：将通过能够保护数据隐私并确保访问安全的架构，使客户能够在任何数据所在地轻松运行 AI 服务。
选择：从NVIDIA NeMo™到Llama 2等，企业在构建和运行其模型的位置上，将拥有广泛的选择空间，包括领先的OEM硬件配置以及未来的公有云和服务提供商解决方案。
效能：近期的行业基准测试表明，某些用例在 NVIDIA 加速的基础设施上运行的效能与裸机效能相当，甚至超过了裸机效能。
数据中心规模：虚拟化环境中的GPU扩展优化使AI工作负载能够在单个虚拟机和多个节点上扩展到最多16颗vGPU/GPU，从而加快生成式AI模型的微调和部署速度。
更低的成本：将最大程度地利用GPU、DPU和CPU的所有运算资源以降低总体成本，并创建可在各个团队间高效共享的池化资源环境。
加速存储：VMware vSAN Express Storage Architecture 提供效能经过优化的 NVMe 储存，并支持通过 RDMA 实现 GPUDirect^® 存储，从而无需 CPU 即可实现从存储到 GPU 的直接 I/O 传输。
加速网络：vSphere 与 NVIDIA NVSwitch™ 技术之间的深度整合，将进一步确保多 GPU 模型的执行不会出现 GPU 间瓶颈问题。
快速部署和价值实现时间：vSphere Deep Learning VM 镜像和图像库（image repository）将提供稳定的一站式解决方案图像，该图像预先安装了各种框架和效能经过优化的库，可实现快速原型开发。

该平台将采用的英伟达 NeMo 是 NVIDIA AI Enterprise（NVIDIA AI 平台的操作系统）中包含的端到端云原生框架，可帮助企业在几乎任何地点构建、自定义和部署生成式 AI 模型。 NeMo 集自定义框架、护栏工具包、数据整理工具和预先训练模型于一身，使企业能够以一种简单、经济且快速的方式来采用生成式 AI。

为将生成式 AI 部署到生产中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速并优化 NVIDIA GPU 上最新 LLM 的推理效能。通过 NeMo，VMware Private AI Foundation with NVIDIA 将使企业能够导入自己的数据，并在 VMware 混合云基础架构上构建和运行自定义生成式 AI 模型。

在VMware Explore 2023大会上，NVIDIA与VMware将重点介绍企业内部的开发人员如何使用全新NVIDIA AI Workbench提取社区模型（例如Hugging Face上提供的Llama 2），对这些模型进行远程自定义并在VMware环境中部署生产级生成式AI。

生态链对 VMware Private AI Foundation With NVIDIA 的广泛支持

VMware Private AI Foundation with NVIDIA将得到戴尔、慧与和联想的支持。这三家企业将率先提供搭载英伟达 L40S GPU、NVIDIA BlueField-3® DPU 和 NVIDIA ConnectX-7® 智能网卡的系统，这些系统将加速企业 LLM 定制和推理工作负载。

相较于NVIDIAAA100 Tensor CoreGPU，NVIDIA L40SGPU可将生成式AI的推理效能和训练效能分别提高1.2倍和1.7倍。

NVIDIA BlueField-3 DPU 可加速、卸载和隔离 GPU 或 CPU 上的巨大运算工作负载，其中包含虚拟化、网络、储存、安全，以及其他云原生 AI 服务。

NVIDIA ConnectX-7 智能网卡可为数据中心基础设施提供聪明且加速的网络，进而大幅加快全球最高要求的 AI 工作负载。

VMware Private AI Foundation with NVIDIA 建立在两家公司长达十年的合作基础之上。双方的联合研发成果优化了 VMware 的云基础架构，使其能够以媲美裸机的性能运行NVIDIA AI Enterprise。 VMware Cloud Foundation 所提供的资源及基础设施管理与灵活性将进一步惠及双方共同的客户。