微软今年3月宣布开放预览的生成式人工智能专用虚拟机Azure ND H100 v5，现在正式上线，该虚拟机配备Nvidia H100 Tensor Core GPU与低延迟网络设备，可用于执行复杂的生成式人工智能运算。 另外，微软也扩大Azure OpenAI服务规模，新增在澳大利亚、亚洲和欧洲云地区提供服务。
Azure ND H100 v5的特色在于，配备8个Nvidia在2023年新推出的数据中心用H100 Tensor Core GPU，以及采用低延迟Quantum-2 ConnectX-7 InfiniBand网络设备，每个虚拟机器可拥有高达3.2 Tb/s的跨节点带宽，相当于每个GPU可获得400 Gb/s的带宽，确保跨GPU的运算效能。
Azure ND H100 v5的CPU使用第4代Intel Xeon Scalable处理器，而GPU与主机接口使用PCIe Gen5，每个GPU可以获得64GB/s的带宽，进一步减少CPU和GPU间的传输瓶颈。
有了H100 Tensor Core GPU的加持，ND H100 v5运算效能较上一代的虚拟机器更好，由于H100支持FP8浮点数数据型别，因此ND H100 v5在矩阵运算上，效能可为上一代ND A100 v4的6倍，执行BLOOM 175B端到端大型语言模型推理，速度则是上一代的2倍。
盘点Nvidia在其2022 GTC大会中，预告将会部署H100执行个体的云商，目前正式推出的服务有AWS的Amazon EC2 P5，以及微软Azure ND H100 v5，而Google云端的A3，还有甲骨文OCI采用H100的执行个体则仍在预览测试阶段。
