微软携手英伟达在今年3月宣布推出Azure ND H100 v5 VM虚拟机预览版。经过数月的测试和调试,昨日,该虚拟机正式发布,旨在帮助企业更高效地处理生成式人工智能(AI)任务。
据了解,ND H100 v5 VM是迄今为止Azure中更强大且高度可伸缩的AI虚拟机系列。该虚拟机采用了多项创新技术,包括8块NVIDIA H100 Tensor Core GPU,通过下一代NV Switch和NV link 4.0相互连接。
在无阻塞胖树网络中,每个GPU搭载400Gb/s NVIDIA Quantum-2 CX7 InfiniBand和每个VM 3.2Tb/s的性能。此外,每个VM中的8块本地GPU之间通过3.8Tb/s对分割带宽的NV Switch和NV link 4.0进行互联。这样的配置使得AI模型的性能显著提升,相较上一代ND A100 v4 VM,性能有了明显提升。
此次推出的虚拟机还引入了第四代英特尔至强可扩展处理器和PCIE第5代主机到GPU互连技术,每个GPU的带宽达到64Gb/s。此外,新的虚拟机配备了16信道的4800 MHz DDR5内存。所有这些技术的结合,使得Azure ND H100 v5 VM成为强大的AI虚拟机,能够更高效地处理生成式AI任务。
新的虚拟机使用英伟达的NVIDIA Tensor Core H100 GPU和NVIDIA Quantum-2 InfiniBand网络。目前,该虚拟机仅限于美国东部和西部的Azure企业访问。微软计划在明年为其虚拟机添加数十万块新的GPU,以进一步提升其性能和可扩展性。综合