微軟Azure AI 基礎架構進行升級，發布ND H100 v5 虛擬機

根據IT 之家11 月21 日報道，微軟Azure AI 基礎設施迎來升級，推出了ND H100 v5 虛擬機系列，這款虛擬機配備了英偉達H100 Tensor Core 圖形處理單元（GPU）和低延遲網路。根據介紹，微軟全新發表Azure ND H100 v5 虛擬機器（VM）系列，現已在美國東部和美國中南部Azure 區域提供。該系列配備了最新的英偉達H100 Tensor Core GPU 和英偉達Quantum-2 InfiniBand 網絡，用於應對AI 工作負載帶來的日益增加的複雜性。作為微軟在AI 領域深入和持續投資的一部分，微軟正在利用一個AI 優化的4K GPU 集群，並將在明年將其擴展到數十萬個全新的GPU。微軟表示，該系列虛擬機器使用新的8 位元FP8 浮點資料類型進行矩陣乘法操作時，速度提升了六倍，比前一代的FP16 更快。 ND H100 v5 VM 幫助大型語言模型（如BLOOM 175B 端對端模型）實現了最高兩倍的推理速度提升。