英偉達與Anyscale 合作，提高大型語言模式和生成式AI 應用的開發效率

根據IT 之家9 月19 日報道，AI 軟體公司Anyscale 週一宣布將英偉達AI 引入Ray 開源和Anyscale 平台中。英偉達AI 也將在Anyscale Endpoints 中運行，該服務可協助應用程式開發人員使用流行的開源模型（如Code Llama、Falcon、Llama 2、SDXL 等）嵌入LLMs 到其應用程式中。據悉，英偉達Triton Interence Server 軟體支援在GPU、CPU 和其他處理器上跨雲端、資料中心、邊緣和嵌入式裝置進行推理。當與Ray 整合時，開發人員可以提高來自各種框架的AI 模型（包括TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO 等）的效率。 Anyscale 執行長兼聯合創始人Robert Nishihara 在聲明中表示：「我們與英偉達的合作將為Anyscale 的產品組合帶來更多性能和效率，以便開發人員隨處創建具有前所未有速度和效率的LLMs 和生成AI 應用程式。”