英偉達預告新版TensorRT-LLM：推理能力飆升5 倍，支援OpenAI 的Chat API

根據IT 之家11 月16 日報道，英偉達在今天Ignite 2023 大會上，宣布更新TensorRT-LLM，添加OpenAI 的Chat API 支持，並增強DirectML 功能，改善Llama 2 和Stable Diffusion 等AI 模型的性能。 TensorRT-LLM 可以透過英偉達的AI Workbench 在本地完成，開發者可以使用這個統一、易用的工具包，在PC 或工作站上快速創建、測試和定制預訓練的生成式AI 模型和LLM。英偉達將於本月稍後發布TensorRT-LLM 0.6.0 版本更新，推理性能提高5 倍，並支持Mistral 7B 和Nemotron-3 8B 等其它主流LLM。