英偉達稱最新開源軟件TensorRT-LLM 可基本解決目前發展大模型的幾大挑戰

據《科創板日報》9 月14 日報導，在2023 全球AI 芯片峰會上，NVIDIA 解決方案與架構技術總監張瑞華介紹了NVIDIA 最新推出的開源軟件TensorRT-LLM，她表示TensorRT-LLM 可基本解決目前模型發展速度快、更新頻繁、用戶數量大等挑戰，並且該軟件支持GPU 多節點，編程簡單，與Triton 相結合可降低多用戶延遲問題，從而充分利用GPU 並降低成本。針對大模型的訓練，NVIDIA 還提出了NeMo Framework，這是一套端到端且具有云原生的訓練框架，用於建構、定制和部署生成式AI 模型，基本覆蓋了大模型訓練的全生命週期。為了防止大模型的胡言亂語，NVIDIA 還提供了一個安全護欄功能（Guardrails），來幫助大模型更好的泛化知識。張瑞華認為，AI 模型具有巨大的用戶空間，未來不僅存在於研究所，可能會成為每個人手機或電腦上的應用。