NVIDIA於2025年7月4日推出了數據飛輪藍圖，旨在通過自動實驗和自我改進循環，提高AI代理的效率，降低推理成本和延遲。該藍圖利用NVIDIA NEMO和NIM微服務進行模型蒸餾和微調，支持多種環境的無縫集成。示範中，使用較小的模型替代大型模型，實現推理成本下跌98%。實施步驟包括設置GPU計算、收集生產數據、模型微調和持續改進。 NVIDIA還提供了詳細的資源和方法，方便用戶採用這一創新框架。
勞倫斯·傑加（Lawrence Jengar）7月4日，2025年03:33
NVIDIA介紹了數據飛輪藍圖，這是一種旨在通過使用自動實驗和自我提高循環來降低成本並提高效率來增強AI代理的工作流程。
NVIDIA推出了其最新的創新，即數據飛輪藍圖，旨在提高由大語言模型提供動力的AI代理的效率。 Nvidia表示，這種藍圖旨在應對高推理成本和潛伏期的挑戰，這可能會阻礙AI驅動的工作流的可擴展性和用戶體驗。
優化AI代理
用於構建數據飛輪的NVIDIA AI藍圖是一種利用自動實驗的企業就緒的工作流程。它試圖發現更有效的模型，不僅可以降低推理成本，還可以提高潛伏期和有效性。該藍圖的核心是一種自我提高的循環，它利用了NVIDIA NEMO和NIM微服務，可以使用實際生產數據對較小模型進行蒸餾，微調和評估。
集成和兼容性
數據飛輪藍圖旨在與現有的AI基礎架構無縫集成並支持各種環境，包括多雲，本地和邊緣設置。這種適應性可確保組織可以在沒有大量大修的情況下將藍圖有效地納入其當前系統。
實施數據飛輪藍圖
動手演示說明了數據飛輪藍圖的應用，以優化虛擬客戶服務代理的模型。該過程涉及用較小的羊肉-3.2-1b模型代替大型Llama-3.3-70b模型，從而在不犧牲準確性的情況下將推斷的成本降低超過98％。
初始設置：利用可發射的NVIDIA用於GPU計算，部署NEMO微服務和克隆數據飛輪藍圖GitHub存儲庫。日誌攝入和策展：收集和存儲生產代理相互作用，策劃特定任務的數據集並使用內置的飛輪編排進行連續實驗。模型實驗：使用各種學習設置，使用生產輸出進行微調模型進行評估，並使用MLFlow之類的工具來測量性能。持續部署和改進：在生產中部署有效的模型，攝入新數據，再訓練和迭代飛輪週期。
對於那些有興趣採用這種創新框架的人，NVIDIA提供了通過NVIDIA API目錄可用的詳細方法和其他資源。
圖像來源：Shutterstock
資訊來源：由0x資訊編譯自BLOCKCHAINNEWS。版權歸作者所有，未經許可，不得轉載