斯坦福大學研究人員提出EVAPORATE 原型系統，可將語言模型的推理成本降低110 倍

據MarkTechPost 報導，在最近發布的一篇研究論文中，斯坦福大學和康奈爾大學的研究者提出了一種方法以應對大型語言模型極高的訓練成本。該團隊舉例說，在維基百科5,500 萬個頁面上運行推理的成本超過10 萬美元，相當於每1,000 個詞組的價格超過0.002 美元。與直接對每個文檔進行推理相比，這些研究者提出的方法可以將推理成本降低110 倍，同時還能提高推理結果的質量。據悉，該原型系統稱為EVAPORATE，由LLMs 提供動力，並確定了兩種不同的系統實施策略。第一種策略是提示LLM 直接從文檔中提取值。第二種策略是促使LLM 合成執行提取的代碼。研究小組對這兩種方法進行了評估，發現它們之間存在成本與質量的權衡。雖然代碼合成的成本更低，但其準確性也不如直接用LLM 處理每個文檔。為了提高質量並保持低成本，該團隊還提出名為EVAPORATE-CODE+ 的擴展代碼合成實現方法。