Vectara 發布大模型幻覺率排行榜：GPT-4 3% 最低，GooglePalm 高達27.2%

根據機器之心11 月14 日報道，近日，專注於AI 的Vectara 平台發布大模型幻覺率排行榜。從榜單可以得知，GPT-4 的幻覺率最低，為3%，而GooglePalm 的幻覺率高達27.2%。據悉，為了確定這個排行榜，Vectara 使用各種開源資料集對摘要模型進行了事實一致性研究，並訓練了一個模型來檢測LLM 輸出中的幻覺。他們使用了一個媲美SOTA 模型，然後透過公共API 向上述每個LLM 輸送了1000 篇簡短文檔，並要求它們僅使用文檔中呈現的事實對每篇文檔進行總結。在這1000 篇文件中，只有831 篇文件被每個模型總結，其餘文件由於內容限制被至少一個模型拒絕回答。利用這831 份文件，Vectara 計算了每個模型的整體準確率和幻覺率。