原文來源：新智元
圖片來源：由無界AI生成
自GPT多模態亮相以來，開源多模態大模型層出不窮。
在人工智慧領域，融合多種模態的大規模模型已被廣大研究者和業界視為發展的主流方向，也被認為是建構通用AI助理的核心組件。
國內外一些研究人員在GPT-4V未真正亮相期間，推出了一些代表作，如LLaVa, MiniGPT-4, Mplug-Owl等，這些開源模型在自然指令跟踪和視覺推理能力方面展示了非常強大的性能。
但有一個問題也一直困擾著眾多研究人員: 這些多模態大模型在能理解真實圖像的同時，也被嚴重的幻覺問題所困擾：看圖說瞎話，胡編亂造等問題時常出現，對視覺摘要、推理等視覺語言任務產生了非常大的負面影響。
今年10月, 北卡教堂山、斯坦福、哥大、羅格斯等大學的研究人員系統分析了LVLMs中幻覺的三種成因, 並且提出了一個通用的解決方案LURE（LVLM Hallucination Revisor，幻覺修正器），透過重建一個包含較少幻覺的描述來修正LVLM中的物體幻覺（object hallucination）問題，可以與任意LVLM進行無縫整合。
論文地址: https://arxiv.org/abs/2310.00754
代碼位址: https://github.com/YiyangZhou/LURE
LURE的設計是基於對產生物體幻覺的關鍵因素，進行嚴格統計分析，包括共現（某些物體在圖像中與其他物體一起頻繁出現）、不確定性（在LVLM解碼期間具有較高不確定性的物體）和物體位置（幻覺通常出現在生成文字的後面部分）。
研究人員在六個開源LVLM上對LURE進行評估了，與之前的最佳方法相比，通用物體幻覺評估指標提高了23%；在GPT和人工評估中，LURE始終名列前茅。
幻覺從哪裡來，為什麼會產生這樣的幻覺？
研究人員對LVLMs產生幻覺的原因進行了系統性的分析，可以歸結為以下三個因素：
1. 物體間的同現與假相關性
研究人員對不同對LVLMs對於訓練集合中圖片對應的描述統計發現，大部分幻覺的描述中的物體都會存在較高的共現分數，也就是說幻覺物體極大機率是經常一起出現的物體。
例如：一張圖片中有草和天空，那麼出現幻覺的描述中的幻覺物體大概率可能是樹木、鳥兒，因為這些物體在訓練集合中經常一起出現。
2. 解碼過程的不確定性
同時幻覺物體大機率是解碼過程中不太確定的物體，這種不確定性會導致模型在解碼過程中錯誤選擇機率差不多且不太確定的物體，導致描述中出現了幻覺。
3.位置關係
同時研究人員觀察了大量的幻覺描述發現，幻覺中心化出現在模型響應圖像的描述的後半段，這可能是模型前面的輸出的錯誤觸發了後續幻覺的滾雪球。
為了驗證上述分析的可靠性，研究人員也對這三個因素對於幻覺的貢獻進行了詳細的理論證明。
方法介紹
那麼該如何減少這樣的幻覺呢？
為了減少LVLMs幻覺，研究團隊提出了首個多模態幻覺緩解方案LURE：基於上述分析的關鍵因素，LURE透過物件幻覺修正器，能與任意LVLM無縫銜接，對不準確的描述進行修正。
訓練流程
推理流程
實驗及結果
效果怎麼樣呢？
在六個開源的LVLMs上，LURE都證明了自己的效能。
在各種評估指標下，如CHAIR、GPT評估以及人類評估，它都能顯著減少至少23%的物體幻覺。
本文將MiniGPT-4 llama7B作為基準模型用於訓練LURE，然後整合於6個開源的LVLM，與其餘減少幻覺的basline相比LURE能大幅降低模型輸出時的幻覺：
研究人員同時進行了消融實驗，證明了LURE演算法適用於各種LVLMs
且不依賴資料集本身所帶來的效能偏移。
此外先前分析的三個因素在LURE後處理之後都能有明顯的改善：
由於幻覺評估除了經典的CHAIR，沒有其他評估指標，研究人員也分析了傳統的機器翻譯指標是否適用於幻覺的評估：
案例分析
參考資料：
https://arxiv.org/abs/2310.00754
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載