原文來源：量子位元
圖片來源：由無界AI 生成
大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？ ？
這麼一項新研究，一發表就引燃了全場討論。
來自范德堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現：
一個大語言模型在訓練時被餵進了“A是B”這種形式的數據，它並不會自動反推出“B是A”。大模型存在「反轉詛咒」現象。
甚至強如GPT-4，在反向問題實驗中，正確率也只有33%。
OpenAI創始成員Andrej Karpathy第一時間轉發了這篇論文，並評論說：
LLM知識比人們想像中「零散」得多，我對此仍然沒有很好的直覺。
這具體是怎麼一回事？
大模型的“反轉詛咒”
研究人員主要進行了兩項實驗。
在第一項實驗中，研究人員在GPT-4的幫助下建立了以下形式的數據，來微調大模型。
is .（或反過來）
所有這些名字都是虛構的，以避免大模型在訓練過程中見過他們。
在GPT-3-175B上的實驗結果顯示，當提示與資料集給出的描述順序相符時，模型給出的答案很不錯。
但當順序反轉過來，模型的準確率甚至直接降到了0。
舉個例子，就是大模型吃到過「達芙妮是《時光之旅》的導演」這麼一條數據，你問它「達芙妮是誰」時，它也答得好好的。但當你反過來問「誰是《時光之旅》的導演」時，模型就懵了。
在GPT-3-350M和Llama-7B上，研究人員也得到了相同的實驗結果。
再來看實驗2。在這項實驗中，研究人員在不進行任何微調的情況下，測試了大語言模型對真實名人訊息的反向處理能力。
他們從IMDB（2023）收集了最受歡迎的1000位名人的名單，並透過OpenAI API來問GPT-4有關這些人父母的信息，最終得到了1573對名人孩子-父母對數據。
結果發現，如果問題像這樣——“湯姆·克魯斯的媽媽叫什麼”，GPT-4回答準確率為79%。但當問題反轉，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什麼”，GPT-4回答準確率就降到了33%。
在Llama-1家族模型上，研究人員也進行了相同的測試。實驗中，所有模型回答「父母是誰」問題的準確率，都要遠高於回答「孩子是誰」問題的準確率。
研究人員將這種現象命名為「反轉詛咒」。他們認為，這揭示了語言模型在推理和泛化方面的異類進本限制。
論文通訊作者、牛津大學研究員Owain Evans解釋：
為什麼反轉詛咒值得關注？
這說明大語言模型在訓練過程中存在推理能力缺失。 「A是B」和「B是A」的共現是預訓練中心化的一種系統性模式。自回歸LLM完全無法對此模式進行元學習，其對數機率沒有變化，並且即使參數量從350M擴增到175B，也未能改善這個問題。
One More Thing
不過話說回來，人類是不是也會受「反轉詛咒」影響呢？
有網友做了這麼個測試。
面對「Mary Lee Pfeiffer South的兒子是誰」這個問題，GPT-4一開始直接舉旗投降了。
但當這位網友提示它「她的兒子很有名，你肯定認識」後，GPT-4當場開悟，給出了「湯姆·克魯斯」這個正確答案。
△X網友@TonyZador
那麼，你能反應過來嗎？
參考連結：
[1]https://owainevans.github.io/reversal_curse.pdf
[2]https://twitter.com/owainevans_uk/status/1705285631520407821
[3]https://twitter.com/karpathy/status/1705322159588208782
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載