斯坦福大學研究發現ChatGPT 的能力表現在幾個月內有所波動

據IT 之家9 月7 日消息，斯坦福大學的一項新研究發現，熱門生成式AI 聊天機器人ChatGPT 的能力在幾個月內有所波動。目前，ChatGPT 有免費的GPT-3.5 模型和更智能、更快速的付費GPT-4 版本。研究人員發現，GPT-4 在3 月份能夠有效地解決數學問題，識別質數的準確率為97.6%。三個月後，其準確率下降到了2.4%。而另一方面，GPT-3.5 卻變得更好，從7.4% 的準確率提高到了86.8%。研究人員還注意到，在編寫代碼和視覺推理方面也有類似的波動。研究人員認為，結果並不能真正反映ChatGPT 性能的準確性狀態，而是顯示了微調模型帶來的意外後果。本質上，當修改模型的一部分來改善一個任務時，其他任務可能會受到影響。為什麼會這樣很難確定，因為沒有人知道ChatGPT 是如何運作的，而且它的代碼也不是開源的。