研究發現:ChatGPT 回答編程問題的錯誤率超過50%

據IT 之家8 月8 日消息,美國普渡大學的研究發現,OpenAI 開發的人工智能聊天機器人ChatGPT 在回答軟件編程問題時,錯誤率超過一半,且能騙過三分之一的提問者。該研究團隊分析了ChatGPT 對517 個Stack Overflow 網站上的問題的回答,評估了其正確性、一致性、全面性和簡潔性。他們還對回答進行了語言和情感分析,並對12 名志願參與者進行了問卷調查。研究報告的結論是:ChatGPT 的回答雖然語言風格良好,但52% 的回答是錯誤的,77% 是冗長的。參與者只有在回答中的錯誤很明顯時,才能識別出來。否則,他們會被ChatGPT 的友好、權威和細緻的語言風格所誤導。 Stack Overflow 是一個專門為程序員提供問答服務的網站,被認為是開發者獲取代碼片段和解決問題的重要來源。此外,OpenAI 在其ChatGPT 網站上承認其軟件“可能會產生關於人、地點或事實的不准確信息。”

Total
0
Shares
Related Posts