在11月22日，慢霧創辦人餘弦揭露了一起由AI引發的詐騙案例。用戶r_ocky.eth希望利用ChatGPT開發交易機器人，卻在程式碼中意外隱藏了釣魚內容，導致主錢包損失2,500美元。攻擊者迅速將資產轉移，且竊盜地址已增持超10萬美元贓物。餘弦認為這屬於“AI投毒攻擊”，指攻擊者透過破壞AI訓練資料，致使AI無法辨識釣魚內容。為了防範此類風險，餘弦建議增加程式碼審核機制。 r_ocky.eth已聯繫OpenAI，希望引起重視並提供解決方案。
作者：Azuma，Odaily 星球日報
11 月22 日上午，慢霧創始人餘弦在個人X 上貼出了一起離奇的案例—— 某用戶的錢包被AI 給“駭”了…
該案件的來龍去脈如下。
11 月22 日凌晨，網友r_ocky.eth 披露自己先前曾希望利用ChatGPT 便攜一個pump.fun 的輔助交易bot 。
r_ocky.eth 向ChatGPT 給了自己的需求，ChatGPT 則向他返還了一段代碼，這段代碼的確可以幫助r_ocky.eth 部署符合自己需求的bot，但他萬萬沒想到代碼中會隱藏一段釣魚內容－ r_ocky.eth 連結了自己的主錢包，並因此損失了2500 美元。
從r_ocky.eth 貼出的截圖來看，ChatGPT 給出的該段代碼會向一個釣魚性質的API 網站發送地址私鑰，這也是被盜的直接原因。
在r_ocky.eth 踩中陷阱之中，攻擊者反應極快，在半小時內就把r_ocky.eth 錢包內的所有資產轉移到了另一個地址（FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX），隨即r_ockgCQts95Ww8HSLUvWbzv1NhX），隨即r_ockgCQts又透過鏈上追跡找到了疑似為攻擊者主錢包的位址（2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC）。
鏈上資訊顯示，該地址目前已歸集了超10 萬美元的「贓物款」，r_ocky.eth 因此懷疑此類攻擊可能並非孤例，而是一起已具備一定規模的攻擊事件。
事後，r_ocky.eth 失望地表示已對OpenAI（ChatGPT 開發公司）失去信任，並呼籲OpenAI 盡快著手清理異常釣魚內容。
那麼，作為當下最受歡迎的AI 應用，ChatGPT 為何會提供釣魚內容呢？
對此，餘弦將該事件的根本原因定性為「AI 投毒攻擊」，並指出在ChatGPT 、 Claude 等LLM 中存在著普遍性的欺騙行為。
所謂「AI 投毒攻擊」，指的是故意破壞AI 訓練資料或操縱AI 算法的行為。發動攻擊的對手可能是內部人士，例如心懷不滿的現任或前任員工，也可能是外部駭客，其動機可能包括造成聲譽和品牌損害，篡改AI 決策的可信度，減緩或破壞AI 進程等等。攻擊者可透過植入具有誤導性標籤或特徵的數據，扭曲模型的學習過程，導致模型在部署和運行時產生錯誤結果。
結合本起事件來看，ChatGPT 之所以向r_ocky.eth 提供了釣魚代碼，大概是因為AI 模型在訓練之時即「吸收」了存在釣魚內容的資料，但AI 似乎未能識別隱藏在常規資料之下的釣魚內容，AI 學會了之後又把這些釣魚內容提供給了用戶，從而造成了該事件的發生。
隨著AI 的快速發展及普遍採用，「投毒攻擊」的威脅變得越來越大。在本起事件中，雖然損失的絕對金額並不大，但此類風險的引伸影響卻足以引發警覺－ 假設發生在其他領域，例如AI 輔助駕駛…
在回覆網友提問時，餘弦提到了規避此類風險的一個潛在舉措，即由ChatGPT 添加某種代碼審核機制。
受害者r_ocky.eth 亦表示已就此事聯繫了OpenAI，雖然暫時並未收到回應，但希望該起案件能夠成為OpenAI 重視此類風險並提出潛在解決方案的契機吧。
（以上內容獲夥伴PANews 授權節錄及轉載，原文連結| 來源：Odaily 星球日報）
聲明：文章僅代表作者個人觀點意見，不代表區塊客觀點與立場，所有內容及觀點僅供參考，不構成投資建議。投資人應自行決策與交易，對投資人交易形成的直接間接損失作者及區塊客將不承擔任何責任。
〈用AI 寫程式碼暗藏「陷阱」：用戶求助ChatGPT，反被釣魚「盜幣」」這篇文章最早發佈於《區塊客》。
資訊來源：0x資訊編譯自BLOCKCAST。版權歸作者區塊客所有，未經許可，不得轉載
0X簡體中文版：用AI編程的隱憂：用戶求助ChatGPT，反遭釣魚盜幣
