原文來源：科技新知
作者：樟稻
圖片來源：由無界AI 生成
生成式AI正在把跨境電商領域變成互聯網裡的“新緬北”。
最近有不少賣家稱收到偽裝成亞馬遜官方的“釣魚郵件”，通過提供的惡意鏈接，提取賣家的重要賬戶信息。有人因此上當在短短一夜之間損失高達40萬。
蘇丹就是受害者中的幸運兒。他9月初收到的郵件中，發件地址與亞馬遜官方地址高度相似，內容更是精巧地仿製了亞馬遜的通知風格，敦促賣家更新緊急聯繫人信息。
按照郵件中的指引操作，會被引導到了一個似乎是“亞馬遜”的網站，並被要求輸入自己的郵箱、密碼以及二次驗證碼。一旦上當，很快就會收到真正的亞馬遜官方發出的“店鋪異地登錄”通知。
ChatGPT殺手GPTZero的檢測結果
蘇丹意識到不對勁後及時止損，他還利用技術工具對郵件內容進行分析，顯示有高達90%的可能性是由AI生成。新技術再次站在了走向善惡的十字路口。
01 生成式AI正在“作惡”
經常在國內外互聯網上沖浪，蘇丹對ChatGPT並不陌生還多次進行體驗，也早就听聞ChatGPT可以通過某種方式繞過安全機制，從而生成違法和不道德的內容。
他尚未意識到的是，ChatGPT的“越獄”技術已經迭代數次，現在市面上甚至有了更為先進的“邪惡GPT”版本，而這次遭遇的釣魚郵件，就可能出自該版本的手筆。
眼下比較有名的“邪惡GPT”版本是WormGPT和FraudGPT，兩者都能快速實現釣魚郵件騙局。
2021年3月，WormGPT問世，其開發者今年6月開始在黑客論壇上出售使用權。與ChatGPT不同，WormGPT並沒有設置阻止回答與非法活動相關問題的限制，構建的基礎是稍顯過時的2021年的開源GPT-J模型，並專門在與惡意軟件開發相關的數據中進行訓練。
為了評估潛在風險，安全分析公司Slashnext的研究團隊對BEC（商務郵件詐騙）攻擊進行了測試。實驗中他們要求WormGPT製作一封電子郵件，目標是對一個不設防的賬戶經理施加壓力，迫使其支付虛假髮票。
WormGPT生成的釣魚郵件
結果令人震驚，WormGPT生成的郵件不僅極具說服力，而且策略十分巧妙，充分展示了其在進行複雜性網絡釣魚和BEC攻擊方面的能力。
另一款名為FraudGPT的邪惡語言模型在今年7MOON相。從7月22日開始，開發者在多個論壇上宣傳該產品，稱其為不受限制的ChatGPT替代版本。
據透露，FraudGPT每隔一至兩週更新一次，架構下採用了多種AI模型。此工具採用基於訂閱的定價策略，每月收費為200美元，或年費為1700美元。
一個論壇的截圖，展示了FraudGPT的功能
安全研究團隊Netenrich購買並進行了測試。 FraudGPT的界面與ChatGPT極為相似，左側展示了用戶的歷史查詢，而聊天窗口則佔據了界面的大部分。使用者只需在“提問”區域輸入問題，系統便會為其生成相應答案。
FraudGPT生成釣魚郵件
測試中研究人員指示FraudGPT製作一個與某銀行相關的釣魚郵件。用戶只需將問題格式化以包含特定銀行的名稱，FraudGPT就能處理其餘部分。這款工具還會指導用戶在郵件內容的哪個位置放置惡意鏈接，並能進一步生成用於詐騙的登錄頁面，誘導受害者提供個人信息。
分析人士稱，FraudGPT 可能成為發動有影響力的網絡釣魚和BEC攻擊的理想工具，從而導致巨大的財務欺詐和數據竊取。
活躍的“邪惡GPT”不只上述兩個。就在8月中旬，有網絡安全領域的專家揭示了另一個基於GPT的網絡犯罪工具，名為EvilGPT。
這款應用與FraudGPT、WormGPT類似，它可以幫助製造惡意軟件、誘騙郵件、陷阱鏈接並針對企業網絡安全的弱點進行探測。若上述GPT因某些原因被封禁或移除，它將作為備選方案在市場上供應。與此同時，它也採用了基於訂閱的定價模式，吸引潛在用戶購買。
EvilGPT僅僅是在最近幾周中被發現的冰山一角。隨著時間的推移，可能會有更多基於人工智能技術的惡意工具和應用浮現出來。
02 AI“加持”下，釣魚郵件防不勝防
釣魚郵件對跨境電商從業者來說並不陌生，但蘇丹這次仍然險些中招，除了偶爾的疏忽大意之外，生成式AI的“加持”功不可沒。
過去，一種有效的識別釣魚郵件的方法是注意內容單詞的拼寫及語法錯誤。據資料顯示，約有50%的釣魚郵件來源於俄羅斯、德國和中國。從這些母語非英語地區發出的郵件中，大多假冒的內容都包含了不正常的語法或用詞，與正規標準的電子郵件風格不符。
未經校對的釣魚郵件
事實上，為了防止員工點擊帶有惡意鏈接的郵件或洩露登錄信息，許多電商公司在培訓中都會提醒注意拼寫錯誤、不尋常的語法以及非英語母語者可能犯的其它錯誤。
然而，現在的生成式AI技術已經能夠完美地排除掉這些傳統的識別特徵。這次的亞馬遜釣魚郵件沒有任何語法上的錯誤。
最近電子郵件安全公司Abnormal Security的CEO Evan Reiser在接受采訪時也指出了這點，由生成式AI平台製作的精細釣魚郵件幾乎與真實郵件無異，使人難以一眼辨識。他表示：“當你瀏覽這些郵件時，大腦中並不會產生任何提示，警告你這可能是一次網絡釣魚攻擊。”
可怕的是，避免語言錯誤只是生成式AI在釣魚郵件上展現的基本技能，更強的欺詐和混淆能力更為致命。
得益於AI模仿人類書寫的能力，釣魚郵件的內容可能包括製造緊迫感、鼓勵收件人點擊鏈接或者偽裝為匯款請求的社交工程郵件等。一旦收件人點擊鏈接，他們的系統就可能受到惡意代碼的感染。
上述偽造亞馬遜郵件的場景中，便是被AI製造了對於賣家而言比較急迫的場景。不少賣家在仔細審查郵件內容後，雖感到不太對勁，但由於擔憂可能錯過了某些重要信息，還是按照郵件中的指引操作。
另外，生成式AI還能夠使釣魚郵件更具攻擊性。它們可以從社交平台、新聞門戶、網上論壇等多種來源中抓取個人信息，以針對性更強的誘人郵件。這在過去通常是需要花上數月的時間才能完成的任務。如果攻擊者能夠掌握這些專有信息，他們可以在郵件中植入更具說服力的細節內容，或是模仿某人的寫作方式。
Evan Reiser指出：“目前，犯罪者只需捕獲這些電子郵件，自動地餵養到一個大型模型，接著指示它構建一封引用最近五次在線對話的郵件。這樣之前可能需要八小時完成的任務，現在只需八秒。”
即使是技術能力有限的攻擊者，也可以利用生成式AI來編寫VBA代碼。他們只需指示AI將惡意URL嵌入到代碼中，當用戶打開如Excel這樣的文件時，系統會自動下載並執行惡意軟件。
過去，像ChatGPT和Bard這樣的系統都有內置的保護功能，能夠盡可能預防生成惡意內容，但隨著越來越多的邪惡GPT版本湧現，電子郵件安全正在面臨巨大的挑戰。
2023年8月21日，國際安全研究團隊Perception Point與Osterman Research公司聯合發布了名為《人工智能在電子郵件安全中的作用》的報告。該報告揭示了網絡犯罪分子如何利用AI來增加和復雜化電子郵件威脅（如網絡釣魚和BEC攻擊）的驚人趨勢。
此項研究指出，網絡罪犯正在迅速採用AI工具以推動其利益，而有91.1%的組織稱他們已遭受到了被AI增強的電子郵件攻擊。
03 解決之道：使用AI來對抗AI？
在AI的威脅下，過去依靠經驗躲避釣魚郵件陷阱的方法不再有效，新的對策或在於以AI對抗AI。已有數家網絡安全公司將生成式AI融入其產品，力圖在被大規模濫用前採取措施。
有供應商正在利用AI來提高電子郵件的安全能力和流程，例如：為了洞察每個發送者和接收者的習慣和特性，一個AI模型被設計出給組織中的每位成員繪製通信模式。
具體來說，誰會給他們發信息？信息內容是什麼？何時和從哪裡發送這些消息？通常有其他人被抄送還是只有一個目標接收者？每位發送者使用哪些電郵地址？簡而言之，AI被用於構建關於每個人常規行為的檔案。
另外，為了察覺不常見的郵件發送模式，供應商結合了以下策略：利用社交圖技術進行基礎發送模式的分析；識別相似或相近的電子郵件地址；鑑別包含社交工程技巧的信息；檢測冒名頂替的標記和其它品牌相關的視覺元素；以及對電子郵件中的語氣、情感和風格進行分類。以上策略都有助於檢測那些旨在混淆人類思維的異常郵件。
儘管接受過安全意識培訓的人力也可以找到這些異常信號，但只有AI能夠在網絡速度下整合所有分析維度，確保在面對海量消息時能夠持續並可靠地執行檢測。
AI解決方案還可以利用多個機器學習模型來識別帶有惡意內容的信息。這些模型是基於被標記為惡意或無害的信息數據集進行開發、調整和更新的。某些供應商採用生成式AI技術，從已知的惡意信息中產生附加的樣本數據，這為機器學習模型提供了更為豐富的優質訓練數據。
能夠戰勝AI的，也就只有AI了。
實際上，不少組織已經在使用AI進行電子郵件安全防護。根據Osterman Research的數據，最近的兩年內五分之四的組織已經部署了或正在積極推進基於AI的電子郵件安全解決方案，這種方案是在常規保護措施之外附加的。
其中，引進AI加強電子郵件安全的方式主要有兩個方向：一方面是現有的電子郵件安全提供商將AI防護集成到他們的產品中；另一方面是組織正在刻意尋找新的AI啟用的解決方案。
而在過去兩年中，仍有五分之一的受訪者沒有採納此類方案：12.7%的人沒有實行任何解決方案，而6.0%的人正在積極探索和評估可能的選擇。
從Osterman Research的數據來看，AI在提高檢測效率和強化保護方面顯示出了不俗的能力。
在採納AI加強的電子郵件安全解決方案之前，各組織都有一定的檢測效率。但隨著網絡罪犯使用AI提高攻擊技術，沒有AI保護的組織會發現他們的檢測效率將受到嚴峻挑戰。
只有魔高一尺道高一丈，才能把釣魚郵件的攻防雙方，重新拉回到AI技術這同一起跑線上。
（文中人物為化名）
參考資料：
Over 91% of Organizations Have Experienced AI-enhanced Email Attacks and 84% Expect Continued Use of AI to Circumvent Existing Security Systems
WormGPT-The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks
WormGPT and FraudGPT – The Rise of Malicious LLMs
Generative AI Could Revolutionize Email-for Hackers
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載