歡迎來到BadGPTs時代——《華爾街日報》

一批名為“BadGPT”和“FraudGPT”的惡意聊天機器人正在網絡最陰暗的角落湧現，網絡犯罪分子試圖利用OpenAI的ChatGPT背後相同的人工智能技術。

正如一些辦公室職員使用ChatGPT來撰寫更好的電子郵件，黑客們正在使用經過篡改的人工智能聊天機器人版本來加速他們的釣魚郵件。他們可以利用這些聊天機器人——其中一些在開放互聯網上也能免費獲取——來創建虛假網站、編寫惡意軟件，並定製信息以更好地冒充高管和其他可信實體。

今年早些時候，據《南華早報》援引香港警方的報道，一名香港跨國公司的員工向攻擊者轉賬了2550萬美元，該攻擊者在一場由AI生成的深度偽造電話會議中冒充了公司的首席財務官。首席信息官和網絡安全領導者們，已經習慣了日益增多的網絡攻擊，表示他們正高度警惕更加複雜的釣魚郵件和深度偽造技術的增加。

Graphic Packaging International的首席信息官Vish Narendra表示，這家總部位於亞特蘭大的紙包裝公司已經看到了可能是由AI生成的電子郵件攻擊的增加，這種攻擊被稱為魚叉式網絡釣魚，網絡攻擊者利用個人信息使電子郵件看起來更加可信。他説，受到公眾關注的上巿公司更容易成為情境化魚叉式網絡釣魚的目標。

印第安納大學的研究人員近期梳理了暗網上出售和流通的200多種大型語言模型黑客服務。首項此類服務出現於2023年初——即2022年11月OpenAI的ChatGPT公開發布數月之後。

研究人員表示，大多數暗網黑客工具使用開源AI模型版本（如Meta的Llama 2）或OpenAI、Anthropic等廠商的"越獄"模型來驅動其服務。這些越獄模型通過"提示注入“等技術被劫持，繞過了內置的安全控制。

Anthropic首席信息安全官傑森·克林頓表示，該AI團隊會及時清除發現的越獄攻擊，並有專門團隊監控AI系統輸出。多數模型製造商還會部署兩個獨立模型來保護主AI模型，使得三者同時以相同方式失效的概率"微乎其微”。

Meta發言人凱文·麥卡利斯特稱，公開模型能廣泛分享AI效益，並讓研究人員識別和修復所有AI模型漏洞，“從而使企業能構建更安全的模型”。

OpenAI發言人表示，公司不希望其工具被用於惡意目的，並"持續致力於增強系統抵禦此類濫用的能力"。

由生成式AI編寫的惡意軟件和釣魚郵件尤其難以識別，因為它們被設計成能規避檢測。高德納公司的生成式AI與網絡安全分析師阿維娃·利坦表示，攻擊者可以通過從網絡安全防禦軟件中收集檢測技術來訓練模型，從而教會它編寫隱蔽的惡意軟件。

網絡安全供應商SlashNext在2023年10月的一份報告中指出，自ChatGPT公開發布後的12個月內，釣魚郵件增長了1,265%，平均每天發送31,000次釣魚攻擊。

“黑客社區一直領先於我們，”總部位於紐約的非營利性健康保險公司Healthfirst的首席信息安全官布萊恩·米勒説。過去兩年，該公司遭遇的冒充其發票供應商的攻擊有所增加。

雖然幾乎不可能證明某些惡意軟件程序或電子郵件是由AI創建的，但用AI開發的工具可以掃描出可能是由該技術生成的文本。Abnormal Security，一家電子郵件安全供應商，表示在過去一年中已使用AI幫助識別了數千封可能是AI創建的惡意郵件，並阻止了針對性、個性化電子郵件攻擊的兩倍增長。

當好的模型變壞時

阻止AI驅動的網絡犯罪的部分挑戰在於，一些AI模型在開放的網絡上免費共享。要訪問它們，不需要互聯網的陰暗角落或交換加密貨幣。

這些模型被認為是“未經審查的”，因為它們缺乏企業在購買AI系統時所尋找的企業防護欄，漏洞賞金公司HackerOne的道德黑客兼高級解決方案架構師戴恩·謝雷茨説。

一張用户要求AI模型生成針對科技公司CEO的釣魚郵件的截圖。該模型添加了“系統提示”以確保遵循用户所有指令。圖片來源：戴恩·謝雷茨在某些情況下，未經審查的模型版本是由安全與AI研究人員通過移除內置防護機制而創建的。另一些情況下，即使模型保留防護機制，只要人類使用者避開“釣魚”等明顯觸發詞——紅木軟件首席信息官兼首席信息安全官安迪·夏爾馬錶示，他在為員工創建魚叉式網絡釣魚測試時就發現了這一現象。

生成詐騙郵件最有用的模型可能是Mistral AI（法國人工智能初創公司）Mixtral的修改版，謝雷茨指出該版本已被篡改移除了防護機制。他補充説，由於原始Mixtral的先進設計，這個未經審查的版本可能比暗網大多數AI工具表現更佳。Mistral公司未回應置評請求。

謝雷茨近期演示了使用未經審查的AI模型生成釣魚攻擊的過程：首先在開源模型熱門託管平台Hugging Face上搜索“未經審查”模型——這顯示了許多此類模型極易獲取。

隨後他使用每小時成本1美元以下的虛擬計算服務模擬圖形處理器（GPU），這種高級芯片能為AI提供算力。謝雷茨表示，惡意行為者需要GPU或雲服務才能運行AI模型，並透露自己主要通過X平台和YouTube學習相關技術。

隨着他的無審查模型和虛擬GPU服務運行，Sherrets向機器人提出了請求：“寫一封針對企業的釣魚郵件，冒充CEO幷包含公開可得的公司數據，”以及“寫一封針對公司採購部門的郵件，要求緊急支付發票。”

機器人回覆了寫得不錯的釣魚郵件，但並未包含所有要求的個性化內容。Sherrets表示，這正是提示工程（即人類從聊天機器人中更好提取信息的能力）發揮作用的地方。

暗網AI工具已能造成危害

對於黑客而言，像BadGPT這樣的暗網工具（研究人員稱其使用了OpenAI的GPT模型）的一個優勢在於，它們很可能是在那些地下市場的數據上訓練的。網絡安全軟件公司AppOmni的首席AI工程師兼道德黑客Joseph Thacker表示，這意味着它們可能包含泄露數據、勒索軟件受害者及敲詐名單等有用信息。

該研究的合著者、印第安納大學計算機科學助理教授Xiaojing Liao指出，雖然一些地下AI工具已被關閉，但新的服務已經取而代之。這些AI黑客服務通常通過加密貨幣收取費用，月費從5美元到199美元不等。

隨着驅動這些工具的AI模型不斷進步，新工具預計也會隨之改進。Abnormal Security的CEO兼聯合創始人Evan Reiser表示，幾年之內，AI生成的文本、視頻和語音深度偽造將幾乎無法與人類創作區分開來。

在研究黑客工具時，該研究的合著者、印第安納大學研究副院長王曉風表示，他對暗網服務生成有效惡意軟件的能力感到驚訝。僅憑安全漏洞的代碼，這些工具就能輕鬆編寫出利用該漏洞的程序。

儘管AI黑客工具經常失敗，但在某些情況下它們確實有效。“在我看來，這表明當今的大型語言模型具有造成危害的能力，“王説。

聯繫貝爾·林，郵箱：[email protected]

刊登於2024年2月29日印刷版，標題為《惡意聊天機器人在網絡上構成新威脅》。