東南亞“殺豬盤”使用AI：語言模型尚不夠聰明，與受害者網聊時自曝了身份_風聞

澎湃新聞

2024年05月18日 21:06:07 來自上海

0人蔘與0評論

東南亞犯罪集團正在所謂的“殺豬盤”網絡詐騙行動中使用生成式人工智能聊天機器人，這種更復雜的手段可以提高詐騙的有效性，並將擴大受害者的範圍。

所謂的“殺豬盤”，是網絡詐騙的一種新方式，犯罪分子通常潛伏在約會應用程序和社交平台中，將浪漫愛情和賭博心理融入其作案手法。詐騙分子對受害者進行數天甚至數月的網絡親密接觸，然後才“收穫”詐騙果實，這一過程類似於將豬養肥以供屠宰。

聊天機器人在情緒和感受上“露馬腳”

據澳大利亞廣播公司（ABC）5月16日報道，犯罪分子過去通常會使用詳細的“腳本”來獲得受害者的信任，而現在他們利用大語言模型（LLM）或聊天機器人，用不同語言向受害者發送消息，進一步擴大了影響範圍。生成式人工智能還可以使對話更有説服力，並減少詐騙分子與多個受害者互動的工作量。

雖然ChatGPT、Gemini和Copilot等主要人工智能聊天機器人都有防止其協助非法活動的護欄，但其他一些正在開發的大語言模型沒有此類限制。

網絡安全公司Sophos的研究人員賈格迪什·錢德拉亞（Jagadeesh Chandraiah）在一篇博客文章中表示，生成式人工智能將文本、圖像、視頻與翻譯相結合，生成不重複的“定製內容”。它還可用於編寫“殺豬腳本”，寫出令人信服的網絡釣魚電子郵件，甚至提供如何從頭開始進行詐騙的步驟説明，這也可能降低詐騙犯罪的門檻。

然而，犯罪集團似乎還無法熟練地使用人工智能。研究人員發佈了一張詐騙目標提供的屏幕截圖，顯示詐騙分子意外透露了他們正在使用大語言模型來生成消息。騙子在給目標客户發送的WhatsApp消息中寫道：“非常感謝您的善意之言！’我’作為一個語言模型，沒有像人類那樣的感覺或情緒，我被創造出來提供有用和積極的答案幫你。”

錢德拉亞告訴ABC，人工智能的運作仍然需要人類協助，機器人偶爾會發送一些信息，可能表明它們無法與人類交流，尤其是在感受和情緒方面。“就’殺豬盤’而言，目前的模型不太擅長描繪情緒和感受，而這又是此類騙局得以成功的關鍵。”

但錢德拉亞認為，未來隨着人工智能的進一步發展，受害者將很難識別他們正在與機器人進行通信。

AI實時換臉已成精準聊天必備

除了最新的聊天機器人，一些傳統的人工智能技術，比如深度造假技術近年來也迅速進步，已達到可以用較高的逼真度完成實時對話的水平。前黑客、越南網絡安全專家吳明曉（Ngô Minh Hiếu）表示，用户現在可以通過開源軟件或付費方式輕鬆訂閲實時換臉技術（一種僅改變對象臉部的深度造假技術）。

全球反詐騙組織（GASO）向ABC提到，一家軟件提供商在廣告中宣稱其“人工智能實時換臉是精準聊天的必備”。廣告稱，“它解決了好看的（真人）模特難以招募和管理、成本高昂的問題。”該軟件還集成了語音克隆功能，對特定目標的模仿相似度可以達到“60％至95％”。

另一家換臉軟件提供商在柬埔寨提供7天24小時支持、“送貨上門”服務，並聲稱已在1000多個區域安裝了其產品。該廣告稱，使用該系統只需要提供一張照片，可用於WhatsApp、Messenger、Line等社交平台上的視頻通話。

除了“殺豬盤”之外，犯罪分子還利用換臉技術實施其他類型的詐騙，例如冒充名人進行投資詐騙，以及冒充家人或警察來恐嚇受害者付錢。它還可以用來逃避一些金融機構要求的基於視頻的身份檢查。

澳大利亞陽光海岸市市長羅珊娜·納託利（Rosanna Natoli）最近稱，一名詐騙者使用該技術冒充她與她的一位朋友進行Skype通話。她説：“這位朋友告訴我，這看起來像我，但聽起來不像我。”

“大多數換臉應用程序都無法偽造實時聲音。”一位瞭解柬埔寨詐騙情況的消息人士向ABC表示，技術能力、計算能力和互聯網帶寬等往往限制了詐騙分子使用換臉技術。“（在許多情況下）聘請東歐模特更為實際。”他説，儘管技術進步，鏡頭前的真人仍然看起來更合理。

在緬甸，從事加密貨幣“殺豬盤”業務的Sam在採訪中説，他的老闆曾短暫嘗試過人工智能，因為越南模特逃跑了。老闆希望應用程序能夠以數字方式改變團隊中講英語成員在視頻通話中的外觀，但沒有足夠的源照片來支撐應用程序運行。

“用頭腦思考，而不是用心思考”

上個月，澳大利亞競爭和消費者委員會（ACCC）反詐騙中心表示，雖然2023年統計的詐騙數量比2022年有所增加，但損失總額下降了13.1%，至27.4億澳元（約合132.7億元人民幣）。然而，ACCC發言人仍然對新技術的出現發出警告，“詐騙手段日益複雜，我們應該對人工智能帶來的風險保持警惕。這將使得人們更難識別詐騙，平台應繼續謹慎處理任何個人信息或金錢請求，並在點擊鏈接時保持謹慎。”

該發言人表示，迄今為止大多數關於利用人工智能進行詐騙的案例都是以社交平台網站上“聊天機器人”的形式出現的。“這些機器人給人留下這樣的印象：許多其他真實的人對該產品感興趣，並從騙局中獲得經濟利益。”此外，“人工智能還被用來製作投資詐騙視頻，通常會捕捉或製作名人的圖像或鏡頭，並附上讓人信服的音頻。”

與詐騙受害者合作的Intelligence for Good的網絡犯罪專家羅尼·託卡佐夫斯基（Ronnie Tokazowski）表示，過去表明某人是詐騙者的一個關鍵危險信號是他們拒絕進行視頻通話。“但現在壞人已經找到了解決辦法。“他説，最好的建議是不要向僅在網上認識的人匯款或收款。

“我們需要開始用頭腦思考，而不是用心思考。”錢德拉亞説，“即使感覺很真實，而且這種關係已經持續了一段時間，但如果它起源於互聯網，並且慢慢轉向涉及金錢或加密貨幣的問題，那就遠離它。”