AI造假成風下，一羣人決定做“打假英雄”_風聞

明明是循規蹈矩的女學生，因照片被盜用，被“換臉”之後，成為小電影的主角。卻因為拿不出來證明“我不是我”的證據，背上莫須有的罵名。

這不是電視劇情節，而是韓國真實的、正在發生的Deepfake事件。

犯罪分子獲取女性照片後，通過AI技術Deepfake將其“換臉”，捏造並不存在的“事實”誣陷女性，陷入自證陷阱的女性們無法自證清白，只能呼籲大家關注濫用Ai帶來的危害。

很快，這件被稱為“N號房捲土重來”的事件，引發了全球關注。

畢竟隨着AI技術的發展，我們任何人都可能成為被Deepfake（深度偽造）的對象，成為那些我們沒拍過、沒錄過的音視頻的“主角”。

因此，如何確保我們的安全、防止AI技術的濫用，或者及時識別出Deepfake的詭計，變得迫在眉睫。

這也是外灘大會AI創新賽·全球Deepfake攻防挑戰賽上，來自全球26個國家及地區的2200名“最強大腦”想要的解決的難題。

本次Deepfake攻防賽由中國工程院院士王耀南擔任專家委員會名譽主席，螞蟻數科ZOLOZ和天璣實驗室作為大賽出題方，賽題包含圖像和視頻兩大主流的Deepfake研究方向，是CV(即計算機視覺)領域權威賽事之一，吸引了全球超1500支隊伍參與。

賽事數據集由公開數據和偽造數據組成，其中，偽造圖片數據涵蓋了現實場景中超50種生成方式，偽造音視頻中則納入了超100種組合攻擊方式，組委會開放的訓練數據集總量超過100萬。

經過3個多月的激烈比拼，大賽圓滿結束，但關於AI與對抗的故事並沒有結束：

在9月6日Deepfake攻防賽表演賽上，由螞蟻數科和中國科技大學網絡空間安全學院聯合設計的高逼真Deepfake圖像亮相現場，對選手AI模型進行終極考察。來自中科院的VisionRush團隊獲得圖像賽道三等獎。

這也意味着，該AI模型能高效、有效地識別利用生成式AI技術製作的造假視頻，為深受Deepfake困擾的受害者解決難題。

而早在9月2日，VisionRush團隊響應賽事組委會號召，公開了這個模型源代碼，旨在幫助那些深受Deepfake技術困擾的受害者。

某種程度上來説，本屆大賽已圓滿結束，但推動“AI向善”的初心故事，還在繼續。

以下是關於他們的真實故事：

文 | 常寧寧

編輯 | 卓然

我要怎麼證明“我”不是我？

一個看似毫無邏輯的問題，卻極有可能因為Deepfake技術的濫用成為現實。

……

我們希望通過技術手段，為每一個可能受到傷害的人提供保護。

9月2日，“全球Deepfake攻防挑戰賽”參賽團隊“VisionRush”決定在網上開源其參賽作品，援助Deepfake受害者後，團隊成員之一的中科院95後助理工程師張欣怡在微博上寫下了如上這段文字。

張欣怡所在的VisionRush參賽隊，由7名來自中科院自動化研究所的師生組成，平均年齡僅25歲。在本次比賽中，他們利用賽方提供的超150萬數據，訓練出了根據視頻軌道來識別是否為生成式AI偽造視頻的AI模型。

圖 | 中國科學院自動化研究所VisionRush參賽隊

這一模型，能有效地幫助Deepfake的受害者們證明“我不是我”這個難題。

“Deepfake”是由"deep learning"（深度學習）和"fake"（偽造）兩個單詞組合而成，是通過人工智能技術，將圖片或視頻中某人面部特徵與其他人的與其他人的圖像或視頻進行融合的技術，從而創造出以假亂真的虛假視頻或照片。

隨着生成式AI的技術發展，Deepfake的門檻越來降低，如今僅憑一張照片，便可以低成本炮製大量肉眼難辨真偽的圖片和視頻，任何人都可以“造假”，也可能成為“被造假”潛在目標。

因造假成本太低，受害者往往難以證明視頻中的“我不是我”。

例如，最近韓國捲土重來的“N號房”事件，有超過200所學校的女生被Deepfake換臉成為色情圖片女主角，在海量“有圖有真相”中，女生們陷入自證陷阱中。

但在技術人眼裏，既然這些視頻是Deepfake的，只要是fake就有破綻，肉眼看不出來的，就要用**“AI的辦法打敗AI”。**

37歲的王博畢業於北大計算機專業，現在是中科院自動化研究所副研究員。王博重點多媒體內容安全，比如説文本、音視頻等內容是否涉及違規有害內容。期間，他見證了中國AI技術的發展，也見證了2020年前後，生成式AI加持下，Deepfake普遍普及後，在網絡世界掀起的大浪。

如不法分子通過換臉名人政要、偽造音視頻，惡意曲解政策，引發輿論不安、威脅國土安全；或者詐騙分子僅憑一張網絡上的自拍，就能通過視頻換臉，隨後實施電詐。

據不完全統計，僅在2022年，我國AI詐騙案件就達到了50萬件，涉及金額超過100億元。

VisionRush的趙鵬鵬就曾見過一個報案，犯罪分子通過Deepfake換臉成校長，詐騙了一個班級羣的家長，羣內成員無一人倖免。

與此同時，由於大部分的Deepfake犯罪集中在網絡空間，受限於取證困難等客觀因素，大部分受害者維權困難，且即使能維權成功，時間週期也漫長，期間造成的名譽損失、心理傷害更是無法估量。

“我們整個大團隊，專注在安全領域20多年了。始終沒有換方向，其實情懷也就在裏面了。我們還是想為淨化網絡空間，做一些努力。 ”王博説。

但對抗Deepfake極其背後的黑產，僅靠一個7人團隊的力量並不夠，所以VisionRush也希望開源後，越來越多專業人士能參與進來，利用這個模型去做一些更有意義的事情。

就如參賽隊員張欣怡在微博中所説，“我們希望通過技術手段，為每一個可能受到傷害的人提供保護。”

對抗Deepfake又稱“偽造對抗”，雖也是AI領域，但相較於“生成式AI”實在是太冷門了——商業潛力不如生成式AI、研發還需要投入資金。 

包括這次比賽，也是VisionRush團隊為數不多的專業“對口”比賽。在得知螞蟻集團舉辦了全球範圍的安全大賽、可以和來自全球的同行交手後，團隊立即成立了報名參賽，除了“切磋練兵”的心態外，也想去驗證一下自己實力。

畢竟目前“偽造對抗”關注少，邊緣化，但並不意味着其面臨的壓力更小，甚至因為各方面因素，“偽造對抗”面臨的壓力更大。

首先在生成式AI的技術加持下，黑產的攻擊也越發猖狂。

姚偉斌就切身感受到了這種"猖獗"。姚偉斌系螞蟻數科的安全科技品牌ZOLOZ的技術負責人，ZOLOZ基於螞蟻集團超過20年的安全基礎，為金融、政務、互聯網等海外客户提供安全保障，而這些客户也恰好是黑產想要利用Deepfake攻擊的對象。

“以攻擊濃度而言，去年我們的海外客户面臨的攻擊濃度約1%，今年達到了10%”，這意味着以前100次服務中約有1次黑產攻擊，現在100次訪問中有10次攻擊，未來這個數據可能上漲到50%，甚至更高。

但在識別虛假的對抗技術卻同生成式AI技術之間存在巨大代際差。

最直觀的對比在數據模型投資上。AI模型的能力和投資成正相關，即投入的資源、數據、算力越多，AI模型越強大。

市面上一個生成式AI的模型投資可能達到千萬級，但偽造對抗一個模型可能就幾十萬預算，巨大投資差異意味着二者之間力量“懸殊”，若黑產分子以生成式AI為武器發動攻擊時，維護網絡安全的“偽造對抗”或許面臨“軍火不足”的困境。

王博説，“現在互聯網中的偽造數據爆發式增長，很難對全網數據進行審查，偽造和鑑偽的資源投入不平衡也是一大挑戰。“

某種程度上來説，做“偽造對抗”像是一場“逆行”，但這場“逆行”沒有回頭路。

畢竟AI作為未來趨勢，也是綜合國力的一環，如果沒有相應的安全能力去制衡，AI的發展可能會誤入歧途。

“所以和Deepfake的這場戰爭必須打，而且必須贏”，姚偉斌説。

AI沒有感情，或許會淪為作惡的工具，但AI終究是“術”層面的東西，還需要“道”的層面來維護。

“做科研這份工作，需要有足夠耐心和持之以恆的努力，還要能抵擋抵擋足夠多的誘惑。“王博坦言，掙錢可以體現一個人的價值，但是解決一個科學問題，解決國家一項重大需求，是更有價值更有意義的事情，這不是金錢能衡量的。”

“有人做生成，就要有人去做對抗。“他們相信，這個世界總是會有人願意共同“逆行”打贏這場戰爭的。畢竟相比於技術層面的東西，那些不變的普世價值觀，才更能推送社會長足進步。

AI行業面臨的安全挑戰刻不容緩。

過去，由於AI門檻高，使用場景相對有限，對其潛在危害的討論大多侷限於學術界。然而，隨着生成式AI技術的發展，Deepfake等應用變得日益普遍，相關的安全問題也隨之“破圈”，才引起了公眾的廣泛關注。

在這樣的背景下，“偽造對抗”領域不僅小眾、鮮為人知，整個行業也因起步較晚，極度缺乏實戰型人才。

目前大部分關注“識別虛假的對抗技術”的人，如這次外灘大會的這次全球Deepfake攻防挑戰賽選手中，大多是出於一種信念在堅持。

例如，本次參賽的曾兆陽，他是一位擁有12個大賽冠軍頭銜的天才程序員，曾在大型科技公司工作，並參與過綜藝節目《燃燒吧！天才程序員》的錄製，在算法領域頗具名氣。

目前，他是粵港澳數字經濟研究院的研究員，專注於機器視覺研究，即賦予機器“眼睛”，使其能夠通過圖像進行判斷和理解，這是AI領域的一個重要分支。

近年來，隨着人工智能相關的詐騙案件增多，曾兆陽開始關注到在AI技術的正反兩面博弈的問題，於是在發現這次比賽之後，他抽空參與了本次比賽，並交上了自己的答卷。

香港城市大學的博士後吳海威，則早在2019年讀研二時，就參與過Facebook舉辦的Deepfake檢測大賽，之後的3年時間裏，無論科研壓力多大，他多次參與相關比賽，希望通過競賽去提升自己，為網絡安全貢獻一份力氣。

在VisionRush開源之後，吳海威、陳逸鳴所在的澳門大學JTGroup戰隊也相繼開源自己的參賽模型，他們也是這次大賽圖像賽道一等獎隊伍。

但是，要想在“偽造對抗”中取得勝利，僅憑一羣人的信念是不夠的。

在AI技術發展的浪潮中，每個人的命運都與AI緊密相連。我們無法預知科技的利刃何時會傷人，也無法估量其後果。因此，我們需要在利刃尚在手中時，就採取預防措施。

正是基於“推動AI向善”的初心，螞蟻集團主辦、螞蟻數科承辦了本次外灘大會AI創新賽·全球Deepfake攻防挑戰賽。比賽的目的是喚起社會對AI安全的關注，吸引更多的投入，並培養實戰型人才，使識別虛假內容的對抗技術能夠跟上生成式AI的步伐，將AI技術納入道德的框架內。

推動AI健康發展，不是少數人的任務。

在AI廣泛應用於各個領域的情況下，社會需要更豐富、更多元化的實戰型人才梯隊。比賽中，我們可以看到選手背景的多元化。

除了來自26個國家的超過1500支隊伍同台競技外，還有許多來自字節跳動、小紅書等一流互聯網公司的AI研究者參與。

唐永威雖然不是計算機科班出身，但他在2022年參加ATEC大賽時自學了AI技術。作為一名數據分析師，他對數據有着天然的敏感度。

在建模時，他一改行業內人看到數據建模後測試修改的工作方式，而是基於對數據的分析和業務理解，建立若干不同模型，進行算法攻防測試。

通過這種“更下沉”的操作，唐永威的AI檢測模型在本次比賽中表現出色，獲得了視頻賽道的一等獎。

這也再次證明，推動AI向善，不能僅依賴於少數人的努力，而是需要凝結大眾的力量。

畢竟，善良作為一種美德，既是社會的底色，也是社會的共識，沒有人能置身事外。