人工智能的濫用，到底怎麼治？_風聞

新聞週刊丨人工智能的濫用，到底怎麼治？

2025年08月24日 05:43 澎湃新聞

聲音和形象被AI合成濫用的事兒正變得越來越多。比如本週，奧運冠軍全紅嬋、王楚欽等人的聲音被AI克隆，賣起了所謂的“土雞蛋”。不少配音演員也站出來維權，因為他們賴以生存的聲音，如今可以被AI一鍵複製，隨意地使用。

　　這不禁讓我們越來越擔心，當我們的聲音和麪容到了如此輕易被人挪用的地步，人與人之間的信任該如何維繫？AI的發展速度正越來越快，我們該如何用監管和立法守住底線？《新聞週刊》本週關注：人工智能的濫用，到底怎麼治？

AI換臉、聲音克隆等合成技術濫用

　　讓“耳聽眼見”未必為實

　　這是配音演員孫晨銘的原聲，而這段，是某自媒體賬號通過AI克隆其聲音生成的配音作品。如果沒有提示，誰能分辨出兩者之間的差異呢？也是在最近，孫晨銘還發現，一家房產公司同樣未經授權，就對他的配音作品進行了AI克隆，用在了公司的企業宣傳片中。

　　聲音被AI克隆，並被用於各種各樣的商業場景，對於孫晨銘和同行們來説，已經不是什麼新鮮事兒。有人給孫晨銘發來民法典的法條，聲音權和肖像權一樣，是公民不可侵犯的權益。於是，不少配音演員自發到那條企業宣傳片的評論區集體留言，壓力之下，這家房產公司，向孫晨銘支付了版權費用。

　　本週，本台也曝光了利用AI技術仿冒奧運冠軍全紅嬋進行帶貨的案例。這種AI偽造技術，已讓不少名人深受其害。微信平台今年1月的公告顯示，一個月內，就處置了1.2萬條利用AI仿冒名人進行違規拼接、不當營銷和惡意博取流量的內容，關閉了3281個相關賬號。

　　近日，北京互聯網法院也審結一起案件，被告擅自使用大學教師李女士的肖像和AI合成聲音進行圖書宣傳，最終法院判定，該行為侵犯了李女士的肖像權和聲音權益。

　　北京互聯網法院綜合審判三庭（少年法庭）庭長 顏君：往往這種案件的受侵害的一方都是有一定社會知名度的名人，因為他會帶來相應的社會認可度、認知度，他的聲音和他的肖像有一定的商業利用價值。更重要的是如果這個帶貨的內容，比如説帶的是偽劣產品或者是虛假宣傳的內容，有可能極大的消解這位名人他的社會認知度、認可度和信任度。

　　這段AI視頻，生成於兩年前，當時的技術，人臉畫面還顯得僵硬與不自然；而到了去年7月，南京玄武區法院審理的案件中，一名男子通過AI換臉軟件，就成功突破了某支付平台的人臉識別系統。人工智能技術的飛速發展，已經使真與假之間的界限，開始變得難以分辨。

　　配音演員 武揚：從今年開始，我確實發現一些宣傳片，他們AI的訓練可以達到以假亂真的程度，在70%到80%的平穩敍述的範疇裏面，AI都是可以處理得很好的，甚至我本人去聽也需要長時間辨別，是不是我本人錄的。

　　中國信通院人工智能所安全部高級業務主管 陳文弢：其實對於生成一個肉眼分辨不出來的這種視頻，在前幾年來説，難度是比較高的，需要一定的技術門檻，但是這幾年出現了一些這種簡捷化的工具，可以從開源社區上直接下載。它可以用消費級的筆記本單機來部署，一張照片就能夠完成即時換臉。

　　耳聽為虛，眼見為實，這句古話正面臨巨大挑戰。AI換臉、聲音克隆等合成技術的濫用，讓“耳聽眼見”都未必為實。對於配音演員孫晨銘來説，AI濫用直接影響到他的生計，賴以謀生的聲音，正成為被隨意複製的免費素材。迎面而來的AI時代，讓他看不清自己的未來將通向何方。

　　我們正在進入“全民AI時代”

　　監管能不能夠跟得上呢？

　　如今，AI合成視頻已經能做到以假亂真，不得不需要新的技術來辨別。技術成熟的速度令人驚歎，而使用門檻也大幅降低。一部手機、幾個軟件，普通人就能輕鬆生成文字、圖片、音頻、視頻等各類內容。可以説，我們正在進入一個“全民AI時代”。

　　然而，技術的普及勢必會帶來AI的濫用：從人臉和聲音被合成冒用，到各類低俗獵奇視頻的傳播，再到漫天謠言的背後，AI都成了核心“推手”。每隔一段時間，新的問題就會湧現。所以，在技術開始狂奔的局面下，我們需要關注監管，能不能夠跟得上呢？

　　精緻的五官、靈動的眼神、流暢的動作，如果沒有相關標註，你是否能分辨出，這是一個完全由AI生成的數字人？在短視頻平台，類似的視頻比比皆是，還有不少視頻，直接提供免費的AI軟件以及使用教程。

　　一部手機、兩三個 AI 軟件，幾分鐘就能製作一段時長五秒左右的美女跳舞視頻。AI生成合成技術的飛速發展，正在累積着治理風險。去年，抖音安全中心曾發佈公告，表示已發現多種不當使用AI技術生成虛擬人物的行為，其中就包括利用AI生成俊男美女虛假形象，騙取互動，將用户導流至私人聊天工具，甚至進行詐騙。根據抖音平台本週五提供的數據，他們最近一週處置的AI虛假違規內容量，相比2025年第一週，增長了62%。

　　事實上，從2023年開始，抖音等多家平台陸續要求，發佈人工智能生成內容時，需添加“內容由AI生成”的標識，並且也會進行監測和處置。但是，執行效果並不盡如人意。並且有自媒體博主表示，一些平台的監測手段可以破解，比如一些AI工具配置有鏡像文件，其一鍵生成的虛擬人像，就能規避平台的監測。

　　自媒體博主：很少。你看我作品我十四個裏面就一兩個會有。如果它給你出判定為AI作品，你可以把作品下架，然後再重新發一個。

　　中國信通院人工智能所安全部高級業務主管 陳文弢：如果説打上了這個標識，你只看可能就覺得它是由AI生成的，可能就不是特別的可信，所以這是從用户的角度，他是不願意打這個標的。從技術的這個角度來看，如果説想完全滿足監管的這個要求，把所有的生成合成的視頻都識別出來，這個其實難度還是很大的。

　　相比視頻、圖像，在專家看來，AI生成的文字謠言，監管起來其實更加困難。去年，江西南昌就破獲一起AI造謠案件，相關機構利用AI軟件，一天最多能生成4000—7000篇謠言文章，工作量驚人。更讓人擔憂的是，AI算法還能匹配用户喜好，定製化的生成謠言，使AI謠言變得越來越真假難辨。今年3月，某自媒體賬號發佈全國首例“AI醫療誤診”訴訟案開庭的文章，時間、地點、人物甚至庭審爭議焦點等細節滿滿，不過，經過記者與法院核實，所有內容都是AI編造的假信息。

　　目前，儘管一些平台設置了相應“謠言庫”，通過設置熱點關鍵詞來屏蔽謠言。但一些機構利用AI模型針對性地進行對抗訓練，使用近義詞或類似表達，就可以繞過篩查。

　　今年4月以來，中央網信辦開展了為期三個月的“清朗·整治AI技術濫用”專項行動，AI換臉擬聲、AI內容標識缺失等亂象，都是整治重點。6月，網信辦公佈專項行動第一階段成果，累計處置違規小程序、應用程序、智能體等AI產品3500餘款，清理違法違規信息96萬餘條，處置賬號3700餘個。如今，三個月的專項行動已經結束，但監管與AI濫用之間的拉鋸戰，顯然才剛剛開始。

　　聯合國高級別人工智能諮詢機構中方專家 中國政法大學數據法治研究院教授 張凌寒：我們可能更要設定一個目標，就是能夠在AI應用爆發之後，我們在這幾年要把整個AI濫用生成虛假內容實現在一個可控的範圍之內。這個可控的範圍是指説我們不能夠讓廣大老百姓因為這個去發生重大的人身財產的損失，同時也要儘量減少這種AI的內容虛假宣傳造成社會輿論的動盪。這是我們的一個紅線和底線。

　　“內容由AI生成”

　　能改變AI濫用的現狀嗎？

　　人工智能，正以前所未有的速度改變世界，它不僅是科技創新的前沿，更是國家間戰略博弈的新高地。相關產業的發展固然重要，但通過監管和立法為它劃定邊界，也同樣顯得十分緊迫。因為科技的進步本身並不足以確保人類的進步，更重要的是通過規則為它校準方向。

　　説到規則，關於AI合成內容，幾天後的9月1日，網信辦等四部門印發的《人工智能生成合成內容標識辦法》將開始施行，它明確規定服務提供者，應當對文本、音頻、圖片、視頻等生成合成內容，在適當位置添加顯式標識，也就是説今後所有AI作品必須亮明身份，標註是AI生成。它的實施，能改變當下AI出現濫用的現狀嗎？

　　在某短視頻平台上，一條生成式視頻的左下角“標註着”作者聲明：內容由AI生成，而這樣的標註義務，在即將於9月1日實施的《人工智能生成合成內容標識辦法》中，得以進一步明確，在人工智能生成合成內容的全生命週期，都要履行標識義務。

　　北京抖音信息服務有限公司副總編輯 全森：這個標識辦法要求AI技術服務提供者，對文件（元數據）內容進行隱式標識。這樣一個核心的鏈路解決了最大的卡點，這個卡點就是技術服務平台與內容傳播平台之間，數據難以互通的一個卡點。解決了這個卡點之後，我們預計很大程度上解決了這個AI難以識別的問題。

　　馬上就要實施的這個《標識辦法》，從人工智能生成合成內容的生產、傳播和使用等環節入手，對標識制度進行了系統性的細化和規範。而隨着深度合成技術日益逼真，逃避審查的手段不斷升級，人工識別的難度越來越高，相應的法規和機制，也需要不斷應對挑戰。

　　推進生成式人工智能標識制度的建立，已經成為世界各國的共識。而在專家看來，中國在該領域的立法起步相對較早，2023年施行的《互聯網信息服務深度合成管理規定》，就在世界範圍內，在相關法規中首次明確提出生成式人工智能標識義務。

　　在專家看來，即將實施的《標識辦法》，還只是一個規範性文件，在整個立法體系中位階較低。如果站在更高的維度觀察人工智能立法，安全、隱私、公平等都是必須直面的核心問題。今年，人形機器人行業進入快車道，機器人逐漸與人實現面對面，甚至是接觸式交流。在深圳的一家養老機構，養老機器人，不僅可以帶老人跳舞，扶着走路，還能陪打乒乓球、遞水等，可謂多才多藝。面對着養老新朋友，有老人既興奮又擔心，機器人真的安全嗎？

　　經過多年探索，我國已初步構建起涵蓋多層次、多維度的人工智能法律框架，但仍需要一部具有統領性的人工智能高位階立法，予以統一規範。在國務院公佈的2024年度立法工作計劃中，曾明確“預備提請全國人大常委會審議人工智能法草案”，而《全國人大常委會2025年度立法工作計劃》的相關表述則是，“人工智能健康發展等方面的立法項目，由有關方面抓緊開展調研和起草工作，視情安排審議”，顯然，一部中國的人工智能法，正在加緊推進之中。

　　對於人工智能，有人把它比作是潘多拉魔盒，在釋放出無限可能的同時，也會帶來難以預知的風險。

　　而前不久在上海舉辦的世界人工智能大會上，圖靈獎得主辛頓的演講，也在提醒所有人，要對AI保持足夠的警覺。他把人類與AI的關係，比作飼養一隻老虎，老虎長大後可能輕易超越人類，而且人類沒有擺脱和消除它的選項，人類想要生存，必須找到辦法訓練AI。而如何訓練出比人更聰明的“好AI”，是我們從來沒有遇到過的巨大的機會和挑戰。

　　正如中國那句老話，“人無遠慮，必有近憂”，在AI的問題上，我們必須要看得更遠，才能走得更好。