環球問策| 擰緊AI生成內容“安全閥” 今日起新規落地實施

*【環球網科技報道 記者 鄭湘琪】*幾隻活潑靈動的兔子在蹦牀上跳躍，相關視頻迅速在各大平台傳播，收穫上億次播放。直到有人發現，視頻中的可愛場景實為虛假——兔子是由AI生成的，這不禁引發了人們對於AI生成內容真假難辨的擔憂。

如今人工智能生成內容在展現技術魅力的同時，也帶來了前所未有的風險。從AI生成謠言、AI偽造名人帶貨到AI換臉擬聲詐騙，利用AI合成視頻並通過社交媒體廣泛傳播的欺詐行為頻發，嚴重威脅用户財產安全。AI語音公司Resemble AI 發佈的報告顯示，僅2025年第一季度，全球由深度偽造欺詐造成的財務損失就超過2億美元。

在社會對AI生成內容規範治理呼聲不斷高漲的背景下，9月1日起，國家網信辦等四部門聯合發佈的《人工智能生成合成內容標識辦法》（以下簡稱《標識辦法》）正式施行，《標識辦法》明確所有AI生成的文字、圖片、視頻等內容都要“亮明身份”。

知名經濟學者、工信部信息通信經濟專家委員會委員盤和林告訴記者，“《標識辦法》的施行恰逢其時，對AI生成內容的規範具有很好的促進作用。同時，其也為正常的AI內容合成開闢了合規通道。”

AI“幻覺”：繁榮背後的治理考題

隨着AI技術大幅降低內容生成門檻，網絡信息量激增。然而，諸多AI產品存在的“幻覺”缺陷也催生了大量虛假內容，導致網絡環境泥沙俱下。

那麼AI大模型為何會“一本正經胡説八道”？合合信息圖像算法研發總監郭豐俊解釋稱，當前主流大模型的本質上是基於海量數據訓練的概率生成模型，其輸出的是通過學習到的統計規律進行文本組合與推測，而非真正的“理解”或“推理”。同時，訓練數據質量問題、算法架構侷限性和訓練目標與人類偏好對齊不足，共同導致了AI會產生看似合理但完全錯誤的信息。

面對AI生成的虛假內容，防禦體系正在從多個維度加速構建。從頂層設計來看，江西財經大學法學院民商法系主任劉先良談到，“《標識辦法》出台之前主要有《網絡安全法》《數據安全法》《個人信息保護法》《民法典》等法律規範。此前法規並未明確AI生成的強制標識義務，導致信息溯源困難。而《標識辦法》的出台，平衡了技術創新與隱私風險，強化了內容提供者和平台的法律責任。”

與此同時，AI鑑偽技術正在構建起AI內容治理的技術防線。郭豐俊透露，當前主流AI鑑偽技術路線主要有跨模態一致性檢測、生成端標記與取證端鑑別。儘管技術路線多樣，但鑑偽仍面臨諸多挑戰，以視頻為例，視頻常經歷幀率變換、壓縮、剪輯與拼接等處理，這些操作會破壞原始一致性特徵，干擾檢測效果。加之長視頻的即時檢測對計算效率要求極高，目前線上即時推斷仍存在難度。

各大社交平台也相繼發佈相關內容規範，系統化治理網絡不實信息。在盤和林看來，“現階段社交平台在AI生成內容治理方面既有成績，也有欠缺。成績在於，平台會對AI生成內容主動進行人工審核，並通過合規辦法嚴格把關。欠缺在於，平台對於AI生成內容的標識要求還沒有形成體系，還沒有傳達到具體的發佈者，另外平台對AI生成內容的合規性審核，也存在一刀切的問題。結果就是，聲明是AI生成內容的反而受到限制，那些掩蓋生成的內容，反而很難捕捉。”這一現狀凸顯了新規實施的緊迫性與必要性。

“顯隱雙標”：為AI內容裝上“警示燈”

鑑於AI生成內容帶來的識別難題和監管挑戰，《標識辦法》明確，人工智能生成合成內容是指利用人工智能技術生成、合成的文本、圖片、音頻、視頻、虛擬場景等信息。平台在服務提供者的內容上架或上線時要進行審核，核驗生成合成內容標識，對未標識或疑似生成內容要添加風險提示，從而在傳播端阻斷虛假信息擴散。

“《標識辦法》的施行是互聯網生態治理的一環，通過合成內容標識，包括顯性和隱性標識，將AI生成內容從海量內容中區分出來，形成單獨的、個性化的監管體系，防止AI生成內容對用户和輿論造成誤導。”盤和林説。

根據《標識辦法》，人工智能生成合成內容標識包括顯式標識和隱式標識兩種形式。顯式標識是指在生成合成內容或者交互場景界面中添加的，以文字、聲音、圖形等方式呈現並可以被用户明顯感知到的標識；隱式標識是指採取技術措施在生成合成內容文件數據中添加的，不易被用户明顯感知到的標識。

郭豐俊認為，《標識辦法》創新性地引入“顯式+隱式”標識體系，為AI治理提供了一條可落地、可追溯、可持續的技術路徑。顯式標識讓用户一眼就能辨別內容是否由AI生成，隱式標識雖不易被用户明顯感知到，但能採取技術手段實現內容溯源，為事後監管提供了技術依據。這種“事前提醒—事中監控—事後溯源”的全鏈條治理模式，補齊了過去 AI 內容“生成易、識別難、追責更難”的短板。

隨着《標識辦法》的施行，平台將會如何調整其相關的運營策略？劉先良表示，“由於《標識辦法》對AI生成內容有明確標識義務設定，在此背景下平台治理邏輯會出現相應變化。如平台可能會採取全流程審核機制，即‘事前審核+事中監測+事後處置’的全流程機制。同時可能會引入AI生成內容檢測技術，技術合規成為了必需品，相應會調整用户協議。”

未來已來：多維治理構建可信AI生態

展望未來，劉先良告訴記者，AI生成內容的治理方向將來可能會融合“技術+法律+倫理”的三維治理路徑。技術方面可能出台技術標準，立法方面繼續完善相關立法，倫理方面出台行業自律約定。

不過，盤和林也強調，“可以預見，AI生成內容的真實性還會越來越高，這樣依靠標識很難鑑別真偽，所以還需要補充以AI鑑別的方式，對AI生成內容進行識別。也就是説，制度只是AI治理的一方面，技術是AI治理另一個關鍵點。”這意味着標識制度需要與技術檢測手段相結合，形成協同效應。

令人欣慰的是，隨着AI鑑偽技術的不斷成熟，其在技術深度及廣度以及生態協同上將迎來突破性進展。郭豐俊談到，在技術層面，跨模態一致性校驗將成為重點。未來AI鑑偽技術將融合文本、人像、場景、音頻等多維度信息，實現跨模態一致性校驗。例如，結合微表情、眼球運動等生理特徵與語音、圖像內容的對齊分析，實現毫秒級識別偽造痕跡。企業將更關注技術在AIGC虛假信息“主動防禦”“主動檢測”中的應用，引入AI 欺詐檢測與鑑偽技術，精準識別偽造內容，即時監測並應對 AIGC 欺詐行為，以技術防禦和人工干預相結合的方式，築牢安全防線。

值得一提的是，《標識辦法》實施後，用户權益保障也將進一步加強。劉先良提醒網友，如果遭遇侵權，可以依據現有《民法典》侵權責任編，《產品質量法》《消費者權益保護法》《電子商務法》等法律規範維權。如遭遇AI換臉可能涉嫌肖像權，隱私權被侵犯，可以第一時間拍照錄屏取證，依據《民法典》通知刪除規則向平台或者視頻發佈者發佈侵權通知，要求其採取必要措施。如果買到AI偽造名人帶貨的產品，一方面可以根據傳統產品質量法律向生產者、銷售者主張產品責任，另外一方面可以根據《電子商務法》向平台經營者主張相應責任，現在還可以根據《標識辦法》向AI內容生成者主張相應責任。

技術與法規的協同共治已然啓程。在AI生成內容與鑑偽技術的不斷迭代中，一個更加清朗、可信、安全的互聯網空間正在逐漸成型。隨着多維治理體系的不斷完善，AI的創造力也將真正成為推動社會進步的澎湃動力，而非隱匿於迷霧中的風險暗流。這場人機共生之旅，終將在理性與敬畏中，駛向繁榮與秩序並存的未來。