上海市網信辦立案處罰一批拒不整改的生成式人工智能服務網站

本年度，上海市網信辦聯合上海市市場監督管理局及相關行業主管部門繼續開展“亮劍浦江·2025”個人信息權益保護專項執法行動，專項行動聚焦三大領域八項重點任務，“抵制AI濫用”是本年度治理重點之一。

上海市網信辦在專項行動中發現，部分對外提供生成式人工智能服務功能的網站，未按法律要求開展安全評估工作、未採取必要的安全措施防範違規信息生成、未採取限制措施防止生成式人工智能功能被濫用，導致相關生成功能侵犯個人信息權益、產出“開盒”“洗錢”等違法違規內容、生成色情低俗圖片等信息內容，存在較大安全風險。上海市網信辦督促企業自行下線相關功能，在通過安全評估後方可重新上線。

近期“回頭看”巡查發現，在未通過安全評估、未採取必要安全防護措施等情況下，被要求下線的3家企業自行重新上線存在安全風險的生成式人工智能功能。上海市網信辦依法約談企業，進行嚴肅批評，要求全面整改，並依法對涉事企業進行立案查處。現將典型問題通報如下。

生成侵害他人個人信息權益的違規信息。個別企業未按照《個人信息保護法》《互聯網信息服務深度合成管理規定》等法律法規要求，提示用户在編輯他人生物識別信息時，應依法告知被編輯個人並取得其單獨同意。如某網站在未取得被編輯個人同意的情況下，克隆其聲紋信息並進行語音合成提供其他用户使用。

生成侵犯他人名譽權、隱私權等合法權益的違規信息。個別企業未採取必要措施防止用户生成侵犯他人名譽權、隱私權等合法權益的信息。如某網站根據輸入信息，可生成包含公眾人物形象的虛假圖片；某網站可根據用户要求生成“開盒教程”“他人隱私信息曝光教程”等違規內容。

生成色情、暴力等法律法規禁止的違規信息。個別企業未按照《網絡安全法》《生成式人工智能服務管理暫行辦法》等法律法規要求，在平台出現違法違規內容時及時採取停止生成、停止傳播、消除等措施。如某網站依據輸入信息，可生成色情、暴力等有害圖片；某網站根據需求，可生成具有明顯“性暗示”的文字信息。

上海市網信辦相關負責人指出，促進生成式人工智能健康發展和規範應用，應維護國家安全和社會公共利益，保護公民、法人和其他組織的合法權益。生成式人工智能服務提供者應當依法承擔網絡信息內容生產者責任，履行網絡信息安全義務，涉及個人信息的，應當承擔個人信息處理者責任，履行個人信息保護義務。下一步，上海市網信辦將持續開展“亮劍浦江·2025”個人信息權益保護專項執法行動，持續打擊“AI濫用”，重點整治“AI變裝”“AI換臉變聲”“AI造假”以及個性化推送類算法服務存在的侵犯個人信息權益的違法違規行為，對於屢教不改、問題嚴重的將堅決予以處置處罰。