AI正在取代網絡版主，但表現糟糕——彭博社

插圖：Derek Abella凱文決定從事內容審核工作，源於YouTube推薦算法的詭異轉向。2021年，他的推薦流突然出現尼日利亞武裝組織博科聖地實施暴力襲擊的視頻。這些原始而血腥的畫面，讓他想起童年時在尼日利亞目睹的暴力場景。

某天這些視頻突然消失了。*是誰處理的？*他在網絡上了解到，清理互聯網有害內容竟是一份可申請的工作。“我不希望人們被迫目睹這些血腥畫面，“使用化名接受採訪的凱文説道，出於工作性質需要保密。“我想讓世界變得更好。”

如今凱文就職於TikTok的內容審核外包公司，負責篩查撒哈拉以南非洲地區的用户視頻。據他描述，他的判斷直接決定"所有惡劣殘忍內容”——動物虐待、人身傷害、肢體殘缺、死亡事件、涉及兒童的意外事故——能否繼續留存。

這份工作需要極強的心理承受力。近期公司要求他使用AI程序輔助審核，但經過一年多的實操，凱文指出AI反而製造了新問題：這項技術無法可靠識別暴力與惡意。然而他擔憂，這並不會阻止僱主用自動化工具取代人工。

生成式AI的迅猛發展讓眾多企業押注：只要投餵足夠多的正反面案例，終有一天技術能學會明辨是非。但13位專業審核員透露，當前用於攔截兒童性虐內容、政治謠言等危險信息的AI，其取代人工的速度遠超學習效率。留守的審核員們擔心，由AI監管的互聯網將淪為危機四伏的雷區——加密的仇恨言論、政治操弄、兒童誘騙等網絡危害將持續擴散且不受制約。

“如果走用AI減少信任與安全團隊規模的路子，整體安全性反而會降低，”加拿大兒童保護中心技術總監勞埃德·理查德森表示，“必須有人類參與其中。”

7月17日，TikTok柏林辦公室外，員工參與由Ver.di工會組織的抗議活動。攝影師：約翰·麥克杜格爾/法新社包括Meta Platforms Inc.、字節跳動旗下TikTok、Roblox Corp.和X在內的公司正大力宣傳AI內容審核的優勢。這項工作會造成心理創傷且壓力巨大，可能給審核人員留下持久的情感傷痕，而僱傭足夠人力來處理所有內容要麼不現實，要麼成本高得驚人——想想看，用户每天發佈超過2000萬條YouTube視頻。自動化系統通過攔截已知違規內容（如大規模槍擊視頻）的重複上傳，一定程度上減輕了負擔。但如今，企業正依賴AI學習識別發佈內容的細微差別並做出決策。

當前AI驅動的聊天機器人能在情感對話中支持人類。但審核員們表示，這並不意味着同類技術已能保護網民免受精神創傷。彭博社採訪的13位審核員中，除一人外均表示現有工具反而增加了工作難度。“我們不能依賴AI的建議，”36歲的扎納爾克·卡德諾娃説，她在哈薩克斯坦一家為大型科技公司提供外包服務的內容審核公司工作，“80%的情況下都不準確，我們根本不會參考。”

凱文估計，對他來説，系統的失敗率高達70%。該系統仍頻繁得出錯誤結論——比如在視頻中本應指向時速表上200公里/小時的讀數時，卻標出了汽車儀表盤上的低油量指示燈；又或者會在平台上圈出一個小孩的臉，將其識別為17歲。他花時間糾正這些錯誤，併為所見的一切輸入極其具體的標籤。修正AI增加了工作量，佔用了本可用於處理更緊迫問題的時間。

“這很可怕。非常可怕，“凱文説道。他認為自己細緻的糾錯行為正在訓練這個系統，最終會取代自己，儘管他的老闆們沒有明確説過這一點。

Roblox、YouTube、TikTok、Meta和X都因內容審核實踐面臨審查。2024年，美國參議院聽證會就兒童安全問題質詢了後三家公司。如今，TikTok在有關自殺內容、誘騙等調查後，正應對數十起訴訟。美國聯邦貿易委員會指控Meta旗下Instagram為未成年人與誘騙者建立聯繫，而大量報道揭示了Facebook在審核暴力和極端內容時面臨的挑戰。

在埃隆·馬斯克收購併更名為X的推特後，監管機構和記者提出了一系列擔憂，認為該平台正在擴散未經同意的深度偽造色情內容和兒童虐待內容。Roblox同樣因未能保護兒童免受平台上捕食者的侵害而受到批評，包括在2024年《商業週刊》的一項調查中。過去三週內，針對該公司已提起七項法律訴訟，指控其危害兒童安全，其中包括路易斯安那州總檢察長莉茲·穆里爾的起訴。訴訟稱捕食者在Roblox上針對年僅8歲的兒童。“關於Roblox故意將用户置於剝削風險中的斷言完全不屬實，”該公司在回應訴訟時表示。

然而過去一年，在削減成本的壓力下，這些公司均宣佈將更多依賴AI內容審核，加速了始於疫情期間的舉措——當時企業認為敏感內容工作無法居家完成。對部分應用而言，這一轉變也部分源於保守派立法者聲稱人工審核存在偏見。

在埃隆·馬斯克的領導下，X公司大幅縮減了內容審核團隊規模，根據該公司《數字服務法案》報告，自2023年以來歐盟地區審核員已減半至1486人。Meta的內容審核承包商Telus於4月裁撤了巴塞羅那2000多個崗位。前Roblox首席財務官邁克爾·古思裏去年向投資者表示，公司通過"更多使用人工智能，逐步減少人工審核"從運營中釋放出現金流，同時保持員工人數不變。Roblox未回應關於其審核團隊規模及是否隨平台第二季度41%用户增長而擴編的置評請求。彭博社2024年報道稱，Roblox當時為8000萬日活用户配備了約3000名審核員。該公司表示審核員數量並非質量指標。

據路透社報道，TikTok近期裁減了數百個審核崗位，並計劃在轉向AI審核時進一步裁員。德國近150名TikTok審核員中有50人因即將到來的裁員威脅罷工。一位負責荷蘭視頻內容（包括陰謀論和選舉虛假信息等主題）的審核員表示，AI無法替代其工作，因為它無法理解特定地區語境（如弗拉芒語不同方言）。

2025年7月17日，身穿Ver.di工會服裝的TikTok員工返回柏林辦公室。攝影師：Omer Messinger/Getty ImagesX公司未回應置評請求。TikTok發言人表示，人工智能"能輔助保障內容審核員的福祉並提升人工審核效率”，指出該技術可根據審核員的文化認知個性化分配工作量。“我們運用AI輔助內容審核仍處於早期階段”，發言人補充稱公司在啓用新審核技術前會設定"嚴格的質量基準”。該代表表示，人工審核員將更專注於處理"語境複雜但出現頻率較低"的疑難案例。

Roblox在八月推出了一套旨在識別兒童侵害早期跡象的AI系統，已協助向美國失蹤與受虐兒童中心提交1200份潛在剝削兒童報告。該公司在七月博客中稱，海量文本與音頻內容審核是"人類無法獨立完成的工作”，需要"數十萬審核員全天候輪值"。Roblox分享了其如何訓練系統避免漏判，並僅在AI"精確率與召回率均顯著優於大規模人工審核"時才會部署該技術。

在首席執行官David Baszucki於X平台發佈的博客文章下，數十名評論者抱怨平台審核問題，許多人認為兒童平台更適合由人類進行內容監管。部分用户分享了所見的不當內容截圖，包括虛擬角色 穿着丁字褲的畫面。

人工智能在輔助人類工作方面能力顯著，例如優先標記高危內容供人工審核。AI還能將令人不適的視頻圖像轉為黑白，研究者稱這有助於保護審核員心理健康。TikTok發言人表示，隨着"審核技術接管更多可能引發不適的視頻"，其人工審核員刪除違規血腥內容的數量減少了60%。但即便是銷售AI審核工具的公司也警告勿過度依賴該技術。

“某些AI系統存在大量誤判，“兒童安全軟件公司Kidas首席執行官Ron Kerbs指出。AI可能無法分辨《使命召喚》玩家説"我要殺了你"是遊戲行為還是真實威脅。Meta在1月的博客中承認，其自動違規檢測系統"錯誤率過高"導致過度審查，未來將集中監管毒品、欺詐等高危違規。

人工智能的誤判可能導致那些在網上並無不當行為的用户遭遇糟糕體驗，例如被錯誤地封禁賬户。這增加了人工審核員的工作量，他們需要處理大量申訴請求。“AI刪除的一些內容根本不合邏輯，“29歲的邁克爾·恩科科表示，他曾在Meta的外包審核公司任職。由於仍需完成每日工單處理指標，這些申訴"額外增加了工作量”。Meta發言人表示誤刪內容僅佔極小比例。

計算機擅長處理是非判斷題，但在主觀判斷、文化語境和審美品味方面表現欠佳。正確判斷力的培養是個持續過程——公司政策因法規政策環境快速調整，社會規範不斷演變，新型侮辱性用語層出不窮。AI內容審核公司Modulate首席執行官邁克·帕帕斯指出：“人類語言演變速度遠超AI的識別理解能力，需要人工介入判斷，比如發現’紫色’已成為新的種族歧視用語。“而平台上的數千種活語言更使問題呈幾何級增長。

為使AI獲得近似人類的判斷力，系統必須通過大量具體的是非題訓練，才能更頻繁地達成人類憑直覺就能實現的判斷。凱文透露同事們常被要求反覆審核同條內容，他認為這表明公司正試圖通過人工審核來訓練AI。他記得有段視頻顯示兩人鬥毆，其中一人持武器攻擊對方。

“*受試者舉手了嗎？*你點擊了‘是’。*手是以特定速度放下的嗎？*是。*發生了肢體接觸嗎？*是。*另一名受試者對接觸有反應嗎？*是。*受試者看起來遭受了嚴重傷害嗎？*是。*有血跡或肢體殘缺嗎？*有，”凱文解釋道，“如果認為你在做這些事卻沒有在訓練AI，那就太天真了。”

同樣來自尼日利亞並要求使用化名的彼得表示，因目睹過童年暴力事件，他將內容審核視為社區服務。當他坐在工位前時，有時需要標註視頻中的每個細節，比如身體部位或家居物品。其他時候，他要上報AI未能識別的侮辱性言論。最終，公司的自動化系統開始識別出像豪薩語中侮辱非穆斯林羣體的“arne”這類詞彙。（和凱文一樣，彼得通曉六種語言。）

“我知道我的服務很快就不再被需要了，”彼得談到公司發展AI的野心時説，“如果我是企業主，我也會想削減成本。”

審核員們擔心，無論他們把AI訓練得多好，它都無法理解人類言行的微妙之處。一位要求匿名的工作人員表示，他經常審核人們穿着暴露內衣的視頻。AI能可靠地識別這一點。但他表示，如果用户站在水域附近，AI不會做出例外判斷。其他情況下，AI可能檢測到裸露的胸部，卻不會考慮允許哺乳圖像的政策例外。

比基尼照片只是這些審核員最不擔心的問題。許多人表示，他們主要關注的是兒童安全問題。性掠奪者會細緻研究平台的自動化審核策略以規避審查——他們的學習速度甚至快過人工智能。

在暗網論壇上，兒童性侵者會交流哪些詞彙會被平台自動化系統捕捉，或是在被禁言前能與兒童進行多深入的對話。審核員指出，雖然AI能準確識別圖像或視頻中的兒童，卻難以辨別人類審核員能識別的誘導性文字對話。試圖將兒童引誘至監管更寬鬆平台的 predators 會使用"一起玩吧"或"幽靈軟件見"等看似無害的短語。一位審核員透露，若平台開始監測這類詞彙，他們就會在字母間插入X符號。

專家表示，科技巨頭最安全的做法是在開發AI工具輔助的同時保留人工審核團隊。內容審核公司WebPurify高級副總裁喬納森·弗雷格指出：“需要審查的潛在有害內容數量只增不減——尤其是生成式AI導致平台充斥這類內容。”

Discord產品政策主管薩凡納·巴達利奇接受採訪時表示，在公司首次公開募股前不會削減審核相關成本。她強調：“雖然我們使用機器學習和大語言模型輔助人工審核，但保持人類參與閉環至關重要，特別是重大處罰決策。AI不會取代任何員工，而是用於支持和加速他們的工作。”

外包公司Teleperformance SE僱傭了數千名合同制內容審核員，為TikTok等平台篩查內容。公司代表表示：“儘管自動化技術取得重大進展，但在社交媒體和遊戲環境中，人類審核員對於確保安全性、準確性和共情能力仍不可或缺。“發言人指出，內容審核不僅僅是簡單地對圖片做是非判斷，更是"解讀行為、理解語境並做出AI仍難以勝任的判讀決策”。

凱文表示這是他擔任TikTok內容審核員的最後一年。“我不打算工作超過四年，“他説，“我們都很抑鬱。真正的抑鬱症。“閒暇時他會看老喜劇片、彈吉他以及祈禱。“只要我們持續用工作內容訓練AI，它確實會不斷進步，“他補充道。

但他認為這遠遠不夠。“仍會有大量極端違規內容漏網，“凱文坦言。