AI 會讓鑑黃師失業嗎？_風聞

原標題： AI 會讓鑑黃師失業嗎？

“唐馬儒們”這兩年可能正在面臨前所未有的職業危機。

這個因飾演鑑黃師而走紅的角色，激起了大家對鑑黃這個職業的好奇心。南方都市報就曾對這個羣體做過調查，得出的結論是：

不知道的以為很黃很刺激，其實挺辛苦，也挺枯燥。平均下來一分鐘要瀏覽50個以上的用户、上百張圖片，所以盯着電腦都要全神貫注。

這個最先因“掃黃打非”而被公安部門設立的崗位，這些年也成為各大互聯網公司的“剛需”崗位之一。但近年來由於 AI 技術的迅猛發展，辛苦又枯燥的鑑黃師工作正越來越多地被 AI 所替代。

近日，阿里就隆重推出了一位“AI 鑑黃師”。

據公開資料的介紹，阿里AI鑑黃師不僅能鑑別黃片黃圖，連帶有情色信息的語音內容都能識別，甚至無語義的呻吟聲也能識別出來。

在8月21日舉辦2018網絡安全生態峯會中，來自阿里巴巴安全部的的資深算法專家薛暉就為雷鋒網編輯揭密了 AI 圖片鑑黃背後的故事。

為什麼需要 AI 鑑黃？

做電商出身的阿里巴巴，使用 AI 鑑黃最先來自於自身具體業務的需求。

“電商業務場景中，我們需要對大量商家的海量圖片進行審核，那時還沒有 AI 的説法，只是用機器學習的方法來進行圖片的鑑別。”薛暉舉例，在違規售賣的商家中，有些是非惡意的，比如一些受保護的動植物、某些品類的刀具甚至藥物等，某些商家不知道這是不能賣的；還有一些就是“明知故犯”的，比如用色情圖片惡意引流、發佈一些做黑灰產的廣告、色情光盤網盤地址等。

隨着商家數量和圖片數量的飛速增長，對效率更高、成本更低的AI鑑圖就有了剛性需求。

後來，隨着阿里在電商、大文娛、社交、雲計算、O2O、視頻、直播等領域的不斷拓展，這項需求愈加強烈，凡是有UGC（用户產生內容）的業務，都會面臨色情低俗風險。**在數據量和算法技術有一定積累後，這項技術也同時開始對外進行輸出，**越來越多的企業和機構也開始使用這項服務。

雷鋒網發現，2015年阿里曾推出“綠網”平台，其最主要的功能之一就是進行色情、廣告等信息的識別和攔截。薛暉告訴編輯，綠網的這個功能，當年也是阿里雲戰略中的一部分，AI 鑑黃的技術是作為賦能生態的一部分。

也就是説，目前用到 AI 鑑黃的業務早已不僅僅是淘寶中的商家，還有千千萬萬使用阿里雲的企業們，比如，近兩年因涉黃而頗受關注的多家直播網站。

從存儲需求到鑑別需求，隨着 AI 鑑黃技術的加入，這項技術會讓阿里雲爭取到更多的用户。

鑑黃需要攻克的三個關鍵點

提到人工智能，都會關注三個問題：數據、算法、算力。

數據方面， “AI鑑黃師 ”首先需要有充足的學習資料。

薛暉透露，首先他們會寫一些自動化爬取圖片的腳本，可以直接到網頁中相應區域進行圖片爬取。目前他們總共瀏覽了近2000家網站，下載了超過6000萬張疑似色情圖片。

但這些圖片僅僅是疑似圖片，還需要進行去重，實際去重後約2300萬張圖片，在這之中，需要人工再進行標識，最終實際標註了超過1300萬張圖片，而這1300多萬張圖片就是最後模擬訓練的原始數據庫。

值得注意的是，數據標準的制定很重要，因為在不同國家、不同行業、不同時期，對色情的標準定義不一樣，比如政府網站和直播網站，就會有不一樣的標準，目前，他們可以給用户提供一定的操作空間，用户可以根據自身情況來對風險做不同層次的管控，比如他們會給用户很多選項，不同的用户可以自身需要來勾選。

第二個關鍵點是算法。

比如，10000 張圖片裏面往往有一張屬於色情圖片，但為了識別出這一張圖片，機器掃描的成本是10000次，這就需要模型更輕，速度更快。據薛暉介紹，在算法方面，他們對神經網絡進行了優化，並針對問題的特點做了專門的改進，不光有檢測模型來攔截風險，還部署了圖像檢索引擎，來防範突發的風險。

第三是在算力方面，原來千萬級別的樣本，GPU機器單機單卡的情況下訓練時間要近一個月，後來團隊更換了網絡結構並實現了多機多卡訓練，將千萬級別樣本的訓練時間控制在一週左右。換句話説，面對同樣數量的圖片，他們選擇用更多的機器對圖片進行訓練，比如原本需要一週才能訓練完的圖片，現在只需要一天，這樣就可以更快的對模型進行優化，提高迭代速度。

AI 與人工如何合作？

雖然 AI 鑑黃所發揮的能力越來越大，但目前仍然需要人工的干預。

據薛暉透露，目前 AI 鑑黃師對單張圖的判斷準確率要大於99.5%，通常來看，AI對一張圖有三個判斷：違規，可疑，正常。

對於違規和正常的圖片，他們會放過，而對標註為可疑的圖片，則需要人工審核，這部分數據佔比較低，一般小於0.5%。打個比方，有4億張圖片要審，AI識別準確率為99.5%，只有20萬張可疑的圖片，需要人工再審核一次。

另外，據雷鋒網瞭解，由於黑產針對安全模型也在不斷進行對抗，比如業內很關注的對抗學習（GAN），明明肉眼看是一張色情圖片，但黑產經過處理可以逃避檢測。針對這樣的情況，安全模型也需要不斷進行升級，目前，阿里有跟浙大合作做這方面的研究，之後他們會公佈研究結果。

在語音識別這方面，AI也仍需不斷進行完善，在當天的峯會中，來自科大訊飛北京研究院副院長伍大勇舉了這樣一個例子，“黑夜總會過去，白天總會來臨”，這句話本並沒有什麼問題，但在系統中一直過不去，原因是這句話當中有“夜總會”三個字。

也就是説，目前 AI 鑑黃並不能完全取代人工鑑黃，最佳的審核方式是智能為主，人工為輔。由於AI鑑黃師的出現，人工鑑黃師羣體會變少，未來人工在圖片鑑黃中的工作將主要集中於打標和審查可疑圖片。