大型人工智能數據集中發現超過1,000張兒童虐待圖片，研究人員發現-彭博社

一個新報告來自斯坦福互聯網觀察中心發現，用於構建流行的人工智能圖像生成器的大型公共數據集中至少包含1,008個兒童性虐待材料實例。

報告稱，LAION-5B包含來自互聯網的50多億張圖片和相關説明，可能還包括數千件涉嫌兒童性虐待材料（CSAM），該數據集中的CSAM可能會使基於該數據構建的人工智能產品（包括Stable Diffusion等圖像生成工具）生成新的、潛在逼真的兒童虐待內容。

越來越強大的人工智能工具的崛起引起了警報，部分原因是這些服務是建立在海量在線數據上的，包括LAION-5B等公共數據集，這些數據可能包含受版權保護或有害的內容。特別是，AI圖像生成器依賴包含圖像和文本描述對的數據集，以確定各種概念並根據用户的提示創建圖片。

總部位於德國的非營利組織LAION的發言人在一份聲明中表示，該組織對非法內容有“零容忍政策”，並臨時將LAION數據集從互聯網上刪除，“以確保它們在重新發布之前是安全的”。該發言人表示，在發佈數據集之前，LAION創建併發布了用於發現和刪除其中非法內容的過濾器。Christoph Schuhmann，LAION的創始人，此前告訴彭博新聞，他不知道數據集中有任何兒童裸體照片，儘管他承認自己沒有深入審查數據。他表示，如果收到有關此類內容的通知，他將立即刪除相關鏈接。

Stability AI的發言人，這家資助和推廣了穩定擴散的英國人工智能初創公司表示，該公司致力於防止人工智能的濫用，並禁止將其圖像模型用於非法活動，包括嘗試編輯或創建CSAM。“這份報告關注LAION-5B數據集作為一個整體，”發言人在一份聲明中説道。“Stability AI模型是在該數據集的一個經過篩選的子集上進行訓練的。此外，我們對這些模型進行了微調，以減輕殘留行為。”

LAION-5B或其子集已被用於構建多個版本的穩定擴散。更近期的軟件版本穩定擴散2.0是在數據上進行了大幅過濾以消除數據集中的“不安全”材料，使用户更難生成明確的圖像。但穩定擴散1.5確實生成了性暴露內容，並且仍在互聯網的一些角落中使用。發言人表示，穩定擴散1.5並非由Stability AI發佈，而是由Runway發佈的，Runway是一家AI視頻初創公司，曾幫助創建了原始版本的穩定擴散。Runway表示這是與Stability AI合作發佈的。

“當用户與我們平台上的模型進行交互時，我們已經實施了過濾器來攔截不安全的提示或不安全的輸出，”Stability AI的發言人補充道。“我們還投資於內容標記功能，以幫助識別在我們平台上生成的圖像。這些層面的緩解措施使惡意行為者更難濫用人工智能。”

LAION-5B於2022年發佈，依賴於由加利福尼亞非營利組織收集的原始HTML代碼，用於在網絡上定位圖像並將其與描述性文本關聯起來。數月來，關於該數據集包含非法圖像的傳言在討論論壇和社交媒體上流傳。在討論論壇中和社交媒體上。“據我們所知，這是第一次嘗試實際量化和驗證這些擔憂，” 斯坦福互聯網觀察組的首席技術專家戴維·蒂爾在接受彭博新聞採訪時説。

為了他們的報告，斯坦福互聯網觀察組的研究人員通過尋找這些圖像的不同類型的哈希值或數字指紋來檢測CSAM材料。然後，研究人員使用專門用於查找和刪除已知兒童虐待圖像的API以及在數據集中搜索相似圖像來驗證這些圖像。

斯坦福互聯網觀察組發現的大部分涉嫌CSAM內容都得到了加拿大兒童保護中心等第三方以及微軟公司開發的名為PhotoDNA的工具的驗證。報告稱，考慮到斯坦福互聯網觀察組的研究人員只能處理有限部分高風險內容，數據集中可能還存在其他濫用內容。

儘管數據集中存在的CSAM數量並不表明非法材料“極大地”影響了AI工具生成的圖像，蒂爾表示它可能仍然產生影響。“這些模型非常擅長能夠從少量圖像中學習概念，”他説。“而我們知道其中一些圖像可能在數據集中重複出現，可能有幾十次。”

斯坦福互聯網觀察所的工作先前發現，生成式人工智能圖像模型可以生成CSAM，但該工作假設AI系統能夠通過結合兩個“概念”（如兒童和性行為）來實現這一點。蒂爾表示，新的研究表明這些模型可能生成這種違法圖像是因為它們構建在一些基礎數據上。報告建議基於Stable Diffusion 1.5的模型“應該被廢棄，並在可能的情況下停止分發。”