AI初創公司ElevenLabs禁止了一些被指責製作拜登音頻深度偽造的賬户-Bloomberg

ElevenLabs是一家初創公司，利用人工智能軟件在兩打以上的語言中複製聲音。

攝影師：Ting Shen/Bloomberg根據知情人士的説法，製作了美國總統喬·拜登敦促人們不要在本週的新罕布什爾州初選中投票的音頻深度偽造的創作者已被ElevenLabs停職。聲音欺詐檢測公司Pindrop Security Inc.分析後發現，ElevenLabs的技術被用來製作深度偽造音頻。Pindrop Security Inc.ElevenLabs本週得知Pindrop的發現並正在進行調查，該知情人士表示。該用户的帳户一旦被追蹤到製作深度偽造，就會被暫停，該知情人士説，由於信息不是公開的，請求不透露身份。ElevenLabs是一家利用人工智能軟件在兩打以上的語言中複製聲音的初創公司，拒絕置評。本週早些時候，ElevenLabs宣佈從包括安德烈森·霍洛維茨和紅杉資本在內的投資者那裏融資8,000萬美元。首席執行官Mati Staniszewski表示，最新的融資使他的初創公司估值達到11億美元。

上週接受採訪時，Staniszewski表示，未經許可冒充聲音的音頻將被刪除。在其網站上，該公司表示，如果剪輯“以一種對聽眾明確表明他們所聽到的是一種模仿的幽默或嘲諷方式”表達幽默或嘲諷，允許對公眾人物（如政治家）進行聲音克隆。拜登的偽造電話呼籲人們在11月的美國選舉中保存選票，引起了虛假信息專家和選舉官員的警惕。這不僅説明了創建音頻深度偽造的相對容易，還暗示了惡意行為者利用這項技術讓選民遠離投票站的潛力。

新罕布什爾州總檢察長的一位發言人當時表示，這些信息似乎是“非法企圖擾亂新罕布什爾州總統初選，並壓制新罕布什爾州選民”的行為。該機構已經展開了調查。

想要在ElevenLabs上克隆聲音的用户必須使用信用卡支付該功能。目前尚不清楚ElevenLabs是否將這些信息傳遞給了新罕布什爾州當局。

彭博新聞於1月22日從總檢察長辦公室收到了錄音副本，並試圖確定使用了哪種技術來創建它。這些努力包括將其通過ElevenLabs自己的“語音分類器”工具，該工具應該能夠顯示音頻是否是使用人工智能和ElevenLabs技術創建的。根據該工具顯示，錄音有2%的可能性是合成的或使用了ElevenLabs創建的。

其他深度偽造工具證實這是一個深度偽造，但無法檢測到音頻背後的技術。Pindrop的研究人員通過去除背景噪音、靜音以及將音頻分成每250毫秒155個片段進行深度分析，Pindrop的創始人Vijay Balasubramaniyan在接受採訪時表示。然後，該公司將音頻與其收集的來自100多個常用於製作深度偽造的文本轉語音系統的數據庫中的其他樣本進行比較。

研究人員得出結論，幾乎可以肯定是使用了ElevenLabs的技術創建的，Balasubramaniyan説。

在Discord上的ElevenLabs支持頻道上，一位版主在公共論壇上表示，該公司的語音分類器除非分析原始文件，否則無法檢測到自己的音頻，這一點也得到了Balasubramaniyan的證實。他解釋説，對於拜登的電話，立即分析的唯一文件是電話錄音，因為元數據的部分被刪除，檢測波長更加困難。Siwei Lyu，一位專門研究深度偽造和數字媒體取證的布法羅大學教授，也分析了深度偽造的副本，並將其通過ElevenLabs的分類器，得出結論稱很可能是使用該公司的軟件製作的，他告訴彭博新聞。Lyu表示，ElevenLabs的分類器是他在嘗試確定音頻深度偽造來源時首先檢查的軟件之一，因為該軟件被如此廣泛地使用。

“隨着大選的臨近，我們將看到更多這樣的情況，”他説。“這絕對是每個人都應該意識到的問題。”

Pindrop與彭博新聞分享了研究人員經過擦拭和精煉的音頻版本。使用那個錄音，ElevenLabs的語音分類器得出結論，它與自己的技術有84%的匹配度。

聲音克隆技術實現了“規模和個性化的瘋狂組合”，可以欺騙人們以為他們聽到的是當地政客或高級選定官員，Balasubramaniyan描述它為“令人擔憂的事情。”

科技投資者正向開發合成聲音、視頻和圖像的人工智能初創公司投入資金，希望這將改變媒體和遊戲行業。

Staniszewski在上週的採訪中表示，他的40人公司中有五人致力於處理內容審核。“我們看到的用例中，百分之九十九都是積極的，”CEO説道。該公司還分享，其平台在過去十二個月內生成了超過100年的音頻。