拜登深度偽造和其他音頻偽造是用ElevenLabs AI製作的-彭博社

Jordan Howlett

攝影師：約翰·弗朗西斯·彼得斯，彭博商業週刊插圖：皮特·加姆倫，彭博商業週刊26歲的喬丹·豪利特在Instagram、TikTok和YouTube上擁有2400萬粉絲，非常謹慎地選擇合作品牌。他與Domino’s Pizza、Google和WingStop簽署了協議，靠製作視頻為生，視頻內容涉及如何“像專業人士一樣打開罐子”或“正確吃Chipotle碗”的最佳方式。因此，當他開始收到詢問為何在Facebook和Instagram上為所謂的治療失明的產品做廣告時，他感到恐慌。

豪利特點擊了其中一個問題視頻的鏈接，恐懼地聽着一個聲音，聽起來就像他自己，描述了“劍橋的頂尖研究人員”發現了一個可以讓任何人擁有完美視力的七秒儀式。視頻中包含了腦部X光和中年人眯着眼看手機的庫存圖像，剪輯非常粗糙。但根據豪利特的説法，聲音聽起來非常令人信服。“當我聽到自己的聲音時，我感到恐懼，”他説。“理論上，他們可以讓我説任何話。”

多年來，網絡安全專家一直在警告深度偽造——人工生成或篡改的媒體，可以通過作為真實內容。儘管人們對圖像和視頻的擔憂很大，但在過去一年中，已經明確了聲音深度偽造，有時被稱為聲音克隆，構成了最直接的威脅。欺詐檢測機構Pindrop的創始人維傑·巴拉蘇布拉馬尼揚表示，他的公司已經開始看到對銀行客户的攻擊，其中欺詐分子使用合成音頻冒充客户支持電話中的賬户持有人。

豪利特説他對自己的聲音被偽造感到“恐懼”。攝影師：約翰·弗朗西斯·彼得斯，彭博商業週刊另一個主要的擔憂是政治操縱，比如 20,000名新罕布什爾州選民接到一通電話，聲稱是來自總統喬·拜登，敦促他們不要在第二天投票給他。這並沒有明顯的實際影響：拜登甚至不在候選名單上，但仍然以壓倒性的優勢通過書面競選獲勝。儘管如此，這一事件加強了人們對這種技術可能在今年的選舉中發揮重要作用的擔憂。2月8日，美國聯邦通信委員會 禁止使用人工智能的自動電話競選活動。

Pindrop表示，偽造豪利特的視頻是通過將他講話的錄音輸入到一家名為 ElevenLabs 的初創公司開發的軟件中來克隆他的聲音。從那時起，正如豪利特所擔心的那樣，ElevenLabs的技術賦予了其用户以在他的聲音中創建令人毛骨悚然的令人信服的音頻敍述的能力。另外兩名獨立研究人員分析了拜登的自動電話，並確定該音頻也是通過 ElevenLabs技術生成的。

童年時的朋友Mati Staniszewski，曾是Palantir Technologies Inc.的一名前部署策略師，而Piotr Dąbkowski則是前Google機器學習工程師，兩人於兩年前創立了ElevenLabs。他們在波蘭長大，看着被拙劣配音成波蘭語的好萊塢電影，因此想到人工智能可以讓今天的孩子們免受類似的經歷。他們認為，同樣的工具可以用來講述在線課程或有聲書，甚至實時翻譯對話。

這個想法讓ElevenLabs成為生成式人工智能行業中最受關注的初創公司之一。它並非唯一的語音克隆服務，但已躋身行業前列。ElevenLabs已從包括Andreessen Horowitz、Smash Capital和DeepMind聯合創始人Mustafa Suleyman在內的投資者那裏籌集了資金。該公司最近一輪融資於一月宣佈，估值達到了11億美元。熟悉ElevenLabs內部運作的人士表示，管理層並不希望看到其產品被用於製作欺詐性互聯網廣告或選舉壓制材料。但就像成功的互聯網初創公司經常發生的情況一樣，該公司的工具傳播得比開發防範濫用的措施更快。

ElevenLabs提供一個免費的通用語音庫，但對於可識別的聲音克隆的需求迅速增長。在2023年一月推出了一個工具，允許人們只需一個短音頻剪輯就能克隆一個聲音之後，ElevenLabs在Twitter上表示，他們看到“越來越多的聲音克隆濫用案例”。據當時的新聞報道，這些濫用案例源自網站4chan上的用户，分享了播客喬·羅根和女演員艾瑪·沃特森似乎使用種族主義和恐同言論的片段。

名人模仿對ElevenLabs提出了法律困境。 1988年，上訴法院裁定，著名人士有權禁止未經其許可商業使用其聲音等獨特特徵。（此問題起因於Bette Midler起訴Ford Motor Co.，因其拒絕在廣告中演唱，而該公司聘請一位歌手模仿她的聲音。）

為了減少濫用，ElevenLabs開始對其之前免費的語音克隆工具收取每月1美元的費用。這並沒有使製作音頻深度偽造成本過高，但這意味着用户必須連接可追蹤的付款方式，如信用卡，這可能會阻止不良行為者並有助於執法。

ElevenLabs表示，他們不會“就特定事件發表評論，但如果有違反我們條款的內容被提出，我們將採取適當行動。” Staniszewski在一月接受彭博新聞採訪時表示，公司技術幾乎所有的使用都是合法的，ElevenLabs可以追蹤用户使用語音克隆創建的短語。“所有的安全措施都是至關重要的，”他説。

2023年底，該公司開始制定一項計劃，以應對具有各種惡意意圖的用户，一位熟悉該公司運營的人士透露，該人要求匿名討論非公開信息。ElevenLabs首席幕僚維多利亞·韋勒特特別關注於在2024年英國《在線安全法案》和歐洲《數字服務法案》生效之前制定規則。她希望制定圍繞冒犯性語言的政策，併為員工制定手冊，以便他們清楚何時可以禁止客户。ElevenLabs的使用規則禁止“欺騙性或誤導性語音克隆”和“煽動暴力或宣揚仇恨的內容”。但他們也承認公司不會“主動監控您在我們服務上的內容。”

ElevenLabs的40名員工中有五名致力於信任和安全。在採訪中，熟悉該公司工作的人表示，創始人們熱衷於防止可能的選舉舞弊或濫用語言。但人工智能和信任與安全領域的專家表示，幾乎不可能阻止人們利用公開可用的生成式人工智能工具創建有問題的內容。曾在多家軟件公司從事內容審核工作的社區經理Mohamed Abdihakim Mohammed表示，科技公司通常的目標是阻止90%的有害行為。但初創公司“實際上無法阻止如此容易獲取的語音克隆技術造成破壞，”他説。

拜登的自動撥號電話顯示了ElevenLabs技術防護的侷限性。該公司提供了一種稱為“語音分類器”的工具，據稱可以確定音頻剪輯是否是合成的，以及任何特定剪輯是否是使用其軟件創建的。Bloomberg Businessweek和Pindrop使用了該工具來檢查拜登的其中一個剪輯，結果顯示這項技術並非深度偽造。其他公司的類似工具得出了相反的結論，而在清除背景噪音後，ElevenLabs自己的工具卻得出了其技術確實被使用的結論。

這一不斷變化的判決顯示，深度偽造檢測工具在離開源頭越遠時往往變得不太可靠。創作者可以添加噪音或其他扭曲來迷惑這些工具。社交媒體上事實核查項目的記錄也表明，即使完美的檢測也會產生有限的影響。一旦有人制作了音頻剪輯，它就可能在社交網絡上廣泛傳播，誤導性內容往往會傳播到不願相信那些聲稱與他們產生共鳴的內容是非法的觀眾中。

大約有121,000人觀看了假的豪利特視頻。他説，更多類似的視頻“可能會破壞未來的商業機會”。他還擔心這將使他的粉絲面臨欺詐風險。“我不希望我的粉絲受騙”，他説。

然後是2024年的選舉。Deepfake創作者一直在熱情地探索可能性。其中之一是YouTube上的創作者兼AI Answers的創始人Samin Yasar，該服務致力於使用AI音頻替換呼叫中心。今年1月，Yasar發佈了一段視頻，稱他使用ElevenLabs代表兩個政治競選克隆了聲音。

Yasar攝影師：Amy Lombard for Bloomberg Businessweek視頻的靈感來自與日光浴牀企業家亞當·温斯的對話，他創立了一個名為Winningest Method的業務，提供生活指導和減肥藥。温斯問Yasar是否可能創建一個大規模的自動政治電話競選活動，以從選民那裏收集民意調查信息。他告訴Yasar，他認識可能會利用這項技術的人。

為了做出概念驗證，Yasar使用ElevenLabs克隆了MyPillow的首席執行官Mike Lindell的聲音，他在右翼政治中活躍，並因涉及對2020年總統選舉的虛假指控而被投票機公司Dominion Voting Systems Inc.起訴13億美元。林德爾否認有任何不當行為。“我堅信我們需要審查我們的投票系統並確保透明度”，音頻宣稱，這是根據ChatGPT審查的樣本所述的腳本。“我的努力集中在調查不正常情況上。”

Lindell攝影師：Joshua Roberts/BloombergYasar將音頻上傳到了一個自動撥號服務。假的林德爾可以回答選民的問題和評論，就像自動客户服務電話一樣。

温斯表示，他向林德爾和斯科特·詹森（Scott Jensen）提出了這個想法，後者是一位曾經批評傳播新冠病毒虛假信息的明尼蘇達州前共和黨州長候選人。他從未收到回覆，最終在商業化這項技術之前放棄了這個想法，稱潛在的法律問題開始讓他感到緊張。不過從技術上講，他是沒有受到任何阻礙的。—與Mark Bergen閲讀下一篇文章：沒有法律保護人們免受深度偽造色情的侵害。這些受害者進行了反擊

在美國，就業機會很多，消費者充滿信心，並且支出。股市在二月份達到了紀錄，美元強勁。去年，經濟增長超過了西班牙或印度尼西亞的經濟規模，結束了2023年以來連續兩個季度的最快增長。但依靠美國推動世界增長對其他國家以及美國本身都存在風險。

中國仍然陷入了房地產低迷，而外國投資者已在股市暴跌中逃離這個國家，自2021年初達到峯值以來已經蒸發了7萬億美元。房價連續三個季度下跌，是自上世紀90年代亞洲金融危機以來最長的通縮期。在歐洲，英國在2023年下半年陷入了輕微衰退，而德國有可能在2024年再次收縮，拖累了整個歐元區。日本去年意外陷入了衰退。“美國經濟今年將繼續在全球大部分地區的經濟中表現突出，特別是在中國和歐洲，”穆迪分析公司首席經濟學家馬克·贊迪説。