埃隆·馬斯克的推特報價數字：亞歷克斯·韋伯 - 彭博社

埃隆·馬斯克攝影師：Al Drago/BloombergJordan Howlett

攝影師：約翰·弗朗西斯·彼得斯，彭博商業週刊埃隆·馬斯克。 Twitter公司。 一份價值430億美元的收購要約。 並且這家微博平台的2.17億用户都為之倒抽一口冷氣。

除了他對編輯按鈕的渴望和一些關於“言論自由”和Twitter“非凡潛力”的模糊評論外，我們無法確定馬斯克對這家總部位於舊金山的公司有何打算。讓我們暫且不去擔心作為所有者，他是否會成為一個負責任的管理者，而是來看看冷酷無情的財務數據。

26歲的Jordan Howlett在Instagram、TikTok和YouTube上擁有2400萬粉絲，非常謹慎地選擇與之合作的品牌。他已經與Domino’s Pizza、Google和WingStop簽署了協議，並通過創作視頻謀生，視頻內容涵蓋如何“像專業人士一樣打開罐子”或“正確吃Chipotle碗”的最佳方式。因此，當他開始收到詢問為什麼在Facebook和Instagram上為所謂的治療失明的產品做廣告時，他感到恐慌。

Howlett點擊了相關視頻中的一個鏈接，並聽着一個聲音，聽起來就像是他自己，描述了“劍橋的頂尖研究人員”發現了一個可以讓任何人擁有完美視力的七秒儀式。視頻中包含了腦部X光和中年人眯着眼睛看手機的庫存圖像，剪輯非常粗糙。但根據Howlett的説法，聲音卻非常令人信服。“當我聽到自己的聲音時，我感到恐懼，”他説。“他們理論上可以讓我説任何話。”

網絡安全專家多年來一直在警告深度偽造——人工生成或篡改的媒體，可以通過真實。雖然很多關注點集中在圖像和視頻上，但在過去一年中已經明顯，音頻深度偽造，有時被稱為聲音克隆，構成了最直接的威脅。欺詐檢測機構Pindrop的創始人Vijay Balasubramaniyan表示，他的公司已經開始看到對銀行客户的攻擊，欺詐者使用合成音頻冒充賬户持有人進行客户支持電話。

豪利特説，他對自己聲音的偽造錄音感到“恐懼”。攝影師：約翰·弗朗西斯·彼得斯，彭博商業週刊另一個主要擔憂是政治操縱，比如當2萬新罕布什爾州選民收到一通電話聲稱是來自總統喬·拜登，敦促他們不要在第二天投票給他。這沒有明顯的實際影響：拜登甚至不在選票上，但仍然通過一場自薦活動大獲全勝。儘管如此，這一事件強化了這種技術可能在今年選舉中發揮重要作用的擔憂。2月8日，美國聯邦通信委員會禁止使用人工智能的自動電話活動。

Pindrop表示，Howlett的視頻是通過將他講話的錄音（顯然是從他的YouTube或Instagram視頻中獲取）輸入由一家名為 ElevenLabs的初創公司開發的軟件來克隆他的聲音而創建的。從那時起，正如Howlett擔心的那樣，ElevenLabs的技術賦予其用户以使用他的聲音創建令人毛骨悚然的逼真音頻敍述的能力。另外兩位獨立研究人員分析了拜登的電話錄音，並確定該音頻也是使用ElevenLabs技術生成的。。

童年朋友Mati Staniszewski，一位曾在 Palantir Technologies Inc.擔任部署戰略師的前同事，以及Piotr Dąbkowski，一位前 Google機器學習工程師，兩年前創立了ElevenLabs。他們在波蘭長大，看着被拙劣配音成波蘭語的好萊塢電影，認為人工智能可以讓今天的孩子們免受類似經歷的困擾。他們認為，同樣的工具可以用來敍述在線課程或有聲書，甚至翻譯實時對話。

這個想法讓ElevenLabs成為了生成式人工智能行業中最受關注的初創公司之一。。它並不是唯一的語音克隆服務提供商，但它已經躋身行業前列。ElevenLabs已經從包括 Andreessen Horowitz、 Smash Capital和 DeepMind聯合創始人Mustafa Suleyman在內的投資者那裏籌集了資金。該公司最近一輪融資於一月宣佈，使其估值達到了11億美元。熟悉ElevenLabs內部運作的人士表示，管理層並不希望看到其產品被用於製作欺詐性的互聯網廣告或選民壓制材料。但正如成功的互聯網初創公司經常發生的情況一樣，該公司的工具傳播得比開發防範濫用的措施更快。

ElevenLabs提供了一個免費的通用語音庫，但對於可識別的克隆聲音的需求迅速增加。在2023年1月推出了一個工具，允許人們只需一個簡短的音頻剪輯就可以克隆聲音後不久，ElevenLabs在Twitter上表示，他們看到“越來越多的聲音克隆濫用案例”。據當時的新聞報道，這些濫用案例起源於網站4chan上的用户，分享了播客喬·羅根和女演員艾瑪·沃特森似乎使用種族主義和同性戀歧視言論的片段。

名人模仿給ElevenLabs帶來了法律困境。1988年，一家上訴法院裁定著名人士有權禁止未經允許使用其聲音等獨特特徵進行商業用途。（這個問題起源於貝蒂·米德勒起訴Ford Motor Co.，因為後者在她拒絕為廣告唱歌后聘請一名歌手模仿她的聲音。）

為了減少濫用，ElevenLabs開始對之前免費的語音克隆工具收取每月1美元的費用。這並沒有使製作音頻深度偽造變得成本高昂，但這意味着用户必須連接可追蹤的付款方式，如信用卡，這可能會阻止不良行為者並有助於執法。

ElevenLabs表示，他們不會“評論特定事件，但如果違反我們條款的內容被提出，我們將採取適當行動。” Staniszewski在一月接受彭博新聞採訪時表示，公司技術幾乎所有的用途都是合法的，ElevenLabs可以追蹤用户使用語音克隆創建的短語。“所有的安全措施都是至關重要的，”他説。

2023年底，該公司開始制定一項計劃，以應對那些具有各種惡意意圖的用户，根據一位熟悉該公司運營的人士透露，該人士要求匿名討論非公開信息。 ElevenLabs首席幕僚維多利亞·韋勒特別關注於在2024年英國《在線安全法案》和歐洲《數字服務法案》生效之前制定規則。她希望制定圍繞冒犯性語言的政策，併為員工制定手冊，以便他們清楚何時可以封禁客户。 ElevenLabs的使用規則禁止“欺騙性或誤導性語音克隆”和“煽動暴力或宣揚仇恨的內容”。但他們也承認公司不會“主動監控您在我們服務上的內容”。

ElevenLabs的40名員工中有五名致力於信任和安全工作。熟悉該公司工作的人在採訪中表示，創始人們熱衷於防止可能發生的選舉舞弊或濫用語言。但人工智能和信任與安全領域的專家表示，幾乎不可能阻止人們利用公開可用的生成式人工智能工具創建有問題的內容。社區經理穆罕默德·阿卜迪哈基姆·穆罕默德表示，科技公司通常旨在阻止90%的有害行為。但初創公司“無法真正阻止如此易於獲取的語音克隆技術造成的破壞”，他説。

拜登的電話自動撥號顯示了ElevenLabs技術防護措施的侷限性。該公司提供了一種稱為“語音分類器”的工具，據稱可以確定音頻剪輯是否是合成的，以及任何特定剪輯是否是使用其軟件創建的。Bloomberg Businessweek和Pindrop使用該工具檢查了拜登的其中一個剪輯，技術表示這不是深度偽造。其他公司的類似工具得出了相反的結論，而在剪輯經過清理以消除背景噪音後，ElevenLabs自己的工具最終得出結論，確認其技術確實被使用。

這一變化的判決顯示，深度偽造檢測工具在離源頭越遠時往往變得不太可靠。創作者可以添加噪音或其他扭曲來迷惑這些工具。社交媒體上事實核查項目的記錄也表明，即使檢測完美，影響也會有限。一旦有人制作了音頻剪輯，它就可能在社交網絡上廣泛傳播，誤導性內容往往會傳播到那些不願意相信那些聲稱與他們產生共鳴的材料是不正當的觀眾中。

大約有121,000人觀看了一段虛假的Howlett視頻。更多類似的內容可能“潛在地破壞未來的商機，”他説。他還擔心這會讓他的粉絲面臨欺詐風險。“我不希望我的追隨者受騙，”他説。

然後是2024年的選舉。深度偽造創作者一直在熱情地探索可能性。其中之一是YouTube上的創作者Samin Yasar，他是AI Answers的創始人，這是一個致力於利用AI音頻替換呼叫中心的服務。今年一月，Yasar發佈了一個視頻，稱他曾代表兩個政治活動使用ElevenLabs克隆聲音。

Yasar攝影師：Amy Lombard，彭博商業週刊視頻的靈感來自與Adam Wynns的對話，他是一個日光浴牀企業家，創立了一個名為Winningest Method的業務，提供生活輔導和減肥藥。Wynns問Yasar是否可能創建一個大規模的自動政治電話活動，以從選民那裏收集民意調查信息。他告訴Yasar，他認識一些可能會利用這項技術的人。

為了製作一個概念驗證，Yasar使用ElevenLabs克隆了MyPillow的首席執行官Mike Lindell的聲音，他在右翼政治中活躍，並因與投票機公司Dominion Voting Systems Inc.有關的關於2020年總統選舉的虛假言論而被起訴13億美元。Lindell否認有任何不當行為。“我堅信我們需要審查我們的投票系統並確保透明度，”這段音頻宣稱，根據ChatGPT審查的樣本。“我的努力集中在調查不正常情況上。”

Lindell攝影師：Joshua Roberts/彭博Yasar將音頻上傳到一個自動撥號服務。這個虛假的Lindell可以回答選民的問題和評論，類似於自動客户服務電話。

温斯表示，他向林德爾和斯科特·詹森（Scott Jensen）提出了這個想法，詹森是一位前明尼蘇達州共和黨州長候選人，因傳播新冠病毒的錯誤信息而受到批評。他從未收到回覆，最終在商業化這項技術之前放棄了這個想法，稱潛在的法律問題開始讓他感到緊張。但從技術上講，沒有任何阻止他的東西。 —與馬克·伯根閲讀下一篇文章： 沒有法律保護人們免受深度偽造色情內容的侵害。這些受害者進行了反擊