印度展示了競選深度偽造視頻的崛起 - 彭博社

一個女人在印度查蒂斯加爾駕駛汽車，4月16日。

攝影師：Idrees Mohammed/AFP/Getty Images收聽Big Take播客，iHeart，Apple Podcasts，Spotify和彭博終端。

收聽 • 16分鐘36秒

Big Take: 印度選舉面臨深度偽造視頻挑戰 (播客)

16:36

Divyendra Jadoun，被稱為“印度深度偽造者”，今年非常忙碌。這位31歲的男子已經建立了一個圍繞為印度政治家制作深度偽造視頻的業務 —— 這些競選風格的視頻中，候選人似乎在向選民逐個致辭。在今天的Big Take播客中，總部位於班加羅爾的人工智能記者Saritha Rai和歐盟政策記者Jillian Deutsch與主持人David Gura一起探討了對這些競選深度偽造視頻日益增長的需求，對虛假信息的擔憂，以及在印度進行世界上最大選舉時監管這項技術所面臨的挑戰。

每個工作日收聽Big Take播客，並訂閲我們的每日新聞簡報

終端客户端：在桌面上運行{NSUB BIGTAKEPOD <GO>}以訂閲

這裏是對談話的輕微編輯轉錄：

**大衞·古拉：**在印度西北部的普什卡爾小鎮，迪文德拉·辛格·賈杜恩正在他的工作室努力工作。

這種氛圍有點類似於硅谷初創企業的早期：

賈杜恩建立了一個小工作室，在那裏他和幾個同事創作數字內容。

他已經從製作寶萊塢惡搞視頻轉向製作這樣的視頻：

**深度偽造納倫德拉·莫迪：**親愛的沃希特·賈因，親愛的馬諾傑·巴加特，親愛的阿比舍克·薩姆森，親愛的戈德·喬漢

**古拉：**看起來像是印度總理納倫德拉·莫迪。但實際上這是一個深度偽造。

自稱“印度深度偽造者”的賈杜恩正在利用人工智能技術使莫迪看起來直接在向個別選民發表講話。

在那段視頻中，你聽到他替換了四個不同的名字。他稱呼每個人為“親愛的”。

印度歷史上最大的選舉剛剛開始，賈杜恩備受青睞。

他製作這樣的視頻，以及為候選人制作人工智能聊天機器人，希望利用一種主要沒有監管的技術迅速觸達更廣泛的選民。

賈杜恩正在改變政治家在世界上最大的民主國家中競選的方式，這可能對全球產生影響，因為各國正在應對人工智能帶來的虛假信息風險。

今年，形勢非常嚴峻。全球有60多個國家將舉行國家選舉，包括美國。而這項技術並不認識邊界。

這是Jadoun的另一個視頻。即使你從未聽過他説過印地語，你可能也會認出這個聲音。

深度偽造特朗普：我不是真特朗普，Rajesh 你在幹什麼？我不是真特朗普 Deepak，你在幹什麼？Sunita，你在幹什麼？我不是真特朗普

Gura：那是唐納德·特朗普的深度偽造，來自Jadoun製作的同一公開亮點合集，其中還有莫迪的視頻。

在視頻中，“唐納德·特朗普”也在用名字稱呼不同的人，並指出他不是真正的唐納德·特朗普。

在今天的節目中，印度的一個深度偽造行動告訴我們未來一年會發生什麼，當全世界都在舉行選舉時，以及如何監管這項新興快速發展的技術所面臨的挑戰。這是彭博新聞的《大局觀點》，我是大衞·古拉。

真的。我保證。

**Gura：**Divyendra Jadoun今年非常忙碌。這位31歲的年輕人已經建立了一個以製作深度偽造為主要業務的公司。起初，他的工作主要是以娛樂為重點。

**Saritha Rai：**在COVID期間，他告訴我他開始使用很多這些技術工具，開始製作視頻，並將其他名人疊加到寶萊塢的舞蹈視頻中，或者將寶萊塢的名人疊加到好萊塢電影片段中。

**Gura：**這是彭博的Saritha Rai。她在班加羅爾的家中報道亞洲的人工智能。

**Rai：**我是説，真的很笨拙的小視頻。他給我看了一些例子。它們在技術上並不是很先進。

**Gura：**薩里薩説，Open-AI的Chat GPT的出現使賈杜恩更容易製作高質量的視頻，很快，他看到了進軍印度政治的機會，在那裏對由AI生成的視頻有很大的需求。總的來説，我們在今年的選舉中看到了兩種深度偽造。一種是來自希望得到下一代、由AI驅動的文本消息版本的競選活動的深度偽造，量身定製給每個選民。

另一種是故意誤導的視頻，其中某人的肖像被使用，而該人並不知情或同意，以影響選舉結果。賈杜恩告訴薩里薩，他對接受的工作有一些基本規則：

**Rai：**他告訴我，他不接受直接來自候選人的合同和委託。他寧願是來自數字代理機構、AI代理機構、承包商甚至政黨。但他説通常這些工作是通過那些被主流政黨承包的中間人來的。

就他的工作而言，他絕對不偏袒任何一方。他告訴我，他為幾乎所有的主要政黨工作。

**Gura：**他建立起來的運營看起來是什麼樣子的？

**Rai：**他最初是一個人的小店，但由於接到的所有工作，他已經擴張了。我第一次和他交談時，他説他有幾名工人，那是幾個月前的事了，然後他告訴我他有另外五名員工幫助他們製作這些視頻。

**Gura：**製作那些個性化視頻，就像莫迪和特朗普的那些視頻一樣，涉及向AI模型輸入一個人的音頻或視頻，以捕捉他們的聲音、面部表情和動作。

**Rai：**訓練AI模型需要幾天到一週的時間，但一旦訓練完成，他就可以非常快速地製作這些視頻，幾乎是即時的，就像在幾分鐘內，他就可以製作這些視頻。

**Gura：**Saritha説，在印度，政治家們正在利用DeepFake視頻，比如賈杜恩的視頻，進行選民接觸。

這是一種相對廉價的方式，可以吸引這個龐大國家各地的人們。直接地，以一種在大型競選集會上無法做到的方式。

在印度，這是非常有價值的，因為那裏有大約9.68億合格選民：

**Rai：**通過生成式AI可以實現的超個性化水平。你只需訓練模型説出主要信息，然後輸入成千上萬個名字。它將立即複製出相同的視頻，並與莫迪呼喚每個人的名字完美同步。

**Gura：**視頻質量非常好，Saritha説，很難辨別它們是DeepFake視頻。特別是在一個技術素養差異如此之大的國家。

**Rai：**這些是數以百萬計的人，他們第一次接觸任何技術設備，因為他們可以接觸到廉價的智能手機。

他們是那些過去幾年第一次體驗互聯網的人。因此，AI在印度可能產生的影響肯定會被放大，因為人們對AI可能被用於的欺騙更加脆弱。

我認為這確實是人工智能技術與智能手機的普及以及印度等國家廉價寬帶的結合所帶來的力量。在其他情況下，要想出去向選民傳達信息將是一項非常昂貴的任務。

**Gura：**你説他可以快速工作，而且並不是非常廉價。

**Rai：**我肯定會説，與一些政客進行實地競選相比，這簡直是小巫見大巫。例如，如果莫迪乘坐私人飛機前往國家的偏遠地區。

在這裏，莫迪可以用深度偽造的方式向所有那些選民發表一條個性化、超級個性化、個別化的信息，可能只需6000或7000美元。

**Gura：**您能確定這種技術對選舉產生的影響，以及未來可能產生的影響嗎？

**Rai：**選舉曾經是一個神奇的時刻，各種表演者、各種戲劇、各種東西都會來到您的社區，因為這是整個印度所謂的選舉tamasha，也就是選舉戲劇，幾乎是非常戲劇性的東西。

但是當我今天望向外面的時候，在我的社區幾乎看不到即將到來的選舉的任何明顯跡象。事實上，我所在的班加羅爾將在幾天內投票，但絕對看不到任何大規模的競選活動或選舉材料的公開展示。

沒有橫幅，沒有海報，沒有任何這樣的東西。而這實際上是過去的情況，所有這些東西都會貼滿街道，掛在建築物上，無處不在。今天卻一個都沒有。

我所看到的，我看到這是技術帶來的變革，很多競選活動將會對選民進行超個性化的定製。

古拉：週五，印度開始了七輪分階段投票。選舉將持續到6月1日，我們預計在那之後的三天內得知結果。

莫迪希望再次當選，賈杜恩預計他的很多工作將在投票開啓前幾天集中在競爭激烈的州選舉中。

**萊：**很多信息將通過他們的手機傳達給他們。很多內容將是由人工智能生成的。

**古拉：**休息後，我們將討論監管深度偽造技術的挑戰，不僅僅是在印度，而是全球範圍內。

**古拉：**生成式人工智能的爆炸性增長及其潛力使其成為監管的挑戰。

支持者吹捧其潛力提升生產力，在選舉中，可以接觸更多選民。但批評者指出，在信息擴散加劇和對網絡安全的擔憂日益增加的時代，它存在缺陷。

在監管方面，許多政府無法或不願在技術初期迅速行動。

在美國，人工智能立法被困在國會中。英國也在討論立法。中國對人工智能公司制定了規定，但對它們的實際運作方式缺乏透明度。

歐盟通過了一些最全面的規定**。**這些規定可能成為其他地方立法者的藍圖。去年，它通過了“人工智能法案”，規定了在歐盟運營的公司如何開發和使用人工智能的報告要求和限制。

彭博社的Jillian Deutsch在布魯塞爾報道了有關該法律的辯論。

**Jillian Deutsch：**我認為看待歐盟對待人工智能的方式最好的方法是看到他們實際上並沒有對技術本身進行監管。他們是在監管技術的使用。

他們必須向歐盟提交風險評估報告，例如，人工智能可能帶來的更嚴重的危害，比如根據個人行為為公民分配社會評分，或者在工作場所或學校使用情感識別技術，這些在歐盟是明令禁止的。

這些是確保這種令人擔憂但顯然非常有前途的技術——生成式人工智能，具有應有的正確防護措施的足夠好的規則。

**Gura：**但是，Jillian説，儘管這項法案的框架及其引人注目的推出方式，這個“人工智能法案”在範圍上仍然有限。

對於監管應該有多嚴格存在分歧，人們擔心監管會扼殺創新。

**Deutsch：**德國和法國等國家也迅速反擊，實際上表示這些規定太多了，實際上歐洲將自掘墳墓。如果我們是第一個對生成式人工智能公司施加我們認為非常嚴格要求的國家。

他們會選擇去其他地方。他們不會在這個大陸投資。我們也需要獲得人工智能的好處，而不僅僅是基於擔憂而過度監管。所以，最終發生的是，我們只有更基本的透明度要求。

**古拉：**法律中沒有明確規定歐洲選舉中AI可以或不能使用。其他國家正在研究歐洲的做法，但許多國家呼籲公司自我監管。我向記者Saritha Rai詢問了這個問題：

古拉：如今印度的AI監管格局是怎樣的？

**Rai：**在涉及AI時，印度根本沒有任何監管。當然，已經有人試圖在社交媒體上監管深度偽造視頻。這在某種程度上是一個繞過的方式。印度政府要求社交媒體平台如Facebook和Google自我監管：比如YouTube、WhatsApp、Facebook、Instagram。政府告訴這些平台，當深度偽造或由AI生成的內容出現在這些平台上，人們向他們舉報後，他們只有24小時將內容刪除。

**古拉：**Meta、Alphabet和其他科技公司的代表表示，他們正在努力解決AI的潛在問題。

Jillian説專家們斷言很難知道深度偽造視頻在決定2024年選舉結果中將扮演多大角色。

**Deutsch：**我們不想過分強調深度偽造視頻的普及程度或影響力，但顯然它引起了很多人的關注，因為這是一種非常新的東西，製作成本更低，速度更快，比以前更復雜。而且，它們不必影響一個國家的每個人，你知道，很多政府、很多選舉結果都是由非常小的百分比差異決定的。

**古拉：**暫時來説，選民需要對他們在網上看到的一切持有批判的眼光。吉利安指出，一些深度偽造視頻比其他視頻更難以辨別真偽。許多視頻仍然有着顯而易見的跡象：可能會有人手上有太多手指，或者衣物或配飾的外觀不一致。

**德意志：**音頻深度偽造甚至更難識別。我們知道，我們看不到太多社交線索來判斷它是否正確或者是否被偽造。

**古拉：**薩麗莎説，這在新罕布什爾州的總統初選前期發生過，那是在一月份：

**萊：**使用語音克隆技術的自動撥號電話，冒充拜登，要求選民投票給一個明顯他不支持的候選人。

**古拉：**越來越多的深度偽造被視為嚴重的虛假信息威脅。

**古拉：**人們擔心這項技術可能如何在美國政治中被利用或濫用。在印度對於這種使用方式或可能被使用的方式是否存在同樣的憂慮或焦慮？或者只是對這種技術的神奇性質感到着迷？

**萊：**當然，我認為全世界都擔心這些深度偽造如何被用來愚弄或欺騙選民。我們已經看到它發生在多個國家，從印度尼西亞到巴基斯坦，甚至在美國。

Gura: 但是像迪文德拉·賈杜恩這樣的深度偽造創作者看到了機會，Saritha説。他的生意蒸蒸日上。

Gura: 他是否有設計或願望將這項工作帶到其他國家，並介入其他國家的政治？

Rai: 因此，迪文德拉告訴我，他在多個國家有代理人為他工作，比如加拿大，該國將在2025年舉行選舉。印度一直以技術服務外包而聞名，但是隨着迪文德拉等人的出現，人工智能和選舉深度偽造外包可能會迎來新生機。我認為他肯定是雄心勃勃的。因此，印度一直以技術服務外包而聞名，但是隨着迪文德拉等人的出現，人工智能和選舉深度偽造外包可能會迎來新生機。這可能是一種新型的外包。

所以我認為他正在建立一個新的商業模式。

本集由製作：Alex Sugiura；高級製片人：Naomi Shavin；高級編輯：Elisabeth Ponsot；編輯：Aaron Edwards和Tom O’Sullivan；執行製片人：Nicole Beemsterboer；音效設計/工程師：Veronica Rodriguez；事實核查員：David Fox

全球最大的科技公司的拋售打擊了股市，華爾街交易員正準備迎接這個推動牛市的行業的一波業績。

股市從最高點延續下跌，S&P 500跌破了5,000點，Nasdaq 100下跌超過2%。超過一半的科技巨頭“七巨頭”將在下週公佈財報，投資者們不知道這些公司是否能達到人工智能設定的高期望。就在上週五，兩家人工智能寵兒——Nvidia Corp.和Super Micro Computer Inc.——股價至少下跌了10%。