尤瓦爾·赫拉利：人工智能對我們的操控，可能比你想的更嚴重

尤瓦爾·赫拉利：

是的，今天我想和大家談的是人工智能和人類的未來。

我知道這次會議的重點是人類正面臨的生態危機，而人工智能無論好壞都是這場危機的一部分。人工智能可以在很多方面幫助我們解決生態危機，但也可以加劇危機。

事實上，人工智能可能會改變生態系統的意義。因為，40億年以來地球的生態系統只包含有機生命形式，而現在或不久的將來我們可能會看到第一批無機生命形式的出現，或至少是無機媒介的出現。

自二十世紀中葉計算機時代開始，人們始終對人工智能懷有恐懼，這種恐懼激發了許多經典科幻作品的誕生，如《終結者》《黑客帝國》等。

雖然這類科幻場景已經成為文化符號，但它們通常不會在學術、科學和政治辯論中被嚴肅對待。這也是可以理解的，因為科幻作品一般會作這樣的假設：人工智能構成對人類的重大威脅之前，它必須躍過兩個重要的里程碑——

首先，人工智能必須變得有知覺，發展出意識、感覺和情感，否則它為什麼想要接管世界；其次，人工智能必須適應在物理世界中給自己定位，機器人必須能夠像人一樣高效地在房屋、城市、山脈和森林中移動和運轉，如果他們無法在物理世界中移動，那怎麼可能接管這個世界？

在2023年4月之前，人工智能似乎還遠遠沒有到達這兩個里程碑，儘管人們圍繞ChatGPT和其他新的人工智能工具進行了大肆宣傳，但沒有證據表明這些工具有一絲意識、感覺或情感。至於在物理世界中活動，雖然自動駕駛技術一直算熱門話題，但汽車主宰人類道路的時間仍一直在推遲。

然而，壞消息是人工智能要威脅人類文明的生存，並不真正需要意識，也不需要在物理世界中移動的能力。在過去的幾年裏，新的人工智能工具被運用到公共領域，可能會從一個非常意想不到的方向威脅到人類文明的生存。我們甚至很難理解這些新型人工智能工具的能力，以及它們持續發展的速度。

事實上，因為人工智能能夠自我學習並自我改進，即使是這些工具的開發者也不知道他們所創造的東西的全部功能，他們自己也經常對這些工具的新能力和高品質感到驚訝。

我想在座的每個人都已經瞭解新型人工智能工具一些最基本的能力，像寫作、繪畫、作曲和編寫代碼等能力。但還有許多其他功能正在湧現，比如深度偽造人們的聲音和圖像，起草法案，找出計算機代碼、合同和法律文書中的漏洞。但也許最重要的是，新的人工智能工具有能夠與人類建立深厚而親密的關係的能力。

這些能力中的每一項都值得充分討論，我們很難理解它們的全部含義，所以把這個問題簡單化。如果把所有這些能力當作一個整體，就可以總結為一個非常非常大的東西——操縱和生成語言的能力，無論是用文字、圖像還是聲音。

當前人工智能革命最重要的方面是，人工智能正在以超過人類平均水平的能力掌握語言。通過掌握語言，人工智能正在掌握打開從銀行到寺廟等所有機構大門的萬能鑰匙。因為語言是我們用來向銀行發出指令的工具，也是我們頭腦中做出重大決定的工具。

從另一個角度來看這個問題，那就是人工智能剛剛入侵了人類文明的操作系統。歷史上每一種人類文化的操作系統都是語言，在這個文明世界的開端，我們用語言創造神話和法律，創造神和金錢，創造藝術和科學，創造友誼和國家。

例如，人權不是生物學上的客觀事實，它沒有刻在我們的DNA中，人權是我們用語言通過講故事和制定法律創造出來的東西；神也不是生物的或物理上的現實，而是我們人類用語言再通過傳説和經文創造出來的；金錢當然也不是物理存在，鈔票只不過是一張張毫無價值的紙，而目前世界上90%以上的錢甚至都不是鈔票，它只是電腦中傳輸的電子信息，能賦予金錢各種價值的只有故事。不少銀行家、財政部長和加密貨幣大佬他們並沒有創造多少真正有價值的東西，但他們都是極有能力的故事講述者。

今天，在像國際象棋這樣的遊戲中，沒有人能打敗計算機。如果同樣的事情發生在我們的政治、經濟甚至宗教領域呢？

當人們想到ChatGPT和其他新的人工智能工具時，經常會被這類例子吸引，比如孩子們使用ChatGPT寫論文。一旦孩子們用ChatGPT寫論文，學校系統將會發生什麼？太可怕了。

但這類問題忽略了大局，姑且放下學校的論文吧，比如説，我們應該談論2024年的下一屆美國總統大選，嘗試着想象新的人工智能工具可以帶來的影響，這些工具可以為某種新的邪教利用，大規模製造政治宣言、假新聞故事和這一教派自己的聖經。未來，我們可能會看到歷史上第一個由非人類智能創作聖經的宗教。

當然，歷史上的宗教都聲稱他們的聖經是由非人類智慧創作的，這在此之前是不可能的，但很快就會成為現實，並影響深遠。

現在，在一個更平淡的層面上，我們可能很快就會發現和自己在網上長時間討論墮胎、氣候變化或俄烏衝突的人——你以為是人類同胞，實際上是人工智能機器人。

問題是，我們浪費時間試圖説服人工智能機器人改變其政治觀點是毫無意義的，但我們與它交談的時間越長，它就越瞭解我們，瞭解如何磨練它的信息，以改變我們的政治觀點、經濟觀點或其他任何東西。

通過對語言的掌握，人工智能也可以與人建立親密關係，並利用親密的力量來影響我們的觀點。

正如我所説，沒有跡象表明人工智能有任何意識或自己的感情，但為了與人類建立虛假的親密關係，人工智能不需要自己的感情，它只需要能夠激發我們的感情，讓我們對它產生依戀。

2022年6月，谷歌工程師布萊克·萊莫因（Blake Lemoine）公開聲稱，他正在研究的人工智能聊天機器人LaMDA已經有了感知能力。這件事最有趣的不是萊莫因的説法，他的説法很可能是錯的，他最終也失去了工作。真正有趣的是，他願意冒着失去高薪工作的風險去保護這個人工智能聊天機器人。

如果人工智能可以影響人們去冒失去工作的風險，它還能誘使我們做什麼呢？

在每一場心靈和思想的政治鬥爭中，親密關係是最有效的武器。人工智能剛剛獲得了與數億人大規模產生親密關係的能力。

你們可能都知道，在過去的十年裏，社交媒體已經成為控制人類注意力的戰場。現在，隨着新一代人工智能的出現，戰場正從注意力轉向親密關係，這是一個非常壞的消息。

當人工智能為了與我們建立親密關係而戰鬥時，人類社會和人類心理會發生什麼變化？這些關係也可以用來説服我們購買特定的產品或投票給特定的政治人物。

即使沒有製造虛假的親密關係，新的人工智能工具將對人類的觀點和世界觀產生劇烈的影響，並且成為人類需要的所有信息的來源。

當可以讓人工智能告訴我任何想要的東西時，為什麼還要自己搜索？當可以讓人工智能告訴我有什麼新聞時，為什麼還要讀報紙？當我可以讓人工智能告訴我該買什麼的時候，廣告的意義和目的又是什麼呢？

很有可能在很短的時間內，整個新聞廣告行業將崩潰，而人工智能或控制人工智能的人和公司將變得非常非常強大。

我們可能談論的是人類歷史的終結，但這並不是歷史的終結而只是人類統治時代的終結。

當人工智能接管文化時，歷史進程會發生什麼？幾年之內，人工智能可以消化掉整個人類文化，消化掉那些我們幾千年來創造出來的所有東西，並開始產出大量新的文化創作、新的文化產物。

記住，我們人類從來沒有真正直接接觸過現實。我們總是被文化所束縛，我們總是通過文化的牢籠來體驗現實。我們的政治觀點受到記者的報道和朋友的故事的影響，我們的性取向受到電影和童話的影響，甚至我們走路和呼吸的方式也受到文化傳統的影響。

在此之前，這個文化繭房總是由其他人編織而成。以前的工具，如印刷機、收音機或電視，它們有助於傳播人類的文化思想和創造，但它們永遠無法自己創造出新的東西。印刷機不能出一本新書，這是由人來完成的。

人工智能從根本上不同於印刷工藝，不同於無線電，不同於歷史上的任何一項發明，因為它可以創造全新的想法，可以創造一種新的文化。

在最初的幾年裏，人工智能可能會在很大程度上模仿初期“哺育”它的人類原型，但隨着時間的推移，人工智能文化將大膽地走向人類從未涉足的領域。

幾千年來，我們人類基本上生活在他人的夢想和幻想中。我們崇拜神靈，我們追求美的理想，我們把自己的生命奉獻給源於某些人類詩人、先知或政治家想象的事業。很快，我們可能會發現自己生活在人工智能的夢想和幻想中。

如何處理這種潛在的危險與科幻作品的想象非常不同。此前，人們主要擔心的是智能機器帶來的人身威脅，所以在《終結者》中機器人在街上奔跑，射殺人類；《黑客帝國》則假設要想完全控制人類社會，人工智能首先需要控制人類的大腦，並將大腦直接連接到計算機網絡，但這是錯誤的。

只要掌握了人類語言，人工智能就能在一個像矩陣一樣的幻想世界中生存。真的不需要為了控制和操縱人類而在他們的大腦中植入芯片，幾千年來，先知、詩人和政治家們一直使用語言和講故事來控制、操縱人類，重塑社會，現在人工智能很可能就能做到這一點。

它不需要讓殺人機器人來射殺我們，如果真的需要，它完全可以讓人類自己來扣動扳機。

現今這種對人工智能的恐懼只困擾着最近數代人類，從20世紀中葉倒回到弗蘭肯斯坦這一形象出現的時代，差不多有200年的時間。但幾千年來，人類一直被一種更深層次的恐懼所困擾。人類一直很重視故事、圖像和語言的力量，它們可以操縱人類的思想，創造幻覺。

因此，自古以來，人類就害怕被困在幻想的世界裏。17世紀，笛卡爾害怕惡魔把他困在各種各樣的幻覺中，製造了他所看到和聽到的一切；在古希臘，柏拉圖講過一個著名的“洞穴寓言”，一羣人被鎖在一個洞穴裏，面對着一堵空白的牆，他們看到投射在牆面上的各種陰影，並把這些陰影誤認為是現實；在古印度，佛教和印度教認為，人類生活在他們稱之為“瑪雅”的地方——瑪雅是一個充滿幻想的世界。

佛陀説，我們通常認為是現實的東西，往往只是我們自己心中的虛構。

人們可能會發動全面戰爭，殺死別人，甚至願意殺死自己，因為他們相信這些虛構的東西，所以人工智能革命讓我們與紙牌惡魔、柏拉圖的洞穴還有瑪雅面對面，如果不小心，幻覺的帷幕可能會籠罩整個人類，我們將永遠無法撕開那塊帷幕，甚至無法意識到它的存在，因為我們認為這就是現實。

如果這聽起來有些牽強，那看看過去幾年的社交媒體。社交媒體讓我們對未來的事物有了一點了解，在社交媒體中，原始的人工智能工具，並不是用來創造內容的。內容創作是由人類創造故事和視頻等，而人工智能選擇哪些故事和視頻會進入我們的視線——那些最受關注的、最具病毒性傳播的內容。

雖然這些人工智能工具非常原始，但它們已經足以製造出了一層幻覺的帷幕，加劇了社會兩極分化，損害了我們的心理健康，破壞了民主的穩定。成千上萬的人把這些幻覺誤認為是現實。

美國擁有強大的信息技術，但美國公民卻無法就誰贏得了上次選舉、氣候變化是否真的發生、疫苗是否能預防疾病達成一致。新的人工智能工具比這些社交媒體算法強大得多，可能造成更大的破壞。

當然，人工智能有巨大的積極潛力。我不談論它，因為開發人工智能的人自然會談論它，我需要補充下，像我這樣的歷史學家和哲學家的工作經常是指出危險。

當然，人工智能可以在無數方面幫助我們，從尋找治療癌症的新方法到發現我們所面臨的生態危機的解決方案。

為了確保新的人工智能工具被用來做好事，而非做壞事，首先需要了解它真正的能力，需要非常仔細地監管它們。

自1945年以來，我們知道核技術可以物理破壞人類文明，也可以通過生產廉價而豐富的能源使人類受益。因此，我們重塑了整個國際秩序，以保護自己，並確保核技術主要用於正義。

我們現在必須與一種新的大規模殺傷性武器作鬥爭，這種武器可以消滅我們的精神和社會世界。核武器和人工智能最大的區別是，核武器不能製造更強大的核武器。但人工智能可以產生更強大的人工智能，所以我們需要在人工智能失去控制之前迅速採取行動。

同樣，政府必須立即禁止在確認其安全之前將任何更具革命性的人工智能工具發佈到公共領域。

我再次強調，我不是在談論停止人工智能的研究。第一步是停止向公眾發佈，你可以研究病毒而不向公眾發佈，你可以研究人工智能，但不要過快地向公眾發佈。如果不放慢人工智能競賽的速度，我們甚至沒有時間去了解正在發生的事情，更不用説有效地監管這項令人難以置信的強大技術了。

你可能會問，放慢人工智能的公共部署，難道不會導致民主落後於更無情的專制政權嗎？絕對不是，且正好相反。不受管制的人工智能部署將導致民主國家輸給獨裁政權，因為如果我們釋放混亂，威權政權比開放社會更容易遏制混亂。

民主本質上是一種公開的對話，對話依賴於語言，當人工智能擁有語言時，這意味着它可能摧毀我們進行有意義的公共對話的能力，從而摧毀民主。

如果我們坐等混亂髮生，那麼用民主的方式來管理它就太晚了。如果沒有及時監管人工智能，我們將無法再進行有意義的公開對話。

綜上所述，我們基本上是在地球上遇到了外星智能，而不是在外太空。我們對它們所知甚少，只知道可能摧毀我們的文明。

因此，應該正視這種不負責任地將它們部署到我們的社會中的舉措，並在人工智能控制我們之前對其進行監管。

我們可以提出許多管理措施，但是我的首要建議是強制人工智能披露自己是人工智能，如果我和某人交談，我不知道這是一個人還是一個人工智能，這就是民主的終結，因為這意味着有意義的公共對話的終結。

大家對剛才聽到的演講有什麼看法？我想你們中的一些人可能會有所警覺，一些人可能會對開發這些技術的公司或未能監管這些技術的政府感到憤怒。還有些人可能會生我的氣，認為我是在誇大威脅或誤導公眾。

但不管你怎麼想，我敢打賭我的話對你產生了一些情感上的影響而不僅僅是智力上的影響。我剛剛給你講了一個故事，這個故事可能會改變你對事物的看法，甚至可能導致你採取某些行動。

你剛剛聽到的演講故事是誰創造的呢？我向大家保證，儘管使用的圖像是在人工智能的幫助下創建的，但這個演講的文本是我在幾個人的幫助下自己完成的，至少你聽到的這些話是人類思想的文化產物，是幾個人類思想的產物，但你能絕對肯定嗎？

一年前，在公共領域，除了人類的思想，地球上沒有任何東西可以創造這樣一個複雜而有力的文本。但現在情況不同了，你聽到的文本可能是由非人類的智能產生的。

所以花一點時間或者更多的時間來思考這個問題吧，謝謝！