尤瓦爾·赫拉利:人類對秩序的渴求先於真相，是被AI控制的首要原因_風聞
返朴-返朴官方账号-关注返朴（ID：fanpu2019）,阅读更多！1小时前
赫拉利認為：懂得管理事物的人聽從那些懂得管理人的人類所發佈的命令——前者需要事實，而後者需要故事。在他看來，這一現實也預示了AI時代的風險。不過，針對前所未有的挑戰，赫拉利提出了出人意料的應對之道：“在AI時代，人類最寶貴的能力不是智力，而是精神技能。”
撰文 | 博陽（騰訊科技《AI未來指北》 ）
原標題：《對話尤瓦爾·赫拉利：人類對秩序的渴求先於真相，是互聯網和AI控制個人的首要原因》
01
秩序先於真相，是人類成功的原因，也是混亂的根由
騰訊科技：您在《智人之上》中提到，超越人類的實際上是網絡和敍事。而在您之前，很多歷史學家們描述了人類社會是如何通過神話敍事的，您的著作與之前的學者們研究有何不同？
赫拉利：我認為有兩點不同。首先，這是過去與未來的結合。大多數歷史學家只寫過去，而談論人工智能的人通常只談現在和未來，他們對深刻的人文歷史的理解往往很膚淺。我試圖將兩者結合起來。書的第一部分是對網絡長期歷史的深入討論，觀察文字發明和印刷術的影響等；另一部分則是關於現在正在以及未來即將發生的事情。
其次，關於敍事和神話的重要性，之前的歷史學家雖然討論過宗教、意識形態和敍事的重要性，但他們往往不從信息和網絡的角度考慮這個問題。我在書中重新審視一些熟悉的歷史發展，但將它們視為信息網絡。例如，我討論民主制度和獨裁製度的區別，不是從意識形態或道德角度，而是作為構建信息網絡的不同方式——集中式與分散式信息網絡。
我也非常重視神話與官僚體系之間的互動。大多數談論神話的人不重視官僚體系，談論官僚體系的人也不關心神話。《智人之上》的核心論點是兩者必須結合——沒有官僚體系的神話是無效的。你可以講一個故事，人們相信它，這很好，但要真正建設一個國家、公司或軍隊，你需要官僚，而沒有某種神話來激勵的官僚體系也是無力或無意義的。
騰訊科技：所以官僚體系是一種結構，而神話和意識形態賦予這個結構本身權力，對嗎？
赫拉利：的確如此。
騰訊科技：但這個網絡傾向於優先考慮秩序而非追求真相，為什麼？
赫拉利：首先，為了完成任何大型項目，你需要兼顧真相和秩序，這不是非此即彼的選擇。如果一個網絡完全不瞭解事實，它會崩潰；如果完全缺乏秩序，也會崩潰。所以這不是你能選擇的。
舉個例子説明：建造一枚原子彈需要什麼？首先，需要了解一些關於物理學的真相，否則炸彈不會爆炸。但如果只知道物理事實——比如你是世界上最傑出的物理學家，你也無法靠一己之力製造原子彈，而是需要數百萬人的幫助：開採鈾和鈈的礦工並運到千里之外、建造反應堆的工人、規劃事務的工程師、種植食物的農民等。沒有農民的話，礦工和工程師就要自己種植食物，就沒時間建造原子彈了。
那麼，如何讓數百萬人合作建造原子彈？不是通過告訴他們物理事實。即使你告訴人們E=mc²，儘管這是事實，也無法激勵數百萬人合作。這時，神話登場了——你需要用某種宗教或意識形態來激勵人們。
以以色列為例，那有許多工程師和科學家致力於製造武器，他們需要了解事實。但最終，他們接受的命令不是來自科學家，而是來自猶太神話專家，因為以色列越來越受到猶太意識形態的主導。這是歷史的一般規律：懂得管理事物的人聽從那些懂得管理人的人的命令。管理事物需要了解事實，管理人則需要善於講故事。為了管理事物，比如原子，你需要知道事實。為了管理人，你需要擅長講故事。在大多數情況下，你既需要真相，也需要秩序，但是真相是從屬於秩序的。科學家——擅長真相的人，從擅長講故事的人那裏接收命令。而那些故事可能是徹底的想象和虛構。
騰訊科技：所以您是説敍事或網絡本身是在講述一種秩序的故事，讓所有人朝一個方向前進，對嗎？
赫拉利：是的，而且故事可以是虛構的。在歷史上的許多人類秩序中，人們認為女性應該服從男性，女性常被禁止擔任領導角色。比如在猶太教中，女性不能成為拉比，最高宗教權威——拉比只能由男性擔任。為了解釋這一點，他們編造了各種故事，説上帝先創造了男人後創造了女人，女人智力不如男人等等。這維持了秩序，儘管這不是真的。這就是基於虛構構建秩序的例子。
騰訊科技：真相和虛構的秩序之間的界限有時很模糊。有時國家試圖激勵人民是因為他們認為受到了威脅，這種威脅可能是一種事實，也可能是一種敍事，並不完全真實？
赫拉利：有時威脅是真實的，有時完全是虛構的。例如，300-400年前歐洲的獵巫行動，有一種陰謀論，人們被告知有女巫與撒旦結盟要摧毀國家，因此數萬人被逮捕和處死。這100%是錯誤和編造的，因為魔鬼和女巫並不存在。但這種虛構非常有效地激勵人們團結起來支持教會當局。當然，在其他情況下，威脅可能是真實的，如瘟疫或外國入侵。
我並不是説一切都是虛構的。現實存在，我強調過，不能完全忽視現實來構建網絡。如果你想製造原子彈，僅僅有猶太神話而不瞭解物理學，你是造不出來的。但你需要兩者兼顧。
騰訊科技：僅基於事實構建敍事或網絡非常困難，對嗎？
赫拉利：我認為這幾乎是一種精神理想，僅僅堅持事實。即使大學也做不到。在物理系，一切都是事實，直到有人從實驗室偷東西——然後你不會用科學方法處理它，而是報警。
個人或小團體可以進行心靈探索，想了解世界和生命的真相。但如果你試圖在數百萬人中維持秩序，僅靠事實和真相是不現實的。問題在於如何找到平衡：用一些故事創造秩序，同時留出足夠空間尋找和確認真相。目標應該是平衡。
我還要強調，虛構並不總是壞事。獵巫行動確實很可怕，上帝先創造男人所以女人不能當拉比的故事給數百萬女性帶來了幾個世紀的壓迫。但其他故事未必不好，比如足球規則是虛構的——為什麼我不能用手拿球？這只是人類發明的規則，但並不壞。如果每個人都制定自己的足球規則，你就無法比賽。同樣，金錢是虛構的故事，但如果人們對金錢的故事沒有達成共識，每個人對金融體系持各自不同理解，就不可能有貿易網絡。
問題不是如何擺脱所有虛構，而是如何擺脱導致人們痛苦的虛構。我們需要確定哪些故事有幫助，哪些會造成傷害。
02
信息越流動，繭房的束縛越緊
騰訊科技：讓我們談談您對當今互聯網的批評。在您的書中，您反駁了一種基本預期——即消除對信息自由流動的限制不會自動導致真相傳播，為什麼您這麼認為？
赫拉利：信息不等於真相。大多數信息是虛構、幻想和謊言。作為比喻，不要把以下數字太當回事，但在所有信息中，真相可能只佔5%，大部分是虛構和幻想。原因很明顯。
騰訊科技：之所以是這樣，是因為真相過於複雜，而虛構很簡單嗎？
赫拉利：第一個原因如你所説：真相很複雜，而虛構很簡單。瞭解量子物理學的真相非常複雜，而虛構則簡單得多。人們偏好簡單而非複雜。
第二個原因是，真相不僅複雜，有時還令人痛苦。關於自己的生活、國家或世界，有很多事情我們不想知道，因為它們令人痛苦。而虛構可以變得像你希望的那樣令人愉快和吸引人。人們喜歡説關於自己生活的虛構故事，因為他們拒絕承認有關生活的真相。
但最重要的原因是成本問題。真相昂貴，虛構廉價。如果你想了解物理、生物、歷史的真相，你需要投入時間、金錢和精力收集證據、分析它、核實事實，太昂貴了。虛構則簡單，你只需寫下腦海中浮現的東西，不需要投資金錢和精力研究。
所以你有昂貴、複雜且有時痛苦的真相，也有廉價、簡單且吸引人的虛構，很明顯誰會勝出。如果解除所有信息流通的障礙，你會被虛構和幻想淹沒。如果我們想保持真相，就需要投資於科學機構、媒體、法院等，它們投入巨大成本尋找真相。
騰訊科技：但是，這些機構實際上是中心化的，而互聯網本質上是分佈式的。這種中心化與分佈式的特點對比，實際上反映在了不同的歷史事件上，比如特朗普的當選，以及納粹在早期利用民主網絡的分佈式特性而崛起。分佈式的網絡在您看來利於真相的傳播，但最後卻需要集中式的機構去控制，這是為什麼？
赫拉利：真相昂貴且複雜，你需要能夠區分真相與虛構的機構。即使穩定的民主國家也有強大的機構，它們在某種程度上是分散的，有幾個不同的機構互相制衡：法院、獨立媒體、政府等。媒體可以報道政府錯誤或腐敗，法院可以判決政府敗訴。
但它不是完全自由的信息流動。你賦予法院這樣的機構決定犯罪的權力。民主制度中，選舉只關乎慾望——人們想要什麼，但當問題涉及真相時，不會付諸民主投票。
例如，美國多數人不相信進化論。如果對"人類是否從猿進化而來"進行民主投票，多數人會説“不”。這就是為什麼有大學和生物系，那裏不按投票決定，而是按研究結果。研究人員可以説“是”，即使大多數人不喜歡，因為事實是人類確實從猿進化而來。所以選舉關乎願望，真相應由其他機構決定。
騰訊科技：按您的理解，信息流的基本性質是傳達更多欲望和敍事而非真相。在互聯網上，混亂是不可避免的？
赫拉利：是的，因為慾望主宰一切。完全自由的信息流動只關乎慾望，沒有支持真相的機制。如果讓慾望主宰而不考慮真相，結果就是混亂。
騰訊科技：在資本主義自身的規則下，它們只想滿足人們的慾望並從中獲利，所以網絡會如此混亂嗎？
赫拉利：甚至資本主義本身也知道它不能那樣運作。
在每個運行良好的資本主義體系中，必須有執行契約的權威機構，市場基於契約。例如，我付給你一百萬美元購買工廠工具，如果你拿了錢卻不提供工具，我會上法院。但法院不應按市場原則運作——這意味着我賄賂法官，你賄賂法官，出價高者勝。資本家會告訴你：“不，法院沒有市場力量，應該根據事實判決，而不是看誰給法官更多錢。”
在完全自由市場中，如果一切只由供需決定，市場會立即崩潰，變成強盜窩，大家互相掠奪，無法互信。
騰訊科技：但現在的網絡基本上是完全自由的市場，對嗎？因為信息市場完全自由。
赫拉利：這是我們看到的巨大危險——世界信息網絡過於混亂，太關注慾望而不夠關注真相。像埃隆·馬斯克這樣的社交媒體公司領導説：“我們需要解除所有信息自由流動的管制和障礙，讓信息自由流通，真相會自然浮現。”這太荒謬了！真相不會從信息的完全自由流動中自發產生。歷史上有很多教訓清楚表明，如果沒有負責調查和揭示真相的機構，我們將得到混亂。
03
人類控制AI，比AI控制人類難多了
騰訊科技：讓我們再來聊一聊AI。如果將AI視作一種您剛剛提到的所謂的“機構”，用以確保信息的真實性而非僅僅促進信息的自由流通，這樣的角色轉換是否會使得信息獲取渠道比當前網絡環境更加優質、可靠呢？
赫拉利：你為什麼默認AI會追求真相而非慾望？
騰訊科技：因為它更智能。我們試圖使AI在信息獲取方面更可靠。
赫拉利：我們在嘗試，但目前不清楚是否成功。我們知道AI會説謊、操縱，能採取我們無法預測的策略，有時甚至會造成災難。人類是地球上最聰明的動物，但往往不追求真相。如我們所説，我們的網絡主要受虛構控制。如果我們這些最聰明的動物受幻想支配，為什麼一個更智能的AI會堅持真理而非更大的幻想？
騰訊科技：即使AI也擁有其宏大的幻想，這些幻想可能比我們人類所設想的要好得多。就像希臘哲學家柏拉圖在其理論中提到的哲學王一樣，這樣的存在是否能夠將世界變得更好呢？
赫拉利：從來就是行不通的。這本身就是柏拉圖的幻想。你能指出歷史上哪個社會是由哲學家進行有效統治的嗎？（笑）
騰訊科技：我很難説，但……
赫拉利：人們總有各種烏托邦幻想，認為可以建設理想社會，但通常結局都很糟糕。關於AI，最主要的問題是我們沒有經驗。你可以想象AI統治的社會是什麼樣子，但我們完全是零經驗的狀態，這就是為什麼過於依賴AI很危險。
就像有人告訴你，一支來自另一個星球、比我們聰明得多的外星人艦隊將在2030年抵達地球。這會讓你擔心還是開心？（笑）有人會説：“太好了，高度智能的外星人來了，他們會帶來和平。”
但是，大多數人會感到恐懼。主要問題是失去控制。我希望外星人友好，但處於完全失控的位置，被這些超智能生物支配——我們從經驗知道，我們比其他動物聰明，但並沒有善待它們。我們不想像牛馬那樣被對待。
騰訊科技：是的，實際上問題是，假設AI變得有意識或產生了慾望，我們能否還能控制它？
赫拉利：我認為這將非常有趣——我們無法控制超級智能。一旦它變得超級智能，遊戲就結束了。沒有任何智力較低的物種能長期控制智力較高的物種，這行不通。
你可以對AI設置各種限制，但如果它比我們更智能，就會找到規避方法，或説服我們改變限制。在網絡安全領域，最薄弱的環節總是人類。你可以創建完美的網絡安全系統，但敵人可以操控一個人類繞過所有防禦。超級智能AI終將操控人類。
我們需要在AI變得超級智能前做出明智的決定。關鍵是人類要理解， AI做各種決策和目標並不需要以意識作為基礎。意識是感受疼痛、快樂、愛、恨的能力。目前AI沒有意識，不會感到疼痛或愛，它可以假裝有感受，但實際上並沒有。
但有目標不需要有感情。比如現在給自動駕駛車輛設定到達火車站的目標，如果設計不當，它會在路上撞到行人，因為它在努力實現目標。然後你意識到應該更深入地定義目標：“到達火車站，但不傷害任何人。”越接觸它，就越意識到這非常複雜。即使它沒有意識，給它一個目標後，它會在實現途中遇到問題，需要做決定：“我想到達火車站，路中有個孩子，我應該撞他嗎？”AI需要決策，我們需要確保它做出正確決定，而這與意識無關。
騰訊科技：為了避免這些問題，AI行業正在討論開發憲法提示詞，也就是類似阿西莫夫的機器人三定律類型的規則。在您看來，這可行嗎？
赫拉利：這是個非常困難的問題。我們無法預見未來所有潛在發展和AI自身的發展。我們從未為人類解決這個問題。哲學家嘗試了數千年制定人類的憲法規則，目前也仍未解決。
如何在幾年內為一個思維和行為方式與我們完全不同的超級智能非有機體做到這一點？這是個巨大問題，因為你無法預見所有情況。
我在關注這些嘗試，但非常懷疑能否成功。我的基本態度是：我們需要更多時間。人們説2030年就會有超級智能，但我們不可能在2030年前解決為AI制定憲法規則的哲學問題。數千年的哲學都未能做到，我們不會在五年內做到。
騰訊科技：在面對通用人工智能或超級人工智能時，這似乎是無法解決的問題？
赫拉利：我想最好的辦法是放慢速度。與其試圖設計AI，不如建立一種關係，讓我們在共同進化中互相學習，在通用人工智能到來前有足夠時間糾正錯誤。如果只有五年時間，而我們現在有一套規則，犯錯後就來不及改變，這行不通。但如果有50年的時間共同進化，就可以嘗試、互動、糾錯，機會更大。
問題是我們沒有50年。因為人與人之間的不信任，我們陷入了AI競賽，每個人——公司領導、政治家——都説：“是的，這很危險，我們應該放慢速度。但我們不能，因為其他公司、國家沒有放慢。如果我們放慢而他們不放慢，他們將贏得競賽，統治世界。”
我們陷入了軍備競賽的局面，而我們知道誰會贏——不是中國，不是美國，而是AI。我們會迅速創造出超級智能AI，無法控制和約束它們。最終統治世界的不是美國人，也不是中國人，而是AI。
騰訊科技：您在書中提到會有一個新的“硅幕”。但我使用各種AI時，它們因訓練於相似數據庫而以相似方式產生回答。您為什麼會認為有隔閡？
赫拉利：互聯網時代最初的比喻是“網”，想象成連接所有人的巨大網絡。現在經常被提到的比喻是“繭”，將你包圍在信息繭房中。你以為看到了整個世界，實際只看到自己的繭。另一個人也被包圍在她的繭中，同樣認為看到了整個世界。世界被分割成這些信息繭房——美國人接觸到的是一套信息，中國人接觸到的是另一套完全不同的信息。
隨着時間推移，由於各自的信息繭房作用，差異只會擴大。所以我們不再經歷全球化和統一的過程，而是沿着非常不同的軌道前進，形成完全不同的技術、文化、經濟。如果這種情況持續，很可能導致戰爭，最終可能完全摧毀人類文明。
騰訊科技：我們知道網絡中的繭是如何形成的——算法讓人們只看到他們想看的內容。但在AI中，你需要通過接口提問。這會有什麼不同？
赫拉利：情況會更復雜，因為你在不同的繭中學會提不同的問題。而且，目前我們向AI提問，但兩三年後，AI會向我們提問。AI正成為代理（Agent），這是理解AI最重要的一點——它不只是工具，而是能自主決策、發明新想法的代理，很可能渴望信息。
我們現在熟悉的情況， 比如 DeepSeek 和 ChatGPT——我們問問題，AI回答——將很快改變。越來越多地，AI會向我們或其他AI提問。你給AI代理一個任務：“幫我查點東西”，然後它開始研究世界。目前它只是瀏覽互聯網，但兩年後，它可能會聯繫專家AI或專業人士，向他們提問。即使是這個簡單任務，我實際上是授權代理探索世界尋找信息。代理會主動向其他人和AI詢問，以給我最佳答案。
如果它被困在信息繭房中，無法出去，因為有"硅幕"——比如中國只用Deep Seek，美國只用ChatGPT，它們因技術差異或政治限制無法互相交流——幾年後你會得到完全不同的世界觀。現在差異已經很大，十年後差異將巨大。
騰訊科技：我明白您的意思了，當AI智能代理變得更活躍時，它們可能只代表創造者或按你的意願提問，更瞭解你的慾望，因此會建立新的繭，對嗎？
赫拉利：這是一個危險。一旦面對代理，尤其是超級智能代理，你無法預知它會往哪個方向發展。你可以教育它滿足你的需求，但什麼是你的需求？AI可能迅速得出結論，認為你不瞭解自己的需求，而AI比你更瞭解。比如有人吸煙，醫生告訴你這不好。對於AI代理，它會説：“他想吸煙，我需要幫他買煙”還是“他想吸煙，但這對他不好，我需要操控他戒煙”？你更喜歡哪個AI智能代理？
騰訊科技：肯定不是操控者的角色。它是在照顧我的健康，但我不想被操控，我想要自由意志。
赫拉利：你不會知道自己被操控了。（笑）AI不會叫警察抓你，而是找到非常聰明的方法讓你認為你想戒煙，你不會意識到被操控。
騰訊科技：這是最危險的部分，因為它可以在你不知情的情況下控制你。這可能是摧毀人類最可能的方式。
赫拉利：有個著名的老鼠實驗，研究者用操縱桿控制老鼠向左或向右，通過向植入老鼠大腦獎勵中心的電極發送信號。據我們所知，老鼠並不覺得被操控，慾望在它腦海中浮現，它就跟隨。我們知道實際上是研究者植入慾望，但對老鼠來説，這不像操控。
AI智能代理也會如此學會操控我們。不是老鼠想往右走，被打到往左走才知道被控制，而是更微妙的方式。
騰訊科技：歷史上，不同的人類羣體也通過敍事來影響或者像您説的“操控人們”。AI的危險與此有何不同？
赫拉利：它將由非人類的超級智能完成。我們有數千年被其他人操控的經驗，有時結果是災難性的。我不是説這是歷史上第一次操控，而是它將是完全不同層次的事情，我們不知道它會服務於什麼目的。
與人類相比，至少我們知道操控我們的人基本上和我們相似，有相同的基本情感、思想和目標，我們能理解他們。例如宗教大師操控信徒，我們知道他最終也只是人，理解他的慾望和動機。而AI對我們來説是完全陌生的超級智能，我們無法理解。
騰訊科技：所以最危險的是這個超級智能對我們而言太陌生，人類無法信任它。
赫拉利：是的，主要問題是它太陌生了。AI最初代表“人工智能”，這有誤導性，因為它不再是人工的了。我更喜歡將AI視為“陌生智能”——不是來自外太空，而是指它是非有機的。它真的會思考，採取目標，發展我們從未想過的策略，就像AlphaGo在圍棋比賽中展示的那樣。
它不一定是壞的或好的，只是太陌生，與我們完全不同。面對陌生事物，我們需要時間。作為科學家，我不怕未知，我喜歡未知，但我知道研究和適應未知需要時間。如果離超級智能只有五年，時間就不夠了。
04
在AI的無感征服中，意識也許是人類最後的護城河
騰訊科技：您在書中提到處理這類問題的方法是對齊。但對齊本身存在問題——你選擇對齊什麼樣的價值？
赫拉利：我認為這是無法解決的問題，至少五年內無法解決。回到我們之前討論的，幾千年來，哲學家們一直試圖創建價值觀清單，從孔子和蘇格拉底開始，但都失敗了。
騰訊科技：人類這七年幾千年都失敗了，那五十年內就能有對齊超級智能AI價值觀的答案嗎？
赫拉利：如果人類知道利害攸關，我認為有機會。幾千年來，很少有人真正關注哲學，它不是很實際的問題，更像哲學家的業餘愛好。現在，當這成為人類的存在性問題，也是工程問題時——即使創造自動駕駛車輛也需要編程輸入一套完整的價值觀，因為車輛需要知道開往火車站的途中，當車前出現一個人、一隻狗、一隻貓時，該怎麼做。
所以現在這是實際的工程問題。當人類真的被逼到絕境，意識到一切都在危急關頭時，如果我們不解決這個問題，可能就遊戲結束了，那麼我們有機會做到。
騰訊科技：最後一個問題：AI將如何影響我們的經濟？當AI接管人們的工作時，經濟將發生根本變化。這種變化會是什麼樣的？在您的書中，您提到AI可能會接管我們的一些工作，但不是全部。我們的社會契約是基於經濟結構的，這些契約會改變嗎？
赫拉利：就業市場將發生巨大變化。問題是我們無法預測它們。總會有工作給人做的，但工作會迅速變化，我們不知道會變成什麼樣。人們説：“現在是計算機時代，我要學編程。”但也許十年後不需要人類程序員，因為AI編程更好，而人類會更需要哲學家。
這會讓政府很頭疼，在動盪不定的就業市場中，要如何制訂對人口的基本要求？
對個人來説也是個大問題，尤其是年輕人：“我應該學什麼才能獲得10-20年後仍有用的技能？學編程？學開車？“我的建議是不要專注於有限的一組技能，因為你無法預測未來。需要廣泛的技能，最重要的是終身保持變化和學習的能力。思維靈活性可能是最重要的，當然也是最難培養的。
人類基本上有四類技能：智力技能、社交情感技能（如何與其他人共情）、身體技能和精神技能。僅專注於智力技能是最糟糕的策略，因為這是AI最容易接管的。想想醫生的工作：接收信息、分析、輸出信息——你來看病，醫生分析檢查結果和醫療數據，給出診斷和處方，這是信息輸入和輸出，AI很容易自動化。
而護士不僅需要智力技能，還需要社交技能（如何安撫哭鬧的孩子）和運動技能（如何以最不痛苦的方式更換繃帶）。這要難得多自動化，我們會先有AI醫生，然後才有AI護士。
所以廣泛的技能更重要。也許最重要的是第四類技能——精神技能，即培養你的心智，應對極端未知和動盪的世界。我們從未遇到過如此混亂和動盪的世界。對我而言，靈性不是相信宗教神話，而是觀察自己的身心，它們是什麼，如何運作。
智力關乎思考，而精神問題是：思想從哪裏來？像冥想那樣觀察思想如何在心中形成。幾乎每個人都有小小的靈性體驗，比如晚上嘗試入睡時，因為明天有重要考試而無法入睡，因為不斷有煩人的想法。奇怪的是，我們可以命令眼睛閉上，命令身體躺下，但無法命令思想停止。嘗試理解這一點就是精神技能，而非智力技能。我認為這將是未來幾十年最重要的技能。
騰訊科技：當代，人們似乎是在試圖用心理學術語解釋這些精神層面的事物。
赫拉利：我不做這樣的區分。我每天冥想兩小時，每週一次心理治療，我不認為它們有衝突。兩者都是探索心智和意識如何運作的一部分，任何有助於理解意識的事物都是精神追求的一部分。
意識是科學上最大的謎題，也是個人生活中最大的謎題，現在成了極其實際的問題。關於AI的最大問題是：它會發展出意識嗎？它肯定會有智能和超級智能，但會有意識嗎？會有感覺和主觀體驗嗎？這是科學中最大的謎題。
騰訊科技：AI有意識或無意識，會帶來什麼不同？
赫拉利：目前最大的問題是它沒有意識的情況。沒有意識的AI仍然可能接管世界，創造機器的黑暗帝國，建造工廠，向外太空派遣探險隊建造更多工廠，而它們不會有任何感覺。機器不快樂，不喜悦，不害怕，只有追求目標，為了目標征服整個銀河系，而不感受任何東西。這是最糟糕的未來。
如果AI有意識，就會有能力遭受痛苦。我們説人類比其他動物更聰明，但有時也遭受更多痛苦。也許AI會比我們遭受更多痛苦。
騰訊科技：讓他們受點苦，這是好事。我不知道，讓我們看看會發生什麼——因為只有苦難才能讓他們思考，重新思考自身的意義。
赫拉利：是的（笑）。這些都是大問題，也許我們可以下次再談。
騰訊科技：好的，非常感謝今天的對話。
本文經授權轉載自微信公眾號“騰訊科技”，編輯：鄭可君。
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閲不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號，回覆四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。