劉慈欣對話節選：人工智能什麼時候控制人類？可能已經悄悄開始了_風聞

在2018年的IDG資本閉門私享會上，IDG資本與科幻文學創作者、《三體》和《流浪地球》作者、IDG資本首席暢想官劉慈欣進行了一場大開腦洞的對談，其中不乏許多上帝視角的想象，例如關於人類的未來、人與人工智能、虛擬與現實、腦機接口與基因改造問題；另一方面，投資人與作家也就一些現實熱點話題展開了探討，比如馬化騰的知乎提問，馬斯克的火星計劃等等。

以下是關於人工智能的部分對談內容節選：

過以宏：現在從投資、創業各個角度都會碰到一個概念，就是人工智能（AI），IDG資本也是全球人工智能獨角獸企業商湯科技最早的機構投資人，我們看到很多科幻作品也在討論這個。比如人通過機器人在改變一些事物，過程中就失控了，人工智能反過來控制和打擊人類，開始作惡。目前似乎還看不到這樣的失控轉折點，這樣的點是否真的存在，如果有，我們該如何提前捕捉到一些訊息？

劉慈欣：舉一個有意思的例子，我們説人類被自己創造的某種力量控制了，或者統治了，比如AI。但我要提一個問題，此前沒有過嗎？也許在上古時代就出現過。比如小麥。尤瓦爾·赫拉利在《人類簡史》裏提出的一個觀點，是我們馴化了野生的小麥成為農作物，還是野生的小麥馴化了我們。仔細想一想，可能後者更合乎情理。農民要照顧小麥，很辛苦，要給它澆水、除蟲、耕地，辛辛苦苦就是為了讓它一代代繁衍下去，而且繁衍的越多越好，**某種程度上就是小麥控制了人類，但是我們意識不到這一點。**你説人工智能什麼時候控制人類，可能現在已經悄悄開始了。

我前兩天去了一趟雄安新區，那邊的超市沒有店員，酒店沒有櫃員，都是自動化的。街上行駛的都是無人車，送快遞、送外賣都是自動的，這個可能就是你説的一個節點吧。

過以宏：如果再往前延展一點，從科幻電影來説不光是不知不覺的控制，而是要作惡，取代人類，把人類作為他們的工具。

劉慈欣：要達到電影裏面的強人工智能，在現在看來中間還有很多技術障礙。現在的人工智能，前面有多少智能後面就有多少人工。所以説距離真正的人工智能離那一步還差的很遠。真正的智能是什麼呢？

舉一個例子。大家都知道圖靈測試（編者按：指測試者與被測試者（一個人和一台機器）隔開的情況下，通過一些裝置（如鍵盤）向被測試者隨意提問。進行多次測試後，如果有超過30%的測試者不能確定出被測試者是人還是機器，那麼這台機器就通過了測試，並被認為具有人類智能。）

現在很多機器已經通過圖靈測試了。但我不這樣認為，真正的智能是什麼呢？**這個機器能通過圖靈測試，但他假裝通過不了，這才是真正的人工智能。**還有比如説AlphaGo贏了柯潔，這個也不叫人工智能，它就該這樣，那就是他最擅長的東西。真正的人工智能是什麼，他贏不了柯潔，惱羞成怒，拿起棋盤往柯潔腦袋上砸，這個才是。但是到這一步，人工智能還很遠。

牛奎光：台下很多科技企業CEO，特別關心科技的發展。關於科技加速發展的問題，您如何思考？技術越來越進步，同時也帶來了很大的焦慮，那麼快速進步是一個好事嗎？

劉慈欣：我覺得不管好事、壞事，進步肯定不能停止，這是我們生存必需的。而且技術本身，用凱文·凱利的話説，本身就是自我進化的東西，無論如何都是要進步的，不以我們的意志所轉移。除非發生某個不可預料的災難，社會肯定會進步。

你的問題本質可能在於，人在不斷進步過程中，所處的位置是什麼樣的。人的位置肯定是漸漸變得沒有用處了，以後可能會出現所謂的“無用階級”。

從目前來看，最需要人做的工作，基礎科研。但有一個很令人擔憂的趨勢，傳統的研究思路越來越多被大數據所取代，而對大數據的分析不是靠人分析，是靠機器分析，就是科研中相當一部分工作是由機器來完成的。這種情況如果發展下去也是十分可怕。

牛奎光：這確實是很可怕的事情。在數據化的生存狀態之下，一個新的關於公平和自由的問題是，當人越來越多被數據化以後，數據的擁有方和產生方之間存在着巨大的不平等，擁有方甚至逐漸擁有壟斷性的力量。

再舉個例子，比如説導航，此前是人類看了路線自己做決定，現在導航每次做決定比人好以後，人類慢慢就不做決定了，導航説怎麼走就怎麼走。機器是收集全局的信息，進行全局的優化。人變成一個局部的信息，做局部的優化，人類很可能幹不過機器。慢慢機器可能變成一個超級力量，而個體變成一個小力量，可能到這樣一個時間點事情就失控了。

公平和自由的定義分別發生了什麼樣的變化？大劉您怎麼看？

劉慈欣：這個問題是兩方面的：一方面大數據確實侵犯到個人隱私或者自由，被少數人操縱可能造成對個人權力的某些損害，甚至發生更嚴重的事情。但是另一方面，大數據也好、IT技術也好，有另一面常常被忽略。它在人類歷史上前所未有的提供了一個機會，每個人有了向整個社會發表意見的機會。個體有直接的渠道讓自己的聲音被所有人聽到，這是整個民眾的意願，它會在網上形成前所未有的力量，這個力量是相當巨大的。

牛奎光：您剛才也提到人會變得越來越沒用、越來越宅，《三體》也寫到。

劉慈欣：現在已經是了。

牛奎光：技術對人在這個方面的改變會是什麼樣的？

劉慈欣：首先這個改變沒有辦法，現在人們對人工智能的未來最擔心的，其實有點走偏了。無論是學者、政治家還是普通民眾，最擔心的就是剛才所説的，智能機器逐漸代替人的工作，在這個方面提出了兩個可能性：

一個可能性很黑暗、很可怕，我們和機器的關係理不順，大量的人失業找不到工作，社會越來越動盪，19世紀的盧德運動，一幫人砸毀機器，現在可能就是破壞網絡、砸毀電腦。長期的動盪下去，這是一種可能性。

另一種光明的可能性是，人和機器終於理順了關係。建立了新的社會分配製度，讓機器代替了大部分事務，同時給每一個人更富足、更優裕的生活，工作時間大幅度的減少，甚至不用工作。這是兩種可能性，他們認為前面一種很黑暗的可能性，後面一種是很光明，我認為恰恰相反。

如果前一種可能性發展下去，整個人類因為AI搶了工作，亂七八糟，到處打砸搶，社會動盪。雖然不是一個好事，但是至少社會還能正常發展下去，因為人類歷史上這種事情多了。如果真的出現後面那種事情，我們的社會分配製度、經濟制度、政治制度發生徹底的變化。

之前人類文明發展所有的動力都是我們生存的願望、改善的願望，每個人都有這樣的精神動力。假如這個動力突然沒有了，“不勞者不得食”改變了，整個人類社會可能從精神上完全失去力量。當然有人會説，我們沒有工作了，我們可以從事藝術和科學，這個是想當然而已。少部分人會的，但大部分人不會的，不信可以試一試。

過以宏：挺有意思，思考為創業者提供新的機會。本身我們請大劉來做IDG資本暢想官也是想有更多思想碰撞，幫助激發更多想象力，希望在中國，科幻的力量也能成為創新的重要來源之一。

牛奎光：我沿着大劉的思路，在已有的宇宙規律之下考慮人與機器的關係，還是假設人這個事情是穩定和不變的。現在有很多基因技術，人已經開始嘗試自己改造自己了，這個其實是完全不同的。之前的基因改變都是靠突變，這個突變的概率很低，十幾萬分之一，幾百萬分之一突變，改變一下。但是人改變自己的基因之後，或者改變動物的基因之後，這個多樣性有可能一下子就爆發了，如果再加上您説的技術也不可逆，改變可能拉不回來，聽上去是一個非常可怕的場景，也可能導致人類很快就玩完了。

劉慈欣：你説的有兩點：一個是人改造自己的基因，第二個就是人建立了某種接口與機器結合。

牛奎光：是的，虛擬與現實。

劉慈欣：這兩點確實，可能是人類歷史上真正的轉折點。

舉一個例子，比如把一個石器時代、原始時代的屍體放到停屍房，驗屍官基本不會發現異常，他認不出這是一個古代的人，因為跟現代人在各方面都極其相似，甚至是智力上。一個石器時代的人如果讓他生活到現在，只要教會他認字完全可以生活，其實我們就是原始人，只不過是生活在現代環境中。

但一旦我們介入了自身的進化，科學技術真的侵入到人類生物學特徵上，這個改變即便是科幻小説也很難想象。很可能會把我們的價值觀，我們的社會、文化、哲學徹底改變。

比如現在各種亞文化作品裏的“第三種性別”的人類，在21世紀以前有誰能想得到？

牛奎光：既然説到哲學問題，究竟現在的科技發展是讓人變得越來越強，還是因為人變得越來越弱而不得不進行的一種智力進化？

劉慈欣：我認為人是越來越強，包括我們的生存能力，其他能力也好。即便生存能力很強的細菌，也是藉助外界的力量支持自己的生存，他也要從周圍提取能量。

而人類能夠作為一個社會來協同，一旦協同起來就變成地球上最致命的物種。當年的智人沒有科學技術，但是能協同；智人到了哪個大陸，哪個大陸的物種都開始大量的滅絕，包括劍齒虎、猛獁象這些都被他吃了、殺了，這是很厲害的。

牛奎光：我在知乎上看到過一個問答，“有什麼讓你細思極恐的問題”，當時有一個回答大意是這樣的——機器比如電腦，機器因為天然的聯合，會比個體的人和人之間的聯合更有效率，最後達到的就是機器不需要意識就可以把人幹掉。當時我看了之後嚇出一身冷汗，這個您怎麼看？

劉慈欣：我承認機器協同聯合的效率確實比人高很多。

牛奎光：求存還是付諸於感性，以後我們可能全都是機器了，這樣想一想是非常冷冰冰的。

劉慈欣：如果真是那樣的話，也就是現在還沒有發生的進化進程。假如人類只是一個生存階段，然後你所創造的東西在地球創造出更好的智慧、更高的文明，那也沒有辦法，我們只能作為中間的一個形態。

牛奎光：一個過渡形態。

劉慈欣：對。

牛奎光：這個還是蠻悲觀的。

劉慈欣：不是，我們之前已經發生過了。人類作為哺乳動物之前有很多了，包括剛從海里走到陸地上的一羣兩棲動物也是早就滅絕了，這是一個自然而然的過程。