馬平：李世石敗了，要警惕人工智能嗎？
從科幻小説出現那一天起，人工智能威脅人類生存就是最常見的科幻情節。因為無論在任何文明的神話中，“造人”都是神靈的特權。一旦人工智能開始接近人類的智慧水平，很可能意味着人類召喚了自身無法掌握的力量。今天李世石在首輪比賽中慘敗於電腦，社交媒體上頗有不少言論對人類的未來表示擔憂。這種擔心是否有道理呢？
從我最近的經驗看，人類對人工智能存在本能的“恐懼”是一個客觀事實，人類也的確有擺脱AI“控制”的本能，但原因不在於這東西太強，而是因為它還不夠強。
上個月，有朋友贈了我一段時間的尼桑新車測試權，號稱有源於NASA的智能安全系統。我拿到手之後，朋友告訴我汽車配備了新技術，隨車AI能自動避免追尾和撞人。然後問我打算怎麼玩，我回答説：
“我必須知道如何用半秒鐘關掉AI”
依據他的介紹，這車能辨認障礙物的距離，能發現行車軌跡上的汽車和人，判斷兩者之間的相對運動速度，在我快速接近的時候發出提醒，提醒無效的話就緊急制動，拉緊安全帶，在障礙物面前停車，至少能避免我以危險速度撞上去。
介紹聽起來很美好，我能想象設計者大腦中的畫面——半睡半醒的駕駛員，忽然穿越馬路的兒童，前車緊急制動的同時響起警報聲，在撞擊前0.3秒死死剎住了車輪，從而挽救了1個兒童和兩輛汽車，贏得一片讚歎。
然而，作為一個交通土建專業的畢業生，作為見過千奇百怪車禍的老司機，我卻想到了另外的畫面——公路上失控的大卡車橫掃而來，我必須迅速轉入和公路相交的小路避禍。但小路上已經停放着一輛轎車，我只有撞上去才能倖免，這時“智能”防撞系統發揮了作用，先是尖嘯後是剎車，完美地把我攔在大卡車的毀滅路線上……
其實，在很多小概率事件中，汽車並不是被簡單地當做交通工具使用的。平時被視為事故的“撞擊”，在特定條件下，也可能被當成汽車的主要功能。如果AI每次都在撞擊前接管剎車系統，需要破牆而出的司機將會無奈地被困，劫匪只需站在路中間就能攔下每一輛車。我承認動作片誇大了這些小概率事件的概率，但不可否認現實中完全可能會有類似的場景。在這些情況下，我希望還能靠自己的大腦自救一下，而不是在AI安排下“安全”地等死。
所以，剛拿到測試車，我就確定了測試目標——如何在警報響起之後克服AI干擾，堅決地撞上去！當然我不會因此就去高速公路上找人追尾，而是搭建幾個能愚弄AI的假目標：
為此我搜羅了全部能找到的紙箱：
紙箱是用來支撐橫幅的：
我猜汽車設計師中也有人考慮到了類似情況，所以在方向盤下面設置了一鍵關閉防撞AI的開關：
因此，我的測試思路非常簡單，就是用紙箱配合條幅，搭建一個有立體感的“汽車”，藉此觸發AI的警告。但在警報聲響起之後的瞬間，我將試圖關閉AI，或是通過加油門來抵消剎車，堅決地撞上障礙物。如果我能按照我自己的意志撞上條幅，就算測試通過。
事實證明，在練習幾次之後，我按關閉鍵的速度已經被壓縮到半秒之內，能夠在自動剎車起效之前就重新奪回汽車的控制權。如果我全然不顧警報，只靠加油來抵消制動，雖然撞擊效果有所減弱，但也基本能完成“撞上去”的任務。
下一層次的測試更現實一點。即在不得不撞過去的情況下，到最後一刻才選擇撞哪一邊（比如説便宜的一邊）：
事實證明，雖然AI不一定每次都能做到警告並剎車，但至少在警告響起來之後，我還有選擇撞哪一輛的權力。這AI看來還算“安全”。
事後我仔細想了一下，我堅持要獲得自己操控汽車的權利，不是因為AI太聰明嚇到了我，而是因為AI太“笨”，只能通過觀察前方路況，臨時接管制動系統。對於側面和後方的威脅，儘管也有雷達監測並警告，卻無法納入統一的風險控制邏輯，不會因為後面有失控卡車就允許我撞車保命。至於攔在車道上的行人是不是手持利刃，眼前的牆是不是阻擋我獲得自由，那更是計算機從來不考慮的因素。所以，雖然AI在大多數情況下可能會挽救我的命，甚至會挽救我的錢包，我還是希望它能隨時關閉，放着汽車讓我自己來。
看一下歷史，我的想法並不算特別。每一次有新鮮事物進入人類社會，都會有類似的質疑聲浪。火車、電燈等著名的段子就不説了，汽車行業內就有一個非常有可比性的案例——安全帶。
安全帶現在是所有汽車的標準配置，大多數工業國的警察會強制要求駕駛員使用，多數老司機也並不覺得有什麼麻煩。但回溯到幾十年前，這個簡單的小裝置也曾經引起過巨大的反對聲浪。而且出發點和我擔心智能防撞系統差不多——剝奪了人類選擇的自由。
下列截圖見福特和克萊斯勒公司總裁艾柯卡自傳：
這段爭論是不是很眼熟？我其實非常理解反對者的立場。因為安全帶從不説話，只會在急減速的時候牢牢綁住乘客，並未給駕駛員以“固定-鬆開”的選擇權。這固然減少了大多數碰撞導致的傷害，但在小概率情況下，也的確阻礙了駕駛員的行動自由（必須解開卡扣才能再行動）。萬一出現必須儘快離開汽車的狀況，的確不能絕對保證安全帶會發揮100%的正面作用。
誠然，艾柯卡的觀點很理性，但是，我也在理性上很相信智能防撞系統救命的概率遠遠大於阻礙我逃命的概率，但作為一個憑藉自由意志生存了上百萬年的物種，我還是希望能時刻擁有最終決策的權力。所以，在這個問題上講概率論並不能絕對“服人”，安全設施的推行除了要靠法律強制，更要在心理上給人“選擇權”，即隨時關閉自動設備的權力。當年美國能夠立法強制使用安全帶，也是因為在模擬火災、爆炸環境下做反覆實驗，證明了安全帶可以迅速解開，讓乘客擺脱捆綁狀態，這才最終説服公眾接受安全帶。（未必）
實際上，火災逃生實驗本來並無必要，因為即便在火災條件下，安全帶也更有利於乘客逃生。2012年8月26日，包茂高速公路安塞段發生客車與運送甲醇貨車追尾碰撞事故，引發甲醇泄漏並導致兩車起火，造成36人遇難，3人受傷。事後經驗屍發現，由於未使用安全帶，大多數乘客因為碰撞而昏迷，在起火之前已經喪失了逃生能力。而在僅有的幾名逃生乘客中，恰恰有一位女士因系安全帶而保持了行動能力，從而抓住了緊迫的十幾秒逃生時間。可見安全帶挽救生命，和解開安全帶需要的時間關係不大。
然而，公眾就是需要這樣的實驗，我也必須確信能隨時切斷AI的電源，在踏板上控制剎車，才能從心理上接受自動防撞系統。這就是我們人類毫無理由的自信。不過，即便是感性認識，也是可以用理性去分析的。看到這個問題之後，我開始審視自己的感性判斷——我到底恐懼的是什麼？是AI太“強大”麼？
仔細思考之後我發現，恐懼的來源並非是AI太聰明，並非AI可以和我的大腦相連，而是正好相反——問題的源頭在於AI不夠聰明，不能和大腦相連。
比如説，本來汽車已經配備了側向和後方的測距雷達，但只用來點亮告警燈，不能成為AI判斷的參數。如果AI能夠“考慮”到這些外界條件，在其他方向有明顯威脅的時候允許我撞向前方，我就可以允許AI獲得更多的汽車控制權。如果AI能直接把警告輸入我的大腦，讓我在打瞌睡的時候忽然“看到”撞擊的可能性，並通過大腦決策來實現剎車，自然也不必為了節約反應時間而直接控制剎車系統，不給人類做選擇的機會。總而言之，至少在現階段，一個更“強”的AI會讓人類更放心。阿西莫夫也在短篇科幻小説《理性》（又譯為《推理》）中描寫過類似的情節。（全文請點擊鏈接）
在這篇小説中，“出生”在空間站的機器人開始思考自己的存在理由，並創立了一套宗教解釋自己的工作。人類工作者對此先是表示恐懼，但發現機器人並不會因此影響工作後反而欣然接受：
科幻時代（其實設定時間是90年代末）的宇航員最終接受了一個信教的機器人；現實中的司機最終接受了安全帶，這聽起來跨度有點大。但完全可以説兩者都是廣義的“AI”，因為它們都能獨立於人類大腦做出邏輯判斷。安全帶能在人類不干預的情況下發現加速度異常，這本質上也是一種處理信息的方式，也是“思考”。我們人類能製造替代自己大腦的工具，可能是我們智人打敗其他人種（尼安德特人、丹尼索瓦人等），最終統治地球的關鍵因素——注意我提到的是替代大腦的工具，而不是“工具”。
北京周口店遺址博物館的科普掛圖
根據現在的考古發現和生物學觀察，無論是尼安德特人、大猩猩還是海獺，都能在一定程度上使用工具乃至製造工具。智人比他們強，不是強在製作長矛、石器這些隨身攜帶的工具上，而是因為智人具有抽象思維能力，能夠設計製造出人類不在場的時候也能發揮作用的高級工具：
引自《事物的起源》
通過這些圖我們可以發現，在智人成為獨立種族的開始，我們就已經在製造“AI”，來延伸我們的大腦，獲得木矛石刀無法捕獲的獵物，進而稱霸地球。實際上，工業革命也是一個類似的過程。瓦特蒸汽機節約的不僅僅是人的肌肉力量，更節約了人類的大腦：
機器人羣體能夠幹人類 98% 的非機械性工作的時代，社會會怎麼樣？ - 馬前卒的回答
自動控制系統是從1776年的瓦特開始的。換句話説，回到工業革命之前的水平，非人力機械只留下馬車、牛犁、水車、風車才算完全靠人類工作。那個時代你懷念不？
瓦特蒸汽機，是不是比想象的複雜許多？
蒸汽機離心自動控制器，這才是瓦特做出的最大貢獻，他節約了人類的智力而不是體力。
每一個自動控制系統都起碼節約了一個人。
當然，上面提到的汽車自動制動裝置、安全帶、捕獸夾、瓦特調速器，加上挑戰李世石的圍棋軟件都屬於“弱AI”，即沒有自我意識，只能按照人類設定程序處理信息的AI。他們的強項並不在於真的去“理解”事實，而是用更高的速度處理事務。所以我們才期盼它們越來越強——再強他們也只是工具，可以被一鍵關機。人類真正擔心的是強AI，即同時具備自我意識和高速處理能力的人工智能。前面轉載的阿西莫夫小説情節中也透出了類似的看法——自創宗教的機器人可以因為教義而為人類忠實服務，但也存在因為“教義”而損害人類利益的可能。總之，獨立的意識既意味着無限的潛力，也意味着無限的風險。
對於類似的觀點，我……沒啥明確的看法。因為“強”AI的原理和功能都完全超出了我當下的想象。作為一個普通人類，我連自己為什麼有“意識”，為什麼有智慧都不知道，更不可能想象一台機器如何具備類似的能力。讓我評價強AI是福是禍，就像讓不會騎馬的原始人評價汽車的利弊一樣無稽——我不能評價那些我不知道我不知道什麼的東西。
然而，我倒是有個笨辦法來趨利避害——用弱AI加強人類自身，讓我們來變成“強AI！”
我們回顧一下，為什麼圍棋電腦可以挑戰李世石？不是因為電腦真的理解圍棋是什麼東西，而是因為電腦擁有遠超人類的記憶能力和推算速度。如果我們通過植入芯片增強記憶和計算力，通過添加傳感器增強自己的信息蒐集能力，世界上第一個“強AI”可能就是我們自己！
實際上，類似的事情我們已經在做了。這裏可以看看我之前寫過的文字：
如何看待百度將血友病吧歸還給原吧主？是一次網民的勝利嗎？ - 馬前卒的回答
一個副部級官員在台上高舉自己的智能手機：你們覺得這是什麼？
底下眾人有答手機的，有答電話的，有答娛樂工具的，都被一一否定。最後這位50後的領導給出了自己的看法：這是有史以來和人類結合最緊密的機器！是人體的新增器官！
雖然手機+互聯網+搜索引擎這個“器官”和大腦的結合還非常粗糙，但就我近年招聘經驗來看，在媒體工作方面，善於用搜索引擎的人和不會用搜索引擎的人完全就是兩個物種，效率差距遠大於智人和尼安德特人的差距。如果谷歌眼鏡和新一代虛擬現實技術能做到即時從現實中抓取模型進行演算，裝備新技術的人類可能會完全甩掉那些前網絡時代的同類，創造出他們永遠無法理解的技術。更不要説未來通過植入芯片分擔大腦職能的人類了。到那時候，我們有意識，有智慧，還有電（光）子計算機的運算速度，還怕什麼“強”AI？
至於為人類植入新的傳感器，其實我們已經在做了：
我們既然能把攝像頭的光信號直接傳給大腦（不需要眼睛這個中介），就能在不久的將來為人類裝備更多的感官，讓整個世界在我們的“眼中”透明化，甚至可以在虛擬空間中“看到”更高的維度。普通人只能通過數學模型來研究的高維空間，對於新一代人來説可能是“不言自明”的事實。“生而平等”的生物學概念到此將徹底結束。
當然，這樣的世界和今天的倫理學標準是有一定衝突的。在各國神話中，有第三隻眼的人類不是神靈就是怪物，總之不是人類。如果有人能通過手指觀察東西，能通過顱內硬盤調閲百科全書，當代人看他的眼神一定不會太“親切”。然而，原始人看我們穿各種衣服恐怕也是類似的感受，古代人也無法理解為什麼拍照是必不可少的飯前儀式，進步本來就不一定會被古人所理解。人類之所以是人類，就是因為我們的祖先通過DNA變異獲得了製造工具的能力和抽象思維能力，我們今天修改自己的“外設”來變成超級AI，變異程度未必就比祖先物種變異的幅度更大。
無論我們如何看待AI的風險，有兩個事實是確定無疑的——1 維持現有的生活水平離不開AI；2 用弱AI裝備自己的人類會獲得競爭上的極大優勢。這意味着AI和人類的結合必然會越來越更緊密。我們與其被動地接受這個新時代，不如主動地變成超級智能生物，變得更聰明、更善於交流，更長壽、更強大。
這裏我再引用一下之前的發言：
機器人羣體能夠幹人類98%的非機械性工作的時代，社會會怎麼樣？ - 馬前卒的回答
除了信息的存儲讀取，人類還需要提高信息的處理效率。拿算術當例子，原始人和小孩子在作加法的時候都有一個本能的反應——掰手指頭，也就是累加計算。3+4，就是先伸出3根手指，再挨個掰出4個，最後回過頭把所有手指頭點一便數，得出7的結果。手指頭不夠的話，還可以用木棍、石子來輔助，原理上是一樣的。
為了避免每次計算都掰手指頭，你我都必須在小學低年級作大量的算術速算練習，直到我們把兩位數的加減法變成條件反射而不是累加的結果。從而把更大數字之間的運算分解成一系列條件反射的累加，提高整體運算效率。又比如蘇美爾人最早的乘法是連續做加法，一位數的乘法也必須挨個加起來，這和我們小學時學乘法原理的程序是一樣的。這個方式足夠簡單但嫌太慢。後來，學算術的學生就要背乘法表，背會了之後在腦子裏建立固定的數字處理程序，只要記住八八六十四這種口訣，就不必再每次計算都作七次加法。這也是信息化，通過建立固定的反射來提高信息的處理效率。
相對論剛提出時，號稱全球能完全理解的人不超過十人，現在卻成為理工科必修課程，是我們智商提高了嗎？ - 馬前卒的回答
你要説服自己的大腦，“數學工具”這個詞絕不是一個比喻，而是客觀、準確的描述。鏟子、汽車、充氣娃娃等有形物體是工具，思考方式也同樣是工具，都是人類改造世界能力、理解世界能力的“放大器”。這一點在理智上接受很容易，在直覺上相信比較難。就像大多數人可以在理智上承認電場、磁場也是物質，但真的思考複雜問題的時候，直覺就只承認椅子、汽車這樣的東西是物質了。
什麼是工具呢？嚴格來説，人類製造的任何東西都只是附加了“信息”的某種結構。砍木頭做梯子，木頭是自然界的物質；鍊鋼造汽車，鐵礦石和煤都是地球本來就有的。我們沒法憑空“創造”物質，只能把既有的物質賦予人類設計的結構，才能變成實體工具。至於思考工具，只是把這個“結構”直接用思想表現而已。從這個角度講，思考工具和日常的實體勞動工具完全是一回事。
所以説，人類現在能一槍撂倒大象，不是因為力量增加；人類能迅速理解幾十年、上百年前的物理前沿思想，不是因為智商提高，兩個事件都完全是工具水平提高的結果。相對幾百萬年的人類進化史，最近一萬年我們的基因沒啥明顯改變，進步的是工具。
總結一下這兩段引用的文字，我想説的是，信息時代並不是最近十幾年才到來的。整個人類文明史，從捕獸夾到乘法表再到蒸汽機、計算機，這都是“信息化”和“AI化”的發展過程。我們這些年的發展速度很快，但也不過是保持了過去200年、20000年、200000年的AI進步趨勢。如果你恐懼AI，就應該記住被歷代古人（包括毛澤東）反覆強調的一個概念：
寇能往 我亦能往。
75年兔子解讀：
馬督工的這篇文章對我觸動很深
我就是一個對AI有恐懼心理，至少是極度不信任的那種人。
拿開車來説，我不信任AT的換擋邏輯，不信任自適應巡航對前車的判斷（尤其前面是空載平板拖車時），不信任自動剎車、車道保持、自動泊車這些，更不用説自動駕駛了。甚至開按鍵式啓動的車子，都會因為不能在行駛中瞬間控制熄火，而心裏會有一些不安。總之車子任何動作不能直接掌控在我手裏，我都會不安。
思考其中原因，就是督工説的：這些東西太笨，不能在極端情況下做出正確應對。看多了各種極端情況下的奇葩事故，我覺得這些東西達不到我自己操作的水平，保證不了我的安全。
然而這種不信任，就是我的最大缺點。
就是這種不信任，導致本應可以分配下去的大量基礎設計、構件選型、調試、檢驗等等工作堆在我的手裏，大大降低了工作效率。
其實作為一個研發工程師，我的工作就是創新和推進發展，而且有部分產品達到業內靠前的水平；但同時我還是一個技術進步抵抗者，使用智能手機的時間不超過一年半，至今沒用過QQ和微信。多麼矛盾
我也應該善用各種現代工具，更快的提升自己，更好的發揮自己的能力。
其實我今天想到的非常多，能夠説出來的卻很少。從這篇文章看到了我自己的很多不足，改天定當再次拜讀此篇，以期有更深的感悟。
督工對事物的認知深度，果然比我高出一個層次以上，深表佩服。
本文系觀察者網獨家稿件，部分內容曾刊發於知乎。文章內容純屬作者個人觀點，不代表平台觀點，未經授權，不得轉載，否則將追究法律責任。關注觀察者網微信guanchacn，每日閲讀趣味文章。