為了讓AI像人一樣思考，DeepMind這次又幹了什麼？_風聞

通向AGI（通用人工智能）的道路上，始終有一道巨大的鴻溝橫亙在研究者的面前，那就是人工智能對於因果關係的理解。因果關係的推斷，首先對於人類本身就是一個極為複雜的問題。無論是必然性推理還是或然性推理，人類總能在複雜的事物關係中建立精妙地因果推論。且無論對錯，這種能力都讓人類能力超羣，成為站在生物鏈頂端的那顆孤星。

想象一下，假如你帶着女兒去參加一個夏令營，在那裏你遇到一個成年女人帶着一個小女孩。你很可能會斷定那個女人是小女孩的母親。過了幾個星期，你又在你住的附近的一家咖啡店裏，你再次看到這個小女孩，但這次她是由一個成年男人帶着。基於這兩段觀察到的事實，你基本可以推斷，這個男人和女人有一定的關係。但是否是夫妻關係或者別的關係，就會涉及到更多信息，諸如男人和女人的年齡、衣着品味和小孩子的親密程度等等信息。

在這一場景中，我們可以基於在較大跨度的時間、地點中的發生的事實關係進行相關的因果推論。我們把這種在複雜的事物關係中的這種推論稱為“長距離推理”。

AI能否掌握這一能力？對於目前熟知的一些AI技術，通過數據庫對他們進行人臉識別很容易；如果再給定他們相關身份的知識圖譜，AI也可以認出他們。但如果僅給出以上事實場景（對於AI來説是單獨的圖像），而不提供任何其他信息，AI能否從圖像描述的事實中建立起因果推理麼？

這一次，DeepMind的最新研究中為AI進行 “長距離推理”提出了一種解決方案。近日，DeepMind公開發表了一篇為ICLR 2020會議提交的論文《MEMO：一種用於情景記憶靈活組合的深度網絡》。論文主要提出了一種可以增強現有深度神經網絡架構的推理能力的新架構——MEMO。MEMO具有長距離推理的能力，即能夠發現在記憶中的多個事實之間的長距離的關係。

那麼MEMO的實際表現如何？MEMO這一新的深度神經網絡對於AI發展的意義是什麼？這些問題仍然需要我們思考和解答。

為什麼長距離推理如此重要？

為了討論長距離推理的重要性，首先我們需要知道感知、記憶、命名、事實、判斷以及推理、行動的內涵和關係。歷史學家尤瓦爾·赫拉利在《人類簡史》中提到的“人的虛構能力”也就是“人可以想象不存在事物的能力”成為智人戰勝其他物種的決定因素。但他仍然把複雜問題的解釋簡單化了。

只要你認真審視自己的日活生活，我們幾乎都在按照上述認知能力在思考和行動。我們通過感官認知外界形成感知，這時只是一些時空中的感性要素；然後由我們大腦區分後對其中特別注意的要素（其他大量信息淪為認識的背景）進行命名，從而形成一個事實；再通過大腦的聯接能力，把命名通過邏輯詞連接起來形成判斷；然後，通過過去經驗的總結和對未來的想象，我們形成相應的推理，最後據此形成計劃和實施步驟，最後形成行動。當然，這一系列過程都幾乎發生在認知的短暫瞬間，以致於很多人忽視認知的複雜性。

我們可以舉一個形象的例子。就在寫作此文的同時，筆者的二歲半的女兒已經在客廳拿着塑料的噴壺和鏟子對着空氣做出舀水、噴水的動作，同時還喊出“水、濕了、擦擦”的單詞。兩歲半的女兒就如同人類的童年時代，她學會觀察和區分了身邊的物品，然後又學會給不同的事物命名（杯子、鞋、壺），然後又能理解事物之間的關係做出因果推斷（壺可以用來盛水、鏟子可以用來搬運東西）；並且最厲害的是，她還能虛構眼前不存在的事物，就如同孩子在想象用鏟子給噴壺舀“水”，又把“水”從噴壺裏倒了出來，弄“濕了”地面或者她的鞋子。甚至於她還能“條件反射”地想起大人們曾反覆強調“弄濕了東西要擦乾淨”的訓誡，試圖去找東西來擦拭根本不存在的“水”。

如果説許多動物能夠製作和使用工具，而且使用起來比二歲小孩還熟練，但他們仍然無法完成人類小孩對於並未實際發生事情的想象的推理和計劃能力。這份獨屬於人類的天賦怎能不令我們驚奇和驕傲。

借用圖靈獎得主朱迪亞·珀爾在《為什麼：關於因果關係的新科學》對於人的三種不同層級的認知能力的區分：觀察、行動和想象（seeing、doing、imagining），我們再深入探討下當前人工智能可以做哪些或者説還不能做哪些？

第一層是觀察能力，即觀察到事實A與事實B，隨後建立起事實A與事實B的判斷X，基於判斷X，會影響我們得出另外一個結論Y。比如哲學上經典的三段論：我們觀察到一個人（事實A）,人們都把他稱作蘇格拉底（事實B），我們得到“蘇格拉底是人”（判斷X）；我們還掌握了一條顛撲不破的真理：凡人皆有一死（判斷Y）；最後，我們得出：蘇格拉底會死（結論Z）。請不要小看這一能力，我們正是依靠強大的判斷能力形成經驗，讓人類從嚴酷的自然選擇中獲得勝利。

第二層是干預能力，即實施干預X或Y，會造成怎樣的結果Z。以上例子繼續假設，如果我們對“蘇格拉底是人”進行干預，比如，當時的人們將蘇格拉底神聖化為像耶穌一樣的人物，即使他確實是喝下毒藥而身亡，但因為已經“從人變成了神”，所以，我們就可以得出“蘇格拉底沒有死”的結論。這一假設看似荒誕，正是由於這些能力，我們可以進行育種、畜牧、開採，建立宗教、城邦和帝國組織等，人類文明短短几百年對自然的干預已經超過之前數百萬年的影響。

第三層是反事實的能力，涉及到人類的想象和反思能力。即如果判斷X或Y引起了結論Z，那麼，如果X、Y沒有發生，那麼結論Z也會變化。再假設，人類發明了時間機器且發明了長生不死的藥物，那我們回到古希臘雅典的監獄，將毒藥換成了長生不死藥餵給了蘇格拉底，判斷Y被推翻，同樣改變了結論Z。正是這些更為誇張的想象，讓人類提出科學假説、建立像相對論、量子力學等等的知識系統，進行文學藝術創造等非凡能力。

那麼，目前人工智能處在模仿人類智能的哪個層級。如果你對人工智能有多少樂觀，那結論就會有多失望。目前即使是成果斐然的深度學習算法，仍然處在這三層認知能力的第一層，其智慧的難度跟貓頭鷹觀察老鼠出沒與否的能力不相上下。

儘管機器學習尤其是深度學習算法在比如圖像識別、語音識別、無人駕駛、棋牌遊戲對戰等眾多領域可以超過人類，但其模式仍然是“由一系列觀察結果驅動，致力於擬合出一個函數……深度神經網絡只是為擬合函數的複雜性增加了更多的層次，但其擬合過程仍然由原始數據驅動……處於因果關係之梯的任何運行系統都不可避免地缺乏這種靈活性和適應性。”

這意味着，機器學習及深度神經網絡的算法，只是利用對於輸入數據的相關性關係的擬合，而不理解因果關係，那麼人工智能就不能從第一層認知上升到第二層級，無法回答有關干預的種種問題。

以上作為理解背景稍顯冗長。但MEMO所完成的長距離推理能力，在我們所述的三個認知層次上有了一個顯著性的位置。MEMO成為深度神經網絡開始具備長距離因果推理能力的一次成功嘗試，也許可以視作人工智能從第一層級向第二層級的躍遷上搭建了一個更好的階梯。

MEMO算法的創新之處

首先，MEMO參考了神經科學中的“聯想推理”的能力，他們從最新的對海馬體的研究中獲得了方法靈感。海馬體通過一種被稱為“模式分離”的過程中進行獨立地記憶儲存，以最大限度地減少記憶之間的干擾；同時最新的研究又指出，這些被獨立存儲記憶通過循環機制進行檢索以實現整合，從而支持眾多單個經驗的靈活組合，以推斷其未曾觀察過的關係。最終由此而形成推理。

DeepMind 研究人員稱，他們正是從這一神經科學模型的研究中獲得啓發，來研究和增強機器學習模型中的推理能力。

MEMO 相較於之前的推理系統，引入了兩個新的組件：第一它引入了存儲在外部記憶中的事實與構成外部記憶中這些事實的項之間的分離；第二個它利用自適應檢索機制，在產生答案之前允許有一些可變數量的“記憶躍點”。

進一步解釋下。第一個組件：MEMO採取了基於EMN（End-to-End Memory Networks，端到端記憶網絡）的呈現外部記憶表徵的基本結構，但其新結構中加入了通過參照海馬體機制設計的新的任務PAI（Paired Associative Inference，聯想配對推理），它允許對記憶中的單個元素進行靈活的加權，以增強推理的能力。

第二個組件：在運行中，還需要解決計算時間過長的問題。在標準的神經網絡中，計算量是基於輸入的函數的大小而增長，而MEMO更希望讓計算時長跟任務的複雜度相關。為此，它從人類聯想記憶的模式中引入了一種被稱為“REMERGE（重現）”的模型。在該模型中，從記憶中檢索到的內容作為新的查詢被重新循環，然後利用在重新循環過程中的不同時間步驟檢索到的內容之間的差異來計算網絡是否適應在固定點上。MEMO可以採用一種“終止策略”，通過網絡輸出一個動作（在強化學習的意義上），表示它是否希望繼續計算和查詢其記憶，或者它是否能夠回答給定的任務。並在強化學習中引入一個新項——二進制停止隨機變量（the binary halting random variable），以最小化預期的計算步驟。

基於這兩個新組件的加入，MEMO在下面三個經驗性結果的任務測試中取得顯著的優勢成績，從而也證明了這兩個組件的有效性。

三組結果驗證：MEMO與另外兩種內存增強架構：EMN和DNC（the Differential Neural Computer，微分神經網絡）以及UT（Universal Transformer，普遍轉換器，bAbI任務套件中的最新模型）進行了比較。

1、關於聯想配對推理：在較小集合的推理查詢上，MEMO可以和DNC一樣達到最高的準確度，而EMN即使有4或10跳，也不能達到相同的準確度，而且UT也不能準確地解決這個推理測試。而對於較長的序列結合（即下面的長度4和5），MEMO是唯一成功地回答最複雜推理查詢的架構。

2、對於隨機生成圖形的最短路徑的測試：表 2 顯示與查找最短的兩個節點之間的路徑。在只有10個Nodes的短路徑上，DNC、UT和MEMO具有完美的預測時中間最短路徑節點的準確性。在20個Nodes的長路徑上，MEMO 在具有高度連通性的更復雜的圖形中優於 DNC，在最短路徑中預測兩個節點時，效果更超過 20%。

3、關於BABI任務的問答測試上：在10k訓練集中，將 MEMO 與兩個基準模型以及UT模型進行了比較，結果顯示，MEMO唯一能夠在較長的序列上成功回答最複雜的推理查詢的體系結構。

顯然，MEMO在基於記憶表徵的長距離推理的改進非常明顯，而其創新之處在於它採用了神經科學所應用於測試推理的聯想配對推理方法的新型結構。這也從反面證實了神經科學中關於記憶推理的假設：記憶中事實元素的分離儲存與強大的注意力機制組合，在通過對記憶存儲中的單個元素的靈活組合來實現推理。

MEMO：通往AGI的正途？

從一開始，AGI就是DeepMind誕生之初的目標。DeepMind創始人德米斯·哈薩比斯很早就採用了神經科學的方法來研究AGI。

早在2010年8月，DeepMind創立前的三個月，哈薩比斯經在當年的奇點峯會上發表了一個題為“一種通過系統神經科學方法構建AGI” (A Systems Neurosciences Approach To Building AGI)的演講。

在演講中，他回應了之前兩種接近AGI的方向：一是通過象徵性AI，即通過描述和編程體系來構造人類大腦的思考體系，其失敗之處就是操作難度太大，難以真實描述大腦的結構。二是通過數字形式複製大腦的物理網絡結構，這一方法很有意義，但這一任務重點放在還原大腦的物理功能卻不能解釋人類智慧的運行規則。

經過比較，哈薩比斯採取了折中路線：AGI應該從大腦處理信息的宏觀方法中得到啓發，而不是從其物理結構或者説大腦的特定腦區功能去尋找方法。簡言之，AGI應專注於理解人腦的軟件功能，而非硬件功能。通過磁共振成像(FMRI)等新技術，使得人們可以觀察人類各種思維活動時大腦內部的活動，從而可以理解其運作機制。而AI研究應當效仿人類的大腦系統。

這奠定了DeepMind的研究思路，人工智能就應該像人一樣學習和思考。這意味着，DeepMind堅信，神經科學研究所找到的“大腦算法”可以被神經網絡所參照和使用。反過來，這套機制在神經網絡機制上的成功實踐，又反過來促進神經科學的發展。

顯然，從MEMO的效果而言，模擬人腦神經網絡機制的方法似乎可以作為通向AGI的一條通路，但這條路也絕不是坦途，比如眼前這道“因果關係推理”的巨大鴻溝。MEMO的提出，僅僅是在為跨越這道溝壑搭建出的一步重要的階梯。

在通向AGI的征途裏，深度學習等技術還將持續進化，它需要先沿着“因果關係”的這道鴻溝向下，深入到人類因果性認知的各個低谷，比如跳躍式聯想、條件干預的因果預測、反事實推理等等，才有可能重新向上跨越鴻溝。

道阻且長，AGI的黎明不會很快到來。但正因為DeepMind這樣的AI研究機構的努力，才能讓暗夜中探索的人們始終心懷火種。