為何是倫琴發現了X射線？_風聞

在《科學之路：人，機器與未來》一書中，圖靈獎得主，卷積網絡之父楊立昆（Yann LeCun）提出，在科學史上，技術產品的出現往往先於解釋其工作的理論和科學。發現智能工作的潛在機制和原理，是他未來幾十年的研究規劃。

新書分享會上，北京智源人工智能研究院院長黃鐵軍、清華大學計算機系副教授劉知遠、知名科學科普博主袁嵐峯三位人士，就AI是技術還是科學、人工智能的生物啓發等話題進行了高屋建瓴的探討。智源社區針對訪談核心內容進行摘錄，並進行了不改變原意的整理。

嘉賓 | 楊立昆（Yann LeCun，紐約大學教授）、黃鐵軍（北京大學計算機學院教授）、劉知遠（清華大學計算機科學與技術系副教授）、袁嵐峯（嘉賓主持，中國科學技術大學副研究員）

整理 | 李夢佳、周致毅

01

神經網絡的誕生——反向傳播算法的前世今生

（首先，楊立昆介紹了神經網絡和反向傳播算法的誕生歷程）

楊立昆：人們認識我大多源自於卷積神經網絡。這種模型是一種組織神經元之間的連接，並將神經元組織成多層結構的特殊方式，其靈感來自哺乳動物的視覺皮層結構。這種模型結構非常適合於圖像識別甚至醫學分析等領域的應用。

比如，現在車輛的擋風板上都有感應攝像頭，能識別到汽車前方的障礙物，及時自動停車，避免碰撞。現在的大屏電視，可以從低分辨率信號中獲取高分辨率視頻。這也被用於醫學中的腫瘤自動檢測系統，如拍X光片和核磁共振等醫學成像技術。這些都是源於卷積神經網絡。我參與發明的技術無處不在，甚至可以挽救生命，這是我引以為傲的事情。

其實神經網絡最初的想法來自上世紀60年代Hubel和Wiesel在神經科學領域的經典著作。上世紀七八十年代，日本科學家福島邦彥，構建了首個基於無監督學習的卷積神經網絡，但當時還沒有反向傳播算法，訓練效果受到一定侷限。

而我和同事們是第一批成功實踐了卷積神經網絡的人（即楊立昆1988-1989年期間在貝爾實驗室提出LeNet）。當時沒有PyTorch、TensorFlow等工具，需要自己寫深度學習環境，也沒有Python，需要寫自己的語言進行交互。當時也沒有Linux和Windows操作系統，需要使用昂貴的平台來處理圖像系統。因此，當我們付諸心血來構建能實現它的工具，並精心設計結構使其奏效之後，便開啓了一種新的技術突破。在我看來這項突破並不算知識突破，因為站在知識的角度上，其原理早已存在。

楊立昆在貝爾實驗室期間提出LeNet

卷積神經網絡的成功離不開反向傳播算法。1986年，我用法語寫了一篇論文發表，卻無人問津，如果用英語寫也許會讓更多人看到，我在書裏也寫到了這個故事。當時我獨立地提出了反向傳播算法的原型，並不知道Hinton也有相似的觀點。在20世紀60年代，即使人們知道使用多層卷積可以提升神經網絡的效果，也無法設計出合適的優化算法。因為他們使用的是二進制神經元，函數的間斷導致在一些區域內導函數不存在，模型無法利用基於鏈式法則的反向傳播算法進行參數優化。

反向傳播算法是深度學習的基礎優化算法。這種算法的設計思想與上世紀60年代提出的現代控制理論中的最優控制理論有關，所以其基本思想非常古老。除了鏈式法則，它不需要任何複雜的數學公式。在一個諸如神經網絡這樣的多層結構中使用鏈式法則的想法，直到20世紀80年代才萌生。在接下來的10年中，人們又由於理論晦澀而對反向傳播失去了興趣，認為這種算法沒有前景，即使事實恰恰相反。從21世紀初到2010年代，我和Geoffrey Hinton、Andrew Ng等人花了很大功夫才讓業界相信這行得通：這不是僥倖，也並非意外。

袁嵐峯：在《科學之路》中，你提到曾發明了一個名為HLM（Hierarchical Linear Model）的模型，雖然結構很簡單，但因為使用了非連續函數，所以距離深度學習僅一步之遙。如果你改用Sigmoid或其他連續函數，模型是不是就可能成功？

楊立昆：是的。當時我之所以堅持使用二進制神經元，是因為當時的計算機運算速度沒有如今這麼快。所以我認為如果使用二進制神經元，就可以大大縮減運算時間。為了能夠實施反向傳播，我認為每個神經元可以反向傳播目標輸出，而不是其中間變量。但結果表明，為了能夠有效地更新模型參數，依然需要連續型變量。因此在當時的情況下，HLM距離正確方法確實只有一步之遙。

02

AI：技術or科學？

黃鐵軍：我認為AI首先是技術，而不是科學。AI研究人員需要做的是構建、設計強大的智能系統。如果系統運行良好，我們再去嘗試探究系統運行良好的原因，這才是科學。所以我的觀點是，AI首先是技術，之後我們再去研究原理和系統，這也是我在您書的中文譯本序言中闡述的基本觀點。所以我想就這個問題與您交流一下。

楊立昆：在我看來，AI的首要屬性是創新性，即構思並設計一種新產品、新系統和新想法，確實是一種創造性的行為。這是工程領域的工作，就像藝術家們的事業一樣。而科學家所要做的是提出描述世界的新概念，然後使用科學方法研究解釋系統的原理，這也是AI的兩方面。研究AI，既是一個技術問題，又是一個科學問題。

終極問題是，我們要試圖弄清楚智能是什麼。我們不僅需要構建人工智能系統來進行視覺和自然語言理解，還需要了解智能的本質。以蒸汽機為例，新發明會推動理論研究。在科學家們發明蒸汽機百餘年後，熱力學誕生了，而熱力學本質上是所有科學或自然科學的基礎。因此，我們在AI中發明的人工製品可能是科學或智能本身，或者説這是我們的願景。

黃鐵軍：你在書中分享了一些例子，1903年的萊特兄弟，以及更早期的克萊門特，他們發明了飛機。三十多年後，西奧多·馮·卡門發現了空氣動力學理論。在這個例子中，飛機的發明與空氣動力學至少是同等重要的。所以對於人工智能來説，例如深度學習效果很好，它是一項發明，一種貢獻，是一個非常強大的人工智能系統。當然，我們需要探究深度學習為何如此有效，但那可能是很多年以後的事了。也許二三十年，甚至更多年以後才能有所發現。作為BAAI的院長，我認為，需要有人探究人工智能系統的原理。與此同時，可能也需要更多的人來設計更強大的系統。

03

關於生物啓發智能

楊立昆：我瞭解到BAAI也研究人類大腦的結構，試圖理解大腦的運行機制。就功耗而言，現在大腦的效率遠高於計算機的效率。假設要使計算機達到人腦的算力，能耗可能是人腦的一百萬倍，但這並不意味着計算機可以複製大腦所做的事情。

大腦的能耗量只有25瓦，相當於一塊普通GPU。人腦究竟是如何做到的呢？生物學給了我很多靈感，好比卷積神經網絡的靈感來自視覺皮層的架構。但是，正如我在《科學之路》之中提到的，如果科學家太依賴生物學，在不瞭解基本原理的情況下試圖複製生物現象的一些細枝末節，那將難以構建準確有效的系統。

我舉個例子，19世紀後期法國航空業的先驅克萊門特·阿代爾是一位出色的工程師，他製造的飛機實際上在19世紀90年代就可以靠自身的動力起飛，比萊特兄弟早了30年。但是他的飛機形狀像一隻鳥，缺乏可控性。所以飛機起飛後，在離地面大約15釐米的高度，飛行了15米就墜毀了。究其原因，是他只考慮到了仿生但沒有真正理解其中的原理。

阿代爾的飛機充滿了想象力，在引擎設計方面他是個天才，不過由於缺乏空氣動力學的理論支撐，他的設計終究沒有走遠。所以對於試圖從生物學中獲得啓發的人來説，這是一個有趣的教訓，我們還需要了解基本原理是什麼。生物學中有很多細節是無關緊要的。

黃鐵軍：我同意你關於生物啓發或者大腦啓發的觀點，只是有一點不同，關於大腦的原理，腦科學家們已經探索了至少100年。但是對於AI，每十年或者二十年就可以有新設計。對我來説，生物學的啓發就是視覺皮層的結構，來啓發我們去設計一個新的ANN結構，參考神經元突觸等的原理，並不一定是全腦的理論。我們基於可用的資源去設計人工神經網絡，這就是我們在BAAI所做的事情。

楊立昆：這個問題其實是是否使用脈衝的問題。現在的人工神經網絡，基本上神經元的輸出是通過數字編碼的，用數字表明它們的活動。但是大腦中的神經元不輸出電壓或類似的東西，它們輸出脈衝信號。這種輸出的強度被稱為脈衝頻率，所以其中一個問題是，像大腦一樣使用脈衝信號是否重要，而不是像目前在人工神經網絡中那樣只用數字來表示。

很多人都會有這種疑問，有些人認為我們應該使用源於硬件設計的脈衝，因為就軟件的能耗而言，脈衝信號傳輸更經濟，即使速度較慢。

以脈衝神經網絡為例，所有的人都認為它有魔力。大家不懂其中的原理，僅僅是因為大腦使用脈衝，就在神經網絡中引入脈衝信號，我不認同。況且，現在性能最優的神經網絡並不使用脈衝信號進行傳輸。這是我對是否應該從神經生物學中獲得更多啓發的回答。

黃鐵軍：關於這一點，我想和您分享一個我引以為傲的事情。我的一個博士生近期發表了一篇關於視網膜編碼原理的論文。她設計了基於CNN的神經網絡來模擬人類眼部的活動。這是截至目前最好的一個模型。我的團隊正在設計一款“超高速脈衝相機”。

超高速脈衝相機

楊立昆：我知道，這是上世紀80年代末和90年代初的熱門話題，一種基於脈衝的模擬電路，可再現神經元的功能，採用脈衝神經網絡來編碼數據。這一課題一度陷入低迷，但因為人們對用於AI和神經網絡的低功耗硬件很感興趣，現在又重新迴歸了。至於它相較傳統應用的優勢，我認為還需數年的研究來證明。當然在這一領域還需要大量工作。

有趣的是，對於所有脊椎動物來講，視網膜都是大腦的外延。眼睛收集光線，而視網膜必須壓縮通過眼睛的信息。因為將視網膜連接到大腦的神經必須經過一個眼球部位，那裏是生理盲點，視覺纖維彙集向視覺中樞傳遞的出眼球部位（無感光細胞），如果那個位置在你的視野中，不能引起視覺，你什麼也看不到。雖然大腦會收到信息，但實際上在那你什麼也看不到。

視網膜大約有五千萬到一億個感光細胞，但視神經與大腦的連接只有一百萬個，因此在傳輸圖像之前，必須在視網膜中進行大量的預處理和動態壓縮。

這是進化中的錯誤。所有的脊椎動物都是這樣。但無脊椎動物不是。章魚和魷魚的視網膜後面有神經，所以它們沒有這個問題。這是更好的設計。與脊椎動物相比，無脊椎動物的進化更加幸運。所以我們可以問自己一個問題。如果要重現與人類具有相似性能的視覺系統，我們要解決在視網膜和大腦之間傳輸的信息瓶頸嗎？有神經科學家正在建立網絡模型，來處理視網膜和大腦之間傳遞的信息。這是我對進化的看法。生物學也並非絕對正確。就這一方面來看，脊椎動物有點不走運。

黃鐵軍：是的，我完全同意。實際上，我的學生設計了一個模型來模擬視網膜功能，這是從生物學角度入手的。同時我自己的團隊設計了一個照相機。如你所説，相機設計不在乎輸出帶寬，所以輸出光纖會將動作電位高速傳向計算機。我們在同時進行這兩項設計。

04

如何看待大規模NLP預訓練模型

劉知遠：近幾年，我們見證了機器學習方法從監督學習到自監督學習的成功發展。我們可以在預訓練的語言模型上使用大量無標籤數據進行微調，而參數量也增長到上千億級別。我很好奇你對這種大規模預訓練語言模型的看法？

楊立昆：人工智能界在過去兩三年中產生了重大變革，一種新型的神經網絡架構——Transformer問世。實際上，這種架構類似於記憶模塊，當給模型輸入一連串向量，其可以產生另一個關聯的向量，通過查詢恢複相關的記憶。

所以Transformer是大量相關記憶模塊以特定形式排列的架構，這種架構可以將訓練數據中所包含的信息挖掘並存儲下來。當一串文字輸入到經過預訓練的Transformer模型中，可以使其預測下一個單詞。這些模型具有少則數十億，多則上萬億的巨量參數。採用非常豐富的數據來源，數據量十分驚人。這就相當於給模型賦予了一些以文本編碼的人類知識，使其學習到人類世界的先驗信息，而這些先驗知識的內容往往又極其豐富，因此模型在處理自然語言方面常常能有令人驚豔的表現。

諸如Transformer這種大規模自然語言處理預訓練模型的使用，標誌着自監督學習的方法在深度學習領域開始引領革命的旗幟。和傳統監督學習、強化學習等機制不同，自監督訓練一個模型不是為了完成某一特定任務，而是為了訓練其瞭解數據的能力。所以這種學習方法的運行方式是，去除句子中10%-15%的單詞，訓練系統預測缺少的詞彙。在這個過程中，系統開始構建對文本含義的理解。

舉個例子，如果將“貓在廚房追”作為模型的輸入去預測下一個單詞，那麼答案應該是老鼠或者其他小型動物，因為這樣的預測符合現實世界的邏輯。而如果將“獅子在大草原追”作為模型的輸入，那麼輸出就應該是瞪羚或其他草食動物。雖然根據這些有限的信息，模型可能無法準確得出具體在追什麼，但是由於存在貓、獅子、廚房以及大草原這些信息作為先驗，模型可以預測出一個大致的範圍。而如果僅僅給模型輸入“XX在XX追”，由於缺少行為者和具體的場景，模型將很難判斷空缺位置應該填入什麼。

所以説，這種基於大規模預訓練模型的自監督學習，就是給系統注入了人類世界的先驗知識，使得在處理語言任務時，能夠聯繫輸入向量的上下文信息做出合理判斷。而這種自監督學習方式，也是對自然語言處理任務的巨大變革。

05

關於自監督學習

劉知遠：您將預訓練語言模型稱為一場變革。您認為預訓練模型或者自監督學習是實現人工智能終極目標的方式嗎？如果是的話，我們應該如何提升自監督模型效果？

楊立昆：我的答案是肯定的。我認為現在人工智能的一個巨大機遇就是從人類和動物身上學習經驗，最好的範式就是自監督學習。自監督將變革人工智能，並讓人工智能取得更大的進步。這種學習方式使得人們可以使用少量數據就能進行模型訓練。當需要系統完成特定任務時，不需要過大的數據量，只需要按照現有的監督訓練方式標記數據即可。

一個小孩出生兩個月內，學會了基礎的事情，比如世界是三維的，物品擺放有前後方位之分，身邊的每個方向都有相對的距離。這些是很簡單的概念。之後，他學會了即使是在目光所不及的地方，物體仍然存在。這就是所謂的事物的永久性。到八、九個月時，他學會了如果物體沒有支撐，就會掉落，重力對每個物體都有影響。在出生後的九個月裏，小孩學會了很多基礎的環境知識，瞭解了世界的運轉方式。他們在大腦中建立了對世界的認知模型，使得他們可以預測即將發生的事情，瞭解世界，區分動物和靜物，弄清楚如何移動物體、如何組裝零件。

在我看來，這種學習機制與自監督學習十分相似，但卻和我們現在使用的監督學習、強化學習迥異。我認為，研究大腦的學習原理是更有效的途徑，我們去複製學習的原則而非直接再現大腦的功能，因為大腦過於複雜。圖靈在二十世紀五十年代就曾説過，如果想創造智能機器，複製小孩的大腦比複製大人的更合理，因為機器可以學習並自我進化。

06

寫作《科學之路》的動因

袁嵐峯：我代表大眾問一個問題：你為什麼要寫這本書？

楊立昆：原因很簡單，因為有需求。人們見證了生活被人工智能改變，也意識到未來將有更大的改變。因此對大眾而言，瞭解人工智能的一些知識是很重要的。這本書分為三個部分。第一部分是歷史，解釋了基礎概念，講解神經網絡和深度學習的發展；第二部分講述數學、算法和計算機科學的基礎原理，讀者不需要具備相關的知識儲備，僅具有高中及以上的水平就可以讀懂；最後一部分是人工智能在今天的應用，包括機器翻譯、內容審核、計算系統等，還介紹了未來的發展趨勢，探討人工智能到底在研究什麼。這一部分裏我所講述的是我的主觀觀點，而並非是業內專家們的共識。人工智能對社會可能存在的影響有哪些？潛在應用有哪些？我在本部分表達了我對未來的觀點。

總而言之，第一和第三部分所有讀者都能讀懂，而如果你想了解其中的原理、獲得一些靈感的話，可以閲讀第二部分。之所以加入第二部分是因為，回想我自己的學生時代，對人工智能很痴迷，但當時的人工智能還處在萌芽階段。對於一個初學者來説，很渴望的是一本簡明扼要介紹基本原理的書，而非一本全是晦澀概念的書。

所以寫作這本書的另一個目的是啓發青年學生，讓他們更多地瞭解人工智能，因為這是一個充滿吸引力且重要的領域。

07

如何看待中國的人工智能研究

袁嵐峯：最後，您有什麼話想對中國讀者説嗎？

楊立昆：在我看來，中國年輕人對人工智能熱情高漲。而且不僅是年輕人，政府也對投資、研究和部署人工智能很重視。過去的幾十年裏，中國的科學界非常活躍，取得了令人難以置信的成就，而其中最為出色的領域之一就是人工智能和深度學習，計算機視覺頂會中有一半都是中國的論文。

另外，我對於技術應用很樂觀。不過與此同時，我們也應認識到，人工智能是一把雙刃劍，利弊取決於如何使用。在中國、歐洲和美國，人們對於在社會中使用和接受人工智能的看法也不一樣。錯誤地使用人工智能會侵犯隱私。我們需要重視如何在國家層面構建法律體系和政策或商業法規等，保護公眾免受人工智能的負面影響。當然，這個過程需要一些時間的沉澱。

本文經授權轉載自微信公眾號“智源社區”，原題目為《Yann LeCun：發現智能原理是AI的終極問題 | 獨家對話》。

特 別 提 示

1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閲不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關注公眾號，回覆四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。