李國傑：人工智能“大力出奇跡”的背後是什麼？

【文/李國傑】

人工智能已經取得非凡的突破，國際稱為“phenomenal breakthrough”。phenomenal 本身有“非凡”的意思，可能是最早翻譯有關文章的學者英文水平不高，杜撰了“現象級突破”這個吸引眼球的奇怪中文，通過網絡傳播就被大家接受了。現象應該比本質低一個層次，但是“現象級”又被説成是最大的突破，歷史上只有幾次，兩者相矛盾。這是語言傳播中將錯就錯的一個案例。其實就是一個了不起的突破，一個非凡的突破。

李國傑院士

我的看法是，生成式人工智能（AIGC）大大加速了人類向智能時代邁進的步伐，知識自動化的普及已成為第四次工業革命的標誌，機器湧現理解能力對人類社會的影響絕不可低估。人工智能現在到底發展到什麼水平？不同人有不同的看法。有些“預言家”和媒體人士認為“奇點”臨近，人類已危在旦夕。但嚴肅的人工智能學者大多比較冷靜，認為人工智能仍處在伽利略（開普勒）時代或牛頓時代前夜

總的來講，對人工智能的看法應該一分為二，也就是“兩點論：一是人工智能技術在應用層面已取得前所未有的重大突破，對經濟和社會發展將產生深遠的影響；二是它在科學上尚未成熟，還需要做深入的基礎研究。

這一波人工智能令人既欣喜又困惑。大模型的開發與應用成為人工智能發展的重要趨勢，這導致算力消耗從佔全球能源的3%，增長到近幾年的10%，預計到2030年可能會達到30%甚至更高。如果按算力4個月翻一番的速度增長，10年內算力要增長十億倍。急速增長的算力需求對現有能源體系提出了巨大挑戰。核聚變能源和量子計算技術普及以前難以滿足這種爆炸式的需求。目前我們還無法確定大語言模型（LLM）是否就是人工智能發展的終極方向，有不少學者對此仍持保留態度。我這個報告嘗試從計算模式演變的角度探討“大力出奇跡”背後的原因，並提出計算機科學領域的專家們需要關注的研究方向。

OpenAI 首席執行官山姆 · 奧特曼也表示，人工智能將消耗比人們預期更多的電力，未來的發展需要能源突破。  圖源：pixabay

我從Richard Sutton 2019年寫的一篇文章談起，這是OpenAI員工必讀的一篇博客文章。Sutton是 DeepMind 公司的傑出研究科學家，被譽為“強化學習教父”。他在這篇文章中做出一個重要結論：“苦澀的教訓：人工智能研究人員一直試圖將人類已知的知識構建到他們的智能體中，長遠來看，這種方法停滯不前，唯一重要的是利用計算。突破性進展最終是通過相反方法，基於搜索和學習實現的。這種成功帶有苦澀，因為不是以人為中心的方法，而是依靠機器學習。”

這個教訓包含兩層含義：一是傳統上我們強調知識的重要性，認為“知識就是力量”，當然知識依然是一種力量，但數據和算力同樣是強大的力量，它們結合起來能夠產生新的知識；二是知識不一定由人創造，有可能是由機器生成，而人類尚不瞭解，這就是令人感到苦澀的原因。

理查德·薩頓（Richard Sutton），阿爾伯塔大學計算機學教授。

GPT-4等智能技術，與20年前的人工神經網絡理論本質上並無差異，其原理可追溯至1943年麥卡洛克和皮茨提出了神經元計算模型。GPT4和Sora等智能生成技術並沒有提出新的人工智能原理，OpenAI和谷歌等公司主要起到工程放大作用。當前流行的一句話是“規模即所需”（scale is all you need），我個人認為這種説法並不是嚴格的科學判斷，只能認為是一種“假設”或“經驗規律”，甚至是一種“信仰”或者説“豪賭”。

以OpenAI為代表的學者們歸納出了幾條“公理”，強調Scale（規模）是制勝法寶。這些公理不像歐幾里得幾何公理那樣久經考驗，但已有幾十年的研究歷史證明是對的,因此可以看作“假設性的公理”。第一條公理就是“苦澀的教訓”，人工智能領域所有的各種各樣的技術，都比不過算力支持的通用算法，所以應當認為，強大算力支持的通用算法（包含模型和數據）才是人工智能真正進步的方向；第二條公理是規模，就是説一旦選擇了良好且通用的數據標註，良好且通用的算法，就能夠找到一套通用的規律，數據越多，模型越大，效果就越好，而且這個規律在訓練之前就可以預知它的效果；第三條公理是湧現，隨着規模擴大、數據加大，大模型一定會湧現出以前沒有的能力，這個能力所有人都可以看到。

公理1是説，大模型，大算力，大數據是AGI的必要條件；公理2 是説，大規模是AGI的充分條件，大就是好 ；公理3是檢驗公理。OpenAI等成功公司自己總結的經驗是：如果你能用scale解決的問題，就不要用新的算法解決。新算法最大價值是讓它怎麼更好的scale。這三條公理是用大白話描述的經驗總結，還有待今後的實踐驗證，而且表達上也不像數學公理那麼嚴謹 ，所以目前還只能認為是一種信仰。

我個人認為，人工智能的突破是得益於大數據、大模型和大算力，這三個“大”缺一不可，不能只依靠其中一個。單純的算力不是萬能藥。就説圍棋，如果圍棋棋盤擴大到20×20，暴力搜索所需的算力需要提高10的18次方倍，即從3的361次方提高到3的400次方，光靠算力無濟於事。

圖源：pixabay

為什麼大模型擴大規模就能出奇跡？其背後的原因可能涉及計算模型和複雜系統，需要從計算複雜性的角度去思考。計算機科學中討論的“問題”,是指精確定義的包括很多問題實例（instance）的一個問題類，比如旅行推銷員問題（TSP），布爾表達式的可滿足性問題（SAT）等等。

一個問題的計算複雜性是計算機科學中少有的不變量，如同質量守恆，能量守恆一樣重要。問題的計算複雜性不隨算法的改變而改變。但這種不變性是針對同一個計算模型而言的，目前我們大多是在圖靈模型下討論計算複雜性。在不同的計算模型下，同一問題的計算複雜性可能不一樣。最典型的例子是在量子計算模型下解決大數分解問題，Shor算法的計算複雜性是多項式級別，而在經典的圖靈模型下是指數複雜性。平時大家講不同計算模型的等價性是對可計算性而言，不同模型下計算複雜性的比較是我們關心的問題，但這樣的研究成果不多。

自然語言理解、模式識別等很多人工智能問題，以前是公認的困難問題，也有人説人工智能問題大多數是具有指數複雜性的NP困難問題（通俗地講，NP困難問題是指問題規模較大時計算機難以解決的問題），這只是一種模糊籠統的説法，沒有給出嚴格的定義和證明。因為所謂人工智能要解決的問題，大多是指的一類應用，如人臉識別，機器翻譯等。人工智能問題的計算複雜性究竟有多高，其實是講不清楚的。一篇文章從英文翻譯到中文，什麼叫做對了，什麼叫完成任務，並沒有一個嚴格定義。這些問題用現有的計算複雜性理論沒有辦法討論，因為討論計算複雜性一定要講清楚輸入、輸出是什麼，要解決的問題必須有嚴格的定義。

人臉識別與機器翻譯概念  圖源：pixabay

有人説，大模型解決人工智能問題效率高就是因為這種模糊性，不求最優解或精確解。但計算複雜性理論告訴我們，有些問題，如旅行推銷員問題（TSP問題），用神經網絡求近似解，仍然具有指數複雜性。而中國科學院計算所用機器學習方法全自動設計CPU芯片，正確率要求高達（99.99999999999%，13個9），也能在5個小時內實現。可見僅僅是求近似解，並不是高效率的必要條件。

現在用大模型做機器學習，不管是文字、圖像、視頻生成，還是圖像、語音識別，機器翻譯、氣象預報等等，實際效果比過去的方法好很多。究竟是什麼原因？與邏輯推理和過去的專家系統等人工智能方法，我們究竟改變了什麼？我的看法是改變了計算模型（機器學習也是一種計算模型）。

計算模型有高低不同的許多層次，最高層次的計算模型也有很多種，除了圖靈模型外，還有λ演算，模擬計算（連續量計算）、量子計算等等，現在大家在做的機器學習，是數據驅動的圖靈計算，不是經典的圖靈計算。所謂“圖靈機”不是指一台機器，而是指一個“過程”，圖靈模型定義了什麼過程是計算。圖靈機限制很多，第一，所有輸入的信息必須是現成的，計算之前必須告訴它要輸入什麼；第二，計算過程中與輸入源不能交互，第三，機器必須按照有限的確定性規則運行，在有限的時間內結束等。

圖靈計算是嚴格計算機科學意義下的計算，輸入輸出都是確定的，在不同的機器上計算，結果一樣，今天算與明天算結果也一樣，所以它解決問題的能力是恆定的。但現有的機器學習系統是與外界交互的，計算能力在到達飽和之前與日俱增。下面的圖1 參考了王培2023年8月24日在科普中國·星空講壇的報告，其中黑線表示人們期望的具身AI系統，比現在機器學習系統具有更強的適應性，直接與現實物理世界交互，能學到現實世界的知識和規律，包括人類還不掌握的知識。紅線是某些學者預測的能力指數級增長的超人智能，是否存在有待驗證。“計算”的內涵已經發生變化,網絡上永不停機的交互式信息服務和機器學習等已經不是嚴格意義的圖靈計算，但仍然使用同一術語，所以引起很多混淆和爭議。

馮·諾伊曼最早認識到神經元模型不同於圖靈機模型，他指出：“圖靈機和神經網絡模型分別代表了一種重要的研究方式：組合方法和整體方法。McCulloch & Pitts 對底層的零件作了公理化定義，可以得到非常複雜的組合結構；圖靈定義了自動機的功能，並沒有涉及到具體的零件。”

馮·諾伊曼還做出預言：“信息理論包括兩大塊：嚴格的信息論和概率的信息論。以概率統計為基礎的信息理論大概對於現代計算機設計更加重要。”

從目前大模型取得的成功來看，馮·諾伊曼的預言已經變成現實。對自動機理論而言，神經元模型可能比圖靈模型更有價值。神經網絡不是按照確定的算法實現圖靈計算，其主要功能是“猜測加驗證”。猜測和計算是兩個不同的概念，基於神經網絡的機器更合適的名稱是“猜測機”，而不是“計算機”。大模型的本質是基於概率統計的不確定計算，其解決複雜問題的效率大大高於圖靈模型。

神經元模型與圖靈機模型幾乎同時提出，已經競爭了幾十年。很長時間內圖靈機模型一直佔上風，但Hinton 等教授從未放棄，直到2012年在ImageNet的圖像識別競賽中一鳴驚人，基於神經元網絡的深度學習才紅火起來。圖靈機計算模型和神經網絡計算模型各有優勢和不足，在不同的領域內表現各異，兩者不是取代關係，而是需要取長補短，相互配合。

值得指出的是，1948 年，艾倫・圖靈寫了一篇題為《智能機器》(Intelligent Machinery) 的論文，這篇論文提出了“無組織機器”的概念，實際上是早期的隨機連接神經網絡模型，幾乎描述了目前人工智能聯結主義的基本原理，包括遺傳算法和強化學習。由於沒有得到他的老闆的認可，一直沒有發表，到2004年才被發現。這篇文章表明，圖靈本人也看好神經元計算模型。我想，如果學術界早看到這篇論文，今天的計算機世界可能是另一幅模樣。

人工智能的基本假設是丘奇-圖靈論題（Church-Turing thesis），即“認知等價於計算”。1992年我在《模式識別與人工智能》期刊上發表的“人工智能的計算複雜性研究”一文中指出：“人工智能要走出玩小孩遊戲(toy problem ) 的圈子，只有兩條出路，要麼承認Church-Turing假設，以現有計算機能力為基礎(與圖靈機能力只差多項式倍),尋找合適的問題描述，發現人工智能中的易解問題；要麼不承認Church-Turing假設，尋求新的“計算”模型，使得對人腦易解的問題在新的模型中也易解。”現在來看，當時的判斷經得起時間的考驗，尋找合適的問題描述和尋求新的“計算”模型，仍然是人工智能界的主要任務。

艾倫・圖靈

有人反駁我的觀點説，現在計算機中執行的每一步都是圖靈計算，我們是把其他的計算模型都“映射”到圖靈機，用圖靈機模擬其他模型。這可能涉及整體和局部的辯證關係。機器學習的整個過程像是一條彎彎曲曲的曲線，曲線的每一小段微分都可看作直線。也就是説，目前數字計算機的每一步具體操作是按照圖靈計算做的，但機器學習整個過程合起來已經不是圖靈計算。這裏可能隱含許多深層次的奧妙。在人工智能領域，我們需要對計算複雜性進行全新的研究，因為許多新現象的出現無法用舊有的理論來解釋。目前存在一個問題：專注於複雜性研究的學者往往不涉足人工智能領域，而從事人工智能研究的學者通常對複雜性研究不感興趣。我相信這兩個領域結合起來會有原理性的突破。

馮·諾伊曼去世後整理發表的著作“自複製自動機理論”指出：自動機理論的核心概念在於複雜性，超複雜的系統會湧現出新的原理。他提出了一個重要的概念：複雜度閾值。突破了複雜度閾值的系統，就會由於在數據層的擴散和變異作用而不斷進化，可以做很困難的事情。現在的神經網絡模型有數千億個參數，可能已接近能處理困難問題的複雜度閾值點。複雜度閾值是一個十分深奧的科學問題，還沒有引起學術界高度重視。複雜度閾值並不等於模型的規模，需要深入研究。

對待大模型，企業界有不同的態度。籠統地講，可以分成“榔頭派”和“釘子派”。“榔頭派”是技術信仰派，信仰AGI、信仰 scale law，追求模型的通用性，認為大模型就是個“榔頭”，什麼釘子都可以敲。“釘子派”認為先要找到釘子，榔頭才能起作用，更相信可以變現的商業場景。我認為榔頭和釘子都很重要，兩者要結合。人工智能還處在探索階段，要鼓勵技術途徑的多樣性。大模型是實踐證明的可行途徑之一，不能認為是碰運氣，要爭取在大模型技術上迎頭趕上，有所突破。也要結合中國國情，走出自己的人工智能發展之路。人工智能技術應當更多地用在材料、醫療、工業控制等領域，產生實實在在的經濟效益。

人工智能技術在醫療領域的應用  圖源：網易科技

當我們探索大模型時，可能會發現關於智力本質的新原理，就像物理學家在20世紀發現關於物理世界的新原理一樣。量子力學被發現時是非常違反直覺的，當智能的基本原理被發現時，它們可能同樣違反直覺。如果關於大模型的解釋一講就懂，可能還沒有找到真正的原因。

2022年，科技公司創造了32個重要的機器學習模型，而學術界只產生了3個，這與2014年形成了明顯的反差，當時大部分AI突破都來自高校。近年來約70%擁有AI博士學位的人才進入私營公司就業，20年前這個比例只有21%。頭部科技公司對AI領域的“壟斷”愈發嚴重，學術界面臨前所未有的挑戰。技術發展方向完全被企業家和投資人控制不一定符合全人類的共同利益，科學家在引領科技良性發展中要發揮應有的作用。