人工智能如何“思考”？我們才剛剛開始理解這一點——《華爾街日報》

在硅谷，你走不了多遠就會碰到一家“AI for X”的初創公司。有面向企業科技的AI，面向醫療的AI，面向婚戀的AI，諸如此類，不勝枚舉。

毫無疑問，其中一些初創公司純粹是營銷噱頭。但其他大多數公司也只是將現有AI技術套用到人類某類需求或慾望上——從資金雄厚的初創企業和科技巨頭（如OpenAI的ChatGPT、谷歌的Bard和Anthropic的Claude）那裏獲得大型AI系統的授權，然後將其應用到創始人認為尚未被AI充分開發的任何人類活動領域。

這些初創公司和服務突然遍地開花，似乎表明它們所依賴的AI技術已經成熟。但在很多方面，事實並非如此——至少目前還不是。不過好消息是（對AI愛好者而言），支撐這一切喧囂的底層AI技術正在快速進步。這意味着今天的炒作可能很快成為明天的現實。

要理解這一切——為什麼AI尚未成熟、它們如何進步、以及這預示着我們未來的方向——我們需要展開一段思想之旅。

當代蒸汽機

首先，瞭解這些AI的工作原理很有幫助。必須掌握兩個術語：“生成式AI"和"基礎模型”。當前令人們如此興奮的新一代AI（那些在幾年前還被認為是人類專屬的能力）被稱為生成式AI。它們基於基礎模型——這些龐然大物通過海量數據訓練而成，在許多情況下，其訓練數據高達數TB，幾乎囊括了互聯網上所有可獲取的信息。

生成式AI是指那些能對文字提示生成 eerily humanlike responses to written prompts詭異擬人回覆，或創造出令人驚歎的逼真圖像，或合成出與原型如出一轍的人工語音的人工智能。

要理解這類AI將引領我們走向何方，以及為何預測總是有限的，最佳方式是將它們與處於發展初期的其他顛覆性技術進行對比。以蒸汽機為例：18世紀初，沒人能料到托馬斯·薩弗裏和托馬斯·紐科門發明的原始蒸汽水泵（用於礦井排水）有朝一日會演變為發電必備的高效蒸汽輪機（畢竟當時電力尚未被發現）。

即將出版新書的作家喬治·穆瑟指出，最早的蒸汽機是直覺與反覆調試的產物，而非基於對熱力學原理的深刻理解。他的著作探討了科學家如何探索人類與機器智能本質的新路徑。

這種"先有技術實踐，後有理論認知"的模式在科技史上不斷重演。蒸汽機出現後，人類才逐漸形成被稱為"熱力學"的系統認知，這一理論最終自成體系，成為物理學中普適性最強的分支之一。

穆瑟表示，歷史正在驚人地重現：當前AI同樣是直覺與試錯的產物，其運作機制仍是未解之謎。但正如早期蒸汽機藴藏着無數未來應用的種子，當今生成式AI的潛力釋放，正等待一個剛起步的關鍵突破——理解基礎模型與生成式AI的真正工作原理。

為此，計算機科學家、數學家、物理學家、神經科學家和工程師們正攜手開創一個全新研究領域：機器智能的通用科學。隨着研究的深入，我們正逐步洞悉人工智能未來可能實現的能力邊界。

探尋推理之謎

例如，部分研究者確信某種基礎模型已具備實質意義上的推理能力。

這裏需要引入第三個術語——大語言模型。作為生成式AI的一種，大語言模型是專門通過文本訓練的基礎模型代表（如ChatGPT、Bard及Meta新推出的聊天機器人均屬此類）。

關於大語言模型是否已突破單純記憶與複述信息的界限，進化到能以全新方式整合信息——即進行真正推理——學界仍存爭議。

谷歌研究院AI專家布萊斯·阿圭拉·伊·阿卡斯指出，當代大語言模型在獲得充分信息提示後能處理複雜任務，這證明其具備推理能力。例如通過適當引導，模型可正確回答基礎數學問題——即使兩個四位數的乘積根本不在其訓練數據中。

“要解決這個問題，模型必須真正理解乘法運算法則，除此之外別無他法。“阿圭拉·伊·阿卡斯解釋道。

其他研究人員認為，阿格拉·阿卡斯高估了當今大型語言模型所具備的推理能力。人工智能公司Cohere旗下非營利研究機構Cohere for AI的主任莎拉·胡克指出，人們所認為的大型語言模型推理能力，部分可能只是它們記憶的內容。這或許可以解釋為何隨着模型規模擴大，它們會獲得新能力——並非因為語言訓練賦予了它們推理能力。

預測人工智能世界的未來，就如同讓蒸汽機的最初建造者去想象鐵路、飛機和火箭一樣困難。插圖：Delcan & Co. 使用Midjourney AI生成“許多未解之謎源於我們根本不清楚預訓練數據中包含了什麼，”胡克説道。這種認知空白源於兩個因素：首先，許多人工智能公司不再公開其預訓練數據內容；其次，這些預訓練數據集規模極其龐大（想象一下開放網絡上的所有文本），當我們向基於這些數據訓練的AI提出任何問題時，很難判斷答案是否恰好已存在於那片數據海洋中。

普林斯頓大學三年級博士生薩亞什·卡普爾表示，無論如何，現有充分證據表明這些大型語言模型具備某種形式的推理能力——儘管以人類標準來看仍很原始。他致力於研究並撰文探討當今AI的侷限性。“但同時也有證據顯示，這些模型在許多情況下通過記憶實現的性能宣稱可能被誇大了，”他補充道。

下一步是什麼

如果你已經讀到這裏，那麼回報來了：如果當今的大型語言模型具備一定推理能力（無論多麼基礎），這可能會推動生成式AI能力在未來幾年內快速進步。

部分原因在於，語言不僅僅是圖片或聲音等另一種交流媒介。它是人類為描述我們所能構想的世界萬物及其關聯而開發的技術。阿格拉·y·阿卡斯指出，語言讓我們能夠構建世界模型，即使沒有任何其他感官刺激（如視覺或聽覺）。這就是為什麼大型語言模型能流暢地論述兩種顏色之間的關係——儘管它從未真正"看見"過這些顏色。

此外，語言還是互聯網上無數為人類設計但可被生成式AI改造的系統的接口，比如搜索引擎。

綜合這些對大型語言模型的觀察，我們可能很快就能擁有完全基於個人數據定製的AI助手。谷歌已嘗試推出初級版本——其Bard生成式AI的更新版本可以搜索並整合你所有的電子郵件、日曆事項和文檔（只要它們已在谷歌系統中）——但目前仍顯粗糙且容易出錯。

阿格拉·y·阿卡斯認為，在不久的將來，這類系統在輸入個人數據後可能會更擅長自我調整，其方式類似於人類持續形成新記憶的過程。未來2到5年內，這將使AI助手在為我們每個人提供個性化回應方面表現更出色。

當我詢問阿圭拉·y·阿卡斯這類超個性化AI助手是否會問世時，他表示雖然無法評論谷歌未來的產品，但當前AI的發展軌跡意味着這類助手的存在是"一個顯而易見的必然結果”。

另一個必然結果是，未來AI將通過類似人類獲取能力的方式獲得新技能——即讓AI訪問基於雲端的人類服務軟件。

最典型的例子是讓聊天AI接入谷歌等搜索引擎。但互聯網上遠不止谷歌這一種搜索引擎——還有代碼庫、法律判例庫、學術論文庫等等。

生成式AI連接人類服務的途徑之一是"插件”。例如旅遊搜索服務Kayak（隸屬Booking集團）和Expedia都可通過插件接入ChatGPT通過插件，購物服務Instacart和Shopify亦是如此。

大語言模型需要插件的原因在於：雖然它們接受了海量信息訓練，但無法獲取網絡爬蟲抓取不到的內容；其知識更新僅止於最後一次訓練的數據集；即便擁有全部數據，某些推理（如數學運算）仍存在困難。

當大型語言模型能夠獲取人類已有的同類資源時，“AI助力X”服務和初創企業的未來版本所藴含的真正潛力便清晰可見。這些初創企業不再僅是提供現有基礎模型的授權和品牌重塑版本，而是開始整合各類其他數據與服務。例如，“AI法律諮詢”會整合法律判決數據庫，“AI診斷”則會接入醫學文獻數據庫。這些系統將利用大型語言模型的初級推理能力，為人們提供比當前經常出現的漏洞百出且虛構的答案可靠得多的解答。

難以想象

當我們都擁有這類新型認知輔助工具時，世界會變成什麼樣子？這就像讓蒸汽機的最初建造者預測鐵路、汽車、噴氣式飛機和火箭的出現一樣困難。

此外，要實現這個理想境界——即能代表我們調用互聯網超能力的AI助手擁有自然語言交互界面——仍存在諸多障礙。其中之一是當前生成式AI的運營成本，這需要大幅降低，才能讓數億人（而非僅限於早期使用者偶爾提出針對性問題）與未來的AI助手保持持續對話。

另一個障礙在於，即便是融合了大語言模型與專業系統、旨在提升特定任務性能的近未來系統，用Contextual AI首席執行官杜威·基拉的話説，也像是"科學怪人"。要解決這種拼湊系統產生的成本問題並提升其實用性，可能需要工程師們持續多年優化每個組件以實現協同運作，同時剔除對用户無用的部分。

從蒸汽機發明到火車頭問世，其間跨越了一個多世紀。與此同時，一門新科學應運而生，繼而催生了工業革命所必需的無數進步。如果生成式AI的發展遵循這一規律，其近期將湧現變革性發明——精通不同學科的AI、真正個性化的助手——隨後是多年的完善過程，人們會瘋狂爭相駕馭這些新技術並從中獲益，或許還會引發另一場工業革命。但這場革命的基礎不再是能源與物質，而是對數據與洞見的操控。

我們只能開始想象那會是怎樣的景象。

克里斯托弗·米姆斯是《華爾街日報》“關鍵詞"專欄作者。歡迎通過[email protected]與他聯繫。

出現在2023年10月24日的印刷版中，標題為《AI如何“思考”？我們才剛剛開始理解這一點》。