科學的光榮，哲學的醜聞：怎麼對付“歸納”帶來的麻煩？| AI那廝_風聞
返朴-返朴官方账号-关注返朴（ID：fanpu2019）,阅读更多！2019-06-20 09:58
撰文 | 王培（美國天普大學計算機與信息科學系）
人工智能中的很多核心問題首先需要一個恰當的哲學解，然後是把這個哲學觀點精確化的數學解，最後是把這個數學模型操作化的程序解。這三者缺一不可。
比如“機器學習產生偏見”就源於訓練數據的代表性，這其實是休謨問題的表現形式之一。注意到休謨問題會讓你發現，概率統計到底能不能用不是很容易能斷定的。
歸納有理嗎？
所謂“歸納”，指的是從個別事例到普遍概括的推理過程，比如從對諸多烏鴉的觀察中得出“天下烏鴉一般黑”的結論。與其相反的“演繹”推理則是從一般陳述到具體事例。在歷史上，對這些推理的研究是在兩個層面上進行的。一個是個體層面，關注一個人怎樣進行這些推理來獲得知識。這是認識論、認知心理學、邏輯學的核心問題之一，儘管這些學科的思路各有不同。另一個是在羣體層面，關注在科學理論的構建和使用中怎樣進行這些推理。這是科學哲學、科學史等領域研究的問題。儘管有各種細節上的差別，在這兩個層次上的歸納及其與演繹的關係仍有根本上的同質性，所以下面我會一起討論。
由於經驗科學往往是從觀察到的具體現象出發，逐漸概括、抽象到一般性理論，這一過程很自然地會被看成是個歸納過程。培根（Francis Bacon，1561-1626）、穆勒（John Stuart Mill，1806-1873）等哲學家就曾試圖整理出一套 “歸納邏輯” 或 “科學歸納法”，認為通過系統地收集和整理觀察材料，然後對假説進行評價和篩選，就可以得到可靠的科學理論。其實至今大部分科學家基本上還是遵循類似的方法，儘管他們往往將其看作天經地義，不需要專門拿出來討論的。
破壞了這一派太平景象的是休謨（David Hume，1711-1776）。他指出既然歸納是從已知事例中概括出一般結論，那就是一種“擴大知識的推理”，因為結論也包括了未來事例，所以超出了過去已知的範圍。除非未來和過去是一樣的，這種結論就不能保證正確。但怎麼證明未來和過去一樣呢？歸納證明會導致循環論證，更不必説有人會認為未來和過去本來就不會完全一樣。休謨認為歸納只是一種心理習慣，就是説我們的確都這麼想，但這種思維方式並沒有理性基礎，因此不這麼想也不能算錯。
休謨的論證總讓我想起魯迅《狂人日記》裏的詰問：“從來如此，便對麼？” 當然狂人的“對”説的是倫理，而休謨説的是邏輯，但二人的問題和得到的反應都差不多。學者們覺得休謨的論證難以反駁，但又絕不能接受，因為這樣一來知識和科學理論的合理性就都岌岌可危了。給他貼一個“不可知論者”的標籤和叫一個人“瘋子”的緣由類似吧。科學取得的成就有目共睹，這時候説其核心規則沒有道理可言只是習慣而已，這不是腦子有毛病嗎？
既然歸納的合理性難以論證，自然有人會為科學另找依據。波普爾（Karl Popper，1902-1994）寫了一本《科學發現的邏輯》，其主要結論卻是科學假説的發現不符合任何邏輯，而邏輯的作用只是對假説進行證偽。所謂的“科學理論”只不過是尚未被證偽的假説而已。這個結論影響很大，在挑戰很多自稱“科學”的學説時堪稱利器，但很多人覺得把歸納完全掃地出門似乎過分了。歸納被稱為“科學的光榮，哲學的醜聞”就是這個緣故：明明是個好東西，就是説不清道理何在。
黑烏鴉和黑綿羊的疑案
我猜讀到此處，有些讀者已經在心裏唸叨了：哲學家就是沒事找事。好用就行了唄，刨根問底幹什麼！我這裏就召喚兩隻黑色的神獸，用它們的力量來説明歸納裏面的麻煩遠不是把哲學家們都封口就完事了。
作為對休謨和波普爾的回應，很多人指出歸納結論的正確性不該被看成絕對的真或偽，而是個程度問題。歸納就是根據證據增加或減少對一個陳述的相信程度。比如説對“烏鴉是黑的”這個陳述，每當我們看到一隻黑烏鴉，我們對這個陳述的相信程度會上升，而如果看到一隻白烏鴉，相信程度會下降。這就是説，對“是A就是B”這種陳述而言，每當我們看到A的一個實例，如果它也是B，它就是陳述的正例，否則就是反例，而相信程度會相應被調整。
到此為止似乎沒毛病，但亨普爾（Carl Gustav Hempel，1905-1997）發現了一個問題：根據經典邏輯，陳述“是A就是B“ 和它的逆否陳述“不是B就不是A”等價，即説的是一回事。那就是説這兩個陳述的正、反例是一樣的。一個紅蘋果既不是黑的也不是烏鴉，所以它就是“不是黑的就不是烏鴉”的正例，因此也就是“烏鴉是黑的”的正例。這就是説每當你看見一個紅蘋果，你對“烏鴉是黑的”的相信程度就應該增加。這就是有名的“亨普爾悖論”，又稱“烏鴉悖論”。你如果覺得這還不夠怪，那你一定是個哲學家，因為亨普爾本人就建議我們接受這個聽起來怪怪的結果，否則的話我們就要挑戰邏輯等價性標準，那後果就更嚴重了。但即使我們硬着頭皮承認紅蘋果的確應該使我們更加相信“烏鴉是黑的”，那怪事也沒有完，因為根據同樣的理由，我們同時應該更加相信“烏鴉是白的”，“烏鴉是金子做的”，“天是藍的”，等等。奇妙吧？
如果黑烏鴉帶來的黴氣還多少可以賴到哲學家頭上，那下面的黑綿羊就完全沒法讓他們背鍋了。一個出處不詳的笑話説一位天文學家、一位物理學家和一位數學家坐火車進入蘇格蘭後，在窗外見到一隻黑色的綿羊。天文學家説：“蘇格蘭的綿羊是黑的！” 物理學家糾正説：“應該説有一些蘇格蘭綿羊是黑的。”這時數學家説：“你們都錯了。正確的説法是：在蘇格蘭，至少有一隻綿羊，且這隻綿羊至少有一面看起來是黑的。” 這個笑話八成是物理學家們編出來諷刺天文學家的不嚴謹和數學家的過分嚴謹，但它同時展示了歸納的另一個麻煩：即使是對同一個觀察結果來説，也存在多種概括的可能性。
比如説對上面的場景，歸納結論“蘇格蘭的綿羊是黑的”“歐洲的綿羊是黑的”和 “蘇格蘭的動物是黑的”與觀察的邏輯關係是一樣的，都是在“對象a是範疇A的一個實例”的條件下將 “a是B” 推廣到“A是B”。當一個對象同時屬於多個羣體時，選擇哪個做概括就是個問題了。這個選擇顯然不是任意的，但又沒有一個標準答案。比如説在描寫某人做了某事（可能是好事也可能是壞事）時，把這個人稱呼成某省人、某校畢業生、某公司僱員、某行業從業者都是可以的，但在讀者心目中造成的效果會多少有所不同，正是因為這個標籤會引導向特定方向的歸納。
上面兩個例子已經不僅僅是抽象的哲學問題了。如果我們設計了一個人工智能系統，那它在見到上述黑烏鴉、黑綿羊，以至於紅蘋果時，應該產生什麼樣的結論？當然一個保險的方案是不進行任何歸納或概括，但這種系統的“智能” 就相當有限了。我們都知道以偏概全是不對的，但又都覺得能見微知著的才是聰明人。
統計學習也躲不開這些麻煩
一旦歸納結論的真假被看作程度問題，一個顯然的選擇就是將其表示成概率，而統計推理的基本功能正是通過對現有樣本的分析來預測未來事件的發生可能性，因此也是歸納的一種形式。
這樣説來，休謨的問題在這裏也存在：怎麼保證已知樣本和未來事例遵從同樣的統計規律呢？從根本上來説這是沒辦法保證的。但在概率統計的理論模型中，這個問題可以利用基本假設來回避掉。比如説一個常見的假設就是所有樣本，包括已經收集到的和未來會遇到的，都是從同一個樣本空間中按照某種確定的概率分佈得到的。常見的實例是擲骰子。儘管反覆擲一個骰子時得到各個數字的機會可能是不同的，但只要是骰子和投擲環境不變，這些機會就不變。儘管我們開始時不知道這些機會的大小，用過去的出現頻率來預測未來的數字還是合理的。這裏能保證的不是每次都猜對，而是對各個數字出現的統計規律的描述可以越來越準確。
**但這不説明概率統計解決了休謨問題，而是相反：只有在有理由認為休謨問題不出現或不嚴重的情境下，才能使用概率統計。**並不是所有應用情境都滿足這個條件的。比如説把某隻股票的股價看作一個隨機變量就不一定是合理的，因為其取值未必遵循一個穩定的概率分佈。這應該算是常識，但往往被有意無意地忽略，其結果就是即使所有計算都符合概率統計的要求，結論也不具有規範性，因為在這個問題上用這個模型的合法性本身就有問題。
近來引起越來越多關注的“機器學習產生偏見”的現象就直接源於訓練數據的代表性，這其實也是休謨問題的表現形式之一。所謂“偏見”往往相對訓練數據集而言是“正見”，只是把它用於一個新的數據集時才看出“偏”來。在新的數據到達之前，一個統計結論是否屬於偏見其實是無從判斷的。這就是嚴格按照概率統計模型作出的預測仍可能失敗的主要原因之一。這種問題和由小概率事件、數據不足、數據中的噪聲等等所造成的問題不同，是不能用概率統計所提供的手段來解決的，因為這些手段的有效性本身就是建立在休謨問題不會出現的前提之下的。
面對一個具體應用問題，概率統計到底能不能用不是很容易就能斷定的。常見的對策是先用用試試，好就接着用，但以前的成功其實不能保證以後的成功，即使是那些號稱“已被大量事實充分證明”的結論也是如此。在環境不斷變化的情況下，無論是怎樣的大數據，也只説明過去，而無法準確預測未來，即使在概率意義下（如“保證95%的正確率”）也做不到。前一段時間，八百多科學家聯名要求停止使用“統計顯著性”，也和這個問題有關。所謂統計顯著性就是建立一個標準以確定在什麼情況下可以把一個統計假説看成是“真的”。這些科學家認為不確定因素總是存在的，所以沒有一個統一的標準可以把統計結論轉換成非真即假的二值結論。
除了休謨問題之外，前面提到的其它和歸納有關的問題也有其在概率統計中的相應形式。比如説對於歸納結論不唯一的問題，在機器學習中的一般處理方式是預先設定某種“歸納偏好”，以達到限制和選擇結論的目的。如果太貼近具體數據，即概括程度太低，會造成 “過擬合”，不大可能有效地推廣到尚未觀察到的對象。當一個待判斷對象同時屬於多個參照集（分別依照年齡、性別、籍貫、職業等等劃分）時，根據哪一個數據集之上的統計來得出判斷（比如這個人有多大可能患某種病）也不是個簡單的問題。
納思怎麼辦
我設計的通用人工智能系統 “納思” 在前面幾篇裏面介紹過了，這裏只討論和歸納直接相關的部分。從一開始，我就把智能看作某種一般理性原則，而非解決某些具體問題的方法。這樣一來就直接撞上了休謨問題：如果承認未來經驗和過去經驗可能是不一樣的，那麼從過去經驗中總結出的規律（不論是用歸納還是別的辦法）在未來就沒法保證一定正確。在這種情況下，怎麼做才算“理性“？舉例説來，即使已知的烏鴉都是黑的，那也不能保證將來碰不上白的。這是否説明預測下一次碰到的烏鴉是黑的或是白的同樣 “合理”，因為二者都有可能對？當然，任何正常人都認為在這時猜“黑“ 是顯然正確的，但這是為什麼？只是因為“從來如此”？
傳統的理性模型都是基於經典邏輯或者概率論的，其結論的 “真” 是以其公理的（建立在約定基礎上的）真和推理規則的 “保真性” 為前提的。天不變，道亦不變，而一旦 “得道”，其邏輯結論自然也就不可能錯。照此行事，自然就是合乎理性的了。這的確很圓滿，但一旦天道有變，亦或無法判定所得的是否真的是“道”（按休謨的論證，這種判定不可能得到），那就無計可施了。
當然還有另一種顯然的選擇，就是接受休謨的結論：歸納就是一種心理習慣，沒道理可講。人工智能當然也可以這麼做，就是用“人腦就是這麼幹的” 作為所有主要設計的依據。這種做法自然有其價值，但不是我想做的。我們的確應該瞭解人腦在生理和心理層面的工作原理，並在人工智能設計中加以借鑑，但我總想多問一句：我們在計算機裏面也非得這麼幹才“對”嗎？
我的選擇是接受休謨的論證，但不止步於他的結論。在現實環境中，根據過去的經驗是不可能嚴格、精確地預測未來，並保證所有結論的正確性的。人腦的確是在進行這種預測（以歸納為主要形式之一），但這不僅僅是一種習慣，更是一種理性。和傳統的理解不同的是，在這種情況下理性不保證預測成功，而是一種適應性行為。簡單説來，“適應性行為”就是根據過去的經驗預測未來，儘管這些預測常常會錯。“努力適應環境”和“保證適應成功”不是一回事，前者是可以做到的，而後者不一定。
我們可以把一個系統的外部環境大略分成三種：如果環境絕對穩定且遵循系統可認識的規律，傳統的理性模型和依此設計的“公理化系統”會是最成功的，因為只要公理和規則搞對了，系統就絕不會犯錯。如果環境可變但相對穩定，那麼適應性系統及相應的“非公理化系統” 會是最有希望的，因為這時公理化系統就太僵化了，完全無法應對意料之外的情況，而非公理化系統儘管不能保證不犯錯，但起碼有預測正確的可能。如果環境的變化極其迅速或無跡可尋，那任誰也是無能為力了。所以，照我看來，智能也好，科學也好，都不是以 “保證成功” 為其理性標準的，而是體現了一種“盡人事，聽天命”的態度，是不以成敗論英雄的。
我上面的結論不僅僅是一個哲學立場，而是有直接的具體後果的。如《證實、證偽、證明、證據：何以為“證”？》中介紹的，納思和其它推理系統的一個根本不同點，就是其中一個陳述（如 “烏鴉是黑的“）的真值不是刻畫其與客觀事實的符合程度，而是和系統相關經驗的符合程度，因此會隨着經驗而變化。系統中的推理規則（包括演繹、歸納等等）也都是在這個意義下 “保真”，就是保證不無中生有，但不保證百發百中。如果讓納思見到那隻綿羊，它的表現會是那個天文學家和物理學家的綜合：它的結論可能是 “蘇格蘭的綿羊是黑的”， 而其真值對應於現有證據的量（所以見過一隻、兩隻或一千隻時結果是不同的）。
對於歸納結論不唯一的情況，納思是由當前的注意力範圍決定哪個結論會被生成的，而不是靠一個固定的歸納偏好。具體説來，同一個觀察結果也可能被概括為“歐洲的綿羊是黑的” 和 “蘇格蘭的動物是黑的”，取決於當前系統中相應概念的活躍程度。當然，這些結論看起來很荒謬，但那是因為我們心中大量其它信念（尤其是已知反例）的影響。小孩子完全可能那麼想，而且不能算是想錯了，這和結論的對錯是兩碼事。
至於烏鴉悖論，在納思中是不會出現的，因為在那裏“烏鴉是黑的”和“不是黑的就不是烏鴉”有不同的真值和語義。這兩個陳述有相同的反例（“不黑的烏鴉”），但有不同的正例（分別是“黑烏鴉”和“不黑的非烏鴉”，而後者包括紅蘋果）。因此，納思在看到已知紅蘋果時不會影響它對 “烏鴉是黑的” 的相信程度。這兩個陳述在經典邏輯中等價，因為在那裏“真”就是“沒有反例”的意思，而與正例無關，但這個等價原則不能推廣到正反例都影響真值的邏輯系統（如納思）之中。
我相信納思對歸納的處理比其他理論更自然、合理，儘管這個方案和目前主流的基於經典邏輯和概率統計的方案有根本差別。我不期望靠這篇短文説服很多人，有興趣的讀者可以去讀我的學術文章。我只是想提醒大家注意某些常常被習慣性忽略的問題。
本文的另一個目的就是以歸納為例説明我的一個基本信念：人工智能中的很多核心問題首先需要一個恰當的哲學解，然後是把這個哲學觀點精確化的數學解，最後是把這個數學模型操作化的程序解。這三者缺一不可。
參考文獻
1. Pei Wang, Formalization of evidence: a comparative study, Journal of Artificial General Intelligence, Vol. 1, Pages 25-53, 2009
2. Brian Skyrms, Choice and Chance: An Introduction to Inductive Logic, 4th edition, Belmont, CA: Wadsworth, Inc. 2000
注：本文中所提到之作者其他文章，可進入公眾號底部菜單“精品專欄-AI那廝”查閲。點擊“閲讀更多”，可查閲作者所有科普文章和科普視頻。
版權説明：歡迎個人轉發，嚴禁任何形式的媒體未經授權轉載和摘編。
《返樸》，致力好科普。國際著名物理學家文小剛與生物學家顏寧聯袂擔任總編，與幾十位學者組成的編委會一起，與你共同求索。關注《返樸》（微信號：fanpu2019）參與更多討論。二次轉載或合作請聯繫[email protected]。
相關閲讀