現代科學中的概率論：物理的清晰比數學的嚴格更重要丨展卷_風聞
返朴-返朴官方账号-关注返朴（ID：fanpu2019）,阅读更多！1小时前
編者序
埃德温·湯普森·傑恩斯（Edwin Thompson Jaynes）於1998年4月30日去世。去世之前，他請我幫助完成並出版他的這本概率論著作，我為此苦惱了一段時間，因為我知道傑恩斯希望完成本書，這一點毫無疑問。遺憾的是，後面大部分章節（傑恩斯設想的關於應用的第二部分）要麼缺失，要麼不完整，而且前面的一些章節中也有缺失的片段。我本可以寫完後面的章節並填補缺失的片段，但是，如果我這麼做，本書就不再是傑恩斯的著作，而是傑恩斯和佈雷特索斯特（G. Larry Bretthorst）的合著作品，並且無法分辨哪些文字出自哪位作者。最後，我決定讓有缺陷的章節保持原狀——本書仍是傑恩斯的著作。
有許多不同長度的缺失片段，傑恩斯是通過插入“未完待續”來標識的。我本可以在正文中留下這些標識，但是這將使本書顯得很難看且很不完整。傑恩斯希望本書既可以充當參考書也可以充當教科書，因此在大多數章節中散佈着問題框（練習）。最終，我決定引入“新編練習”來代替“未完待續”。如果你能回答這些問題，就説明已經掌握了缺失的內容。
傑恩斯曾想在書中保留一系列實現某些計算過程的計算機程序。我原本也打算在書中保留這些程序，但是，隨着時間的推移，許多程序顯然已經不再可用：它們是用 BASIC 語言以一種非常晦澀的方式寫成的（不是 BASIC 晦澀，而是程序本身晦澀）。因此，我刪除了這些程序，並在必要時插人了幾句話，以引導人們使用必要的軟件工具來實現計算。
書中還缺少許多參考資料信息，必須補充，通常，通過作者和日期可以找到一個或多個可能的參考資料，當有多個候選資料，而我又無法確定傑恩斯引用的是哪一個時，我就會列出多個參考資料並修改引文，有時候信息非常模糊，以至於找不到合適的候選資料。幸運的是，我能夠刪除這些引文而不產生不利影響。為了使讀者能夠區分引用材料和其他資料來源，傑恩斯帶註釋的原始參考資料分為兩部分：引用文獻（reference list）和參考文獻（bibliography）。雖然我是本書出版的主要負責人，但並不是唯一付出努力的人，傑恩斯的些摯友幫助我完成了這項工作，其中包括 Tom Grandy、Ray Smith、Tom Loredo、Myron Tribus 和 John Skilling，我要感謝他們的幫助。我還要感謝 Joe Ackerman允許我抽出大量時間來悉心出版本書。
G.拉里·佈雷特索斯特
撰文 | 埃德温·湯普森·傑恩斯
翻譯 | 廖海仁
本書的讀者應該：（1）熟悉應用數學，具有相關專業本科高年級及以上文化程度；(2)瞭解需要進行推斷[1]的某一學科，如物理學、化學、生物學、地質學、醫學、經濟學、社會學、工程學、運籌學等，學習本書不需要事先熟悉概率論與統計學，事實上，對這一領域知之甚少或許更理想，因為這樣需要拋棄的固有觀念會較少。
我們關注的是概率論及其所有常規數學知識，不過審視視角比標準教科書更廣：第1章之後的每一章中都有一些新結論，我們認為這些結論是有趣且有用的書中的許多應用超出了傳統概率論的範疇，但是我們認為其結論不言而喻，它們闡述的理論將成為未來的“傳統概率論”內容。
歷史
本書是我的思想多年演化的產物。我對概率論的興趣最初來自閲讀哈羅德·傑弗里斯的著作（Harold Jefreys，1939）我意識到他的觀點能讓我們以一種與眾不同的視角看待理論物理學的所有問題。隨後，考克斯（R. T. Cox，1946）、香農（Shannon，1948）和波利亞（Pólya，1954）的著作陸續為我開啓了新思想的一扇扇大門。我對這些探索的興趣持續了大約 40 年之久。在這個更加廣闊、永恆的理性思維世界中，理論物理學的當前問題似乎只是短期內的細枝末節。
本書的寫作其實源於1956年在斯坦福大學舉辦的一系列講座的筆記，這些講座的目的是講解波利亞關於“數學與合情推理”的令人振奮的新著作[2]。他將我們直觀的“常識”分解為一組基本的定性條件，並且表明：數學家一直在使用它們來引導發現的過程，而且這種引導必然發生在找到嚴格證明之前，這些結果很像詹姆斯·伯努利的《猜度術》（James Bernoulli，1713）中古典概率論的內容在它的基礎上，拉普拉斯在18世紀晚期發展出了分析概率論文[3]。但是波利亞認為這種相似性只是定性的。
波利亞對這種定性一致性做出了完整而詳盡的展示，説明合情推理與概率論之間一定存在更多聯繫。幸運的是，應用考克斯的一致性定理足以證明這一點。將波利亞的定性條件與考克斯的一致性定理結合起來就能證明：如果合情程度由實數表示，那麼只能確定唯一一套用於推斷的定量規則。也就是説，與其矛盾的任何其他規則都必然會違反一條基本的合理性條件或者一致性原則。
但是，最終結果只是丹尼爾·伯努利和拉普拉斯已經得出的概率論的標準規則。那又有什麼值得大驚小怪的呢？這裏重要的新特徵是：這些規則現在被視為唯一有效的一般性邏輯原則，不涉及“偶然性”或“隨機變量”。因此，它們的應用範圍遠遠大於20 世紀早期發展起來的傳統概率論。結果就是，“概率論”與“統計推斷”之間的假想區別消失了，該領域不僅實現了邏輯上的統一性和簡單性，而且在應用中有更強的效力與靈活性。
因此，這些講座把重點放在推演波利亞觀點的定量規則上，以便將該規則用於科學推斷的一般性問題。幾乎所有的推斷問題都產生於不完全的信息，而非“隨機性”。第5章將介紹波利亞的生平及這項工作是如何開始的。一旦涉及應用，哈羅德·傑弗里斯的著作就又成為我關注的焦點，他憑着直覺獲得了許多洞見，並且幾乎預見了我後來遇到的每一個問題。本書的獻詞只是我對他的感激之情的部分體現，對他著作的更多評論及其對我的影響分散在多個章節中。
1957~1970年，這些講座不斷在其他許多大學和研究實驗室舉辦，內容不斷增加。[4]在這一過程中，人們逐漸明白，傳統的“統計推斷”的突出困難很容易被理解和克服。但是，取而代之的規則在概念上非常微妙，需要深入思考才能明白如何正確運用，人們過去認為運用拉普拉斯的概率論方法會導致某些不可克服的困難，從而拒絕這些方法，他們最終明白這些困難只是由誤用概率論方法造成的，通常是因為沒有明確地定義問題或者沒有意識到看似微不足道的信息存在重要的影響。一旦意識到這一點，原先的困難就很容易被克服。我們的“擴展邏輯”方法與通常的“隨機變量”方法之間的各種關係以不同的形式出現在幾乎每一章中。
最終，我積累的材料多到無法被囊括在一系列簡短的講座中，本書的用途也演化到了教學之外，在克服原有困難之後，我們發現已經有了處理新問題的強大工具。大約自 1970年以來，材料一直在以同樣的速度增加，但是主要來自我及同事的研究活動，我們希望本書的最終版本能體現材料來源的多樣性，既可用作教科書，也可用作參考書。事實上，我的好幾批學生已經把早期幾個版本的筆記傳授給了他們的學生。
綜上所述，我們在這裏引用查爾斯:達爾文在《物種起源》緒論中所寫的話：“我希望讀者原諒我贅述這些個人的細枝末節，我只是想借此説明，我未曾倉促立論而已。”[5]人們可能會認為 30 年前的著作在今天已經過時了.幸運的是，傑弗里斯、波利亞和考克斯的著作是基礎性且永恆的，其中的真理並不隨着時間而改變，其重要性反而會隨着時間的推移而上升,他們對於推斷本質的洞察在 30 年前只是令人好奇，而今在幾個科學領域中愈顯重要，並會在未來100年的所有領域中都至關重要。
陳述風格
本書第一部分闡述原則和初級應用，其中大多數章的開頭以幾頁的篇幅直接討論問題的性質。首先，我們試圖解釋看待所討論問題的建設性方法，以及導致過去錯誤的邏輯陷阱。之後才訴諸數學，解決一些相同類型的問題，直到讀者可以通過數學上的直接推廣繼續向前推進。第二部分闡述更高級的應用，從一開始就專注於數學。
我從許多經驗中學到，首先強調問題的邏輯而不是數學在早期階段是必要的。對於現在的學生來説，數學是最容易的部分：一旦問題被簡化為一個明確的數學習題，大多數學生可以毫不費力地解決它並且不斷地推廣它，不需要書本或老師的進一步幫助。讓他們感到困惑、不確定如何前進的通常是概念性問題（如何在現實問題和抽象數學之間建立初始聯繫）。
最近的事實表明，任何莽撞到將自己的工作描述為“嚴格”的人都難免栽跟頭。因此，我們只聲稱不會故意提出錯誤的論證，我們也意識到，要面向廣泛、形形色色的讀者寫作，對於他們中的大多數人來説，意義的明晰比數學上的狹義“嚴格”更重要。
將重點放在邏輯和清晰度上還有兩個更重要的原因。首先，沒有什麼論證比它的前提更可靠，正如哈羅德·傑弗里斯指出的，那些極為強調數學嚴格性的人正是對現實世界缺乏確定感的人，他們將論證與不切實際的前提聯繫起來，從而切斷了與現實世界的聯繫。傑弗里斯將這種情形比喻為試圖通過在石膏中錨入鋼樑來加固建築物。能憑直覺説明結論為什麼正確的論證實際上更值得信賴，更有可能在科學中獲得永恆的地位，而不是在未作理解的情況下展示所謂“數學嚴格性”的論證。
其次，我們必須認識到，在已經擁抱了無限集合理論的數學中沒有真正值得信賴的嚴格性標準。與傑弗里斯的比喻類似，莫里斯·克萊因（Morris Kline，1980第 351 頁）説：“會有人用無限集合的理論或者選擇公理設計橋樑嗎？橋樑難道不會倒塌嗎？”今天，唯一擁有真正嚴格性的是有限整數的有限集合上的基本算術運算，如果將這一點銘記於心，我們自己的橋樑將是最安全的，是不會倒塌的。
當然，只要對結果有意義，我們就遵循這種有限集合策略，但是不要盲從。特別是，計算與逼近的技巧和基本原則所處的層次不同。因此，一旦通過嚴格地應用基本規則導出結論，就可以使用任何方便的分析方法進行計算或逼近（例如用積分代替求和），不必展示如何生成作為有限集合極限的不可數集合。
相比“正統”統計文獻，我們更加嚴格地遵守概率論的數學法則。“正統”統計文獻的作者們反覆使用前面提到的憑直覺獲得的特定工具，隨意且不圓滿地處理問題，而概率論法則本可以唯一且最優地處理這些問題，正是對概率論數學法則的嚴格遵守使我們避免了正統統計學中的人造悖論與矛盾。這將在第15章和第17章詳細討論。
同樣重要的是，這一策略通常以兩種方式簡化了計算：（1）避免了確定“統計量”的抽樣分佈的問題，數據的證據完全展示在很容易寫出的似然函數之中；（2）可以在計算之初消除冗餘參數，從而減少搜索算法的維度，如果問題中存在多個參數，這就可能意味着相對於最小二乘法或最大似然算法有數量級上的參數減少。佈雷特索斯特（Bretthorst，1988）的貝葉斯計算機程序充分展示了這些優點：相較於以前使用的方法，這個程序在某些情況下從數據中提取信息的能力有了重大改進。對於使用複雜貝葉斯模型所能做到的事而言，這僅僅是冰山一角，我們預計這一領域在不久的將來將得到迅猛的發展。
在能力與通用性方面，學會使用作為擴展邏輯的概率論的科學家比僅掌握了一堆無關的特定工具的人具有更大的優勢，隨着問題複雜性的增加，這種相對優勢也會擴大。因此，我們認為，由於實際需要，未來所有定量科學的工作者都會以本書闡明的方式使用概率論，這一趨勢已經在計量經濟學、天文學、磁共振波譜學等領域中得到了證實，要在一個新的領域中取得進展，就需要對傳統和權威持一種健康的懷疑與批判態度，這種傳統和權威在整個20世紀都阻礙了我們的進步。
最後，需要提醒一些讀者的是，不要試圖在本書的文字中尋找並不存在的微妙含義。當然，我們將解釋和使用概率統計的所有標準術語，因為這是我們的主題。除此之外，儘管關注邏輯推理的本質會導致我們討論的許多問題與邏輯學家和哲學家們討論的相同，但是我們的語言與他們的生硬術語還是有很大差別的：沒有語言技巧，沒有晦澀難懂的元語言，只是平實的敍述。我們認為這能將我們的信息清楚地傳達給任何真正想要了解它的人，在任何情況下我們都確信，不停地追問“你説的‘存在’究竟是什麼意思”並不能讓我們明白更多。
致謝
除了從傑弗里斯、考克斯、波利亞和香農的著作中獲得靈感之外，我還受益於與大約 300名學生的互動，他們努力找出我的錯誤，迫使我更加深入地思考許多問題。此外，許多年來，我的想法也得益於與許多同事的討論。下面列出一些同事的名字（姓氏按照一些人喜歡的逆字母順序排列）：Arnold Zellner、Eugene Wigner、George Uhlenbeck、John Tukey、 William Sudderth、Stephen Stigler、Ray Smith、John Skilling、Jimmie Savage、Carlos Rodriguez、Lincoln Moses、Elliott Montroll、Paul Meier、Dennis Lindley、David Lane、Mark Kac、Harold Jeffreys、Bruce Hill、Mike Hardy、Stephen Gull、Tom Grandy、Jack Good、Seymour Geisser、Anthony Garrett、Fritz Frohner、Willy Feller、Anthony Edwards、 Morrie de Groot、Phil Dawid、Jerome Cornfeld、John Parker Burg、David Blackwell 和George Barnard。儘管我並不完全贊同他們的觀點，但是這些觀點已經以各種方式融入了本書各章節，即使我們在某些問題上意見不一致，我也相信這些坦誠的私人討論能夠使我避免誤解他們的立場，同時澄清自己的思想。我對他們的耐心表示感謝。
1996年7月
註釋
[1] 我們的意思很簡單：“推斷”（inference）是指有足夠的信息用來進行的演繹推理，以及沒有必要的信息時進行的歸納或合情推理——在實際問題中幾乎總是如此。如果一個問題可以通過演繹推理解決，就不需要利用概率論。因此我們的主題是對不完全的信息的最優處理。
[2] George Pólya, Mathematics and Plausible Reasoning. Vol 1 & 2. Princeton University Press. 1954. ——編者注
[3] 1812 年，拉普拉斯的《分析概率論》出版，標誌着概率論進入分析概率論階段。對這部分歷史感興趣的讀者可參考徐傳勝的《從博弈問題到方法論學科——概率論發展史研究》（科學出版社，2010 年）。——譯者注
[4] 早期的一些材料由美孚石油公司於 1958 年在其“理論與應用科學學術研討會講座”系列中作為第 4 號作品發佈。
[5] 摘自《物種起源》（苗德歲譯，譯林出版社，2013 年 10 月）。在此表示感謝。——編者注
作者簡介
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閲不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號，回覆四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。