麥克斯韋的小妖精與小爐老師的伽爾頓板_風聞

《返樸》專欄作家小爐匠老師在羣裏發了一條有趣的視頻，伽爾頓板實驗裏的小球竟然按顏色分開了，之後引發了羣內學者的大討論。為了讓實驗成功，麥克斯韋妖再次現身，要符合熱力學第二定律，玻爾茲曼、布里淵、Szilard輪番上陣。可是，物理學的熵和信息論的熵是一回事兒嗎？

撰文 | 徐曉

1 前 奏

一天，小爐老師在羣裏貼了一個伽爾頓板的視頻[1]（前往“返樸”觀看視頻。）

“這不科學呀！”羣裏幾位學物理的都説。根據熱力學第二定律，世界自發的趨勢不是越來越混亂嗎？小球們怎麼會按顏色分開了？

小爐老師看了視頻就信了。但是，他自稱“生物狗”，“物理小白”，信了也是情有可原的。

可是我們學物理的看完視頻，沉思20秒，即刻得出結論：這個視頻是PS的！哈哈哈……這結論（當然，你的結論跟我是一樣的。），完美！後來小爐老師仔細地搜索，發現視頻確實是PS的。

不過，這個視頻是真的可以實現的。

Why？因為，小爐老師有麥克斯韋的小妖精！

2 小妖精

我們來講講，啥是小妖精。[2]

時間要推到公元1871年。在討論熱力學第二定律的時候，麥克斯韋戲謔地推出了一個小妖精。一個裝有氣體分子的小盒子被隔成兩部分，隔板上有個口，口上有門，小妖精就站在那裏，或開或關，讓運動快的分子進左邊，運動慢的則讓進右邊。這樣左邊的温度就變高，右邊的温度就變低了。結果體系不是温度變成處處一樣，而是高温的跑到一邊，低温的跑到了另一邊，這就明顯違反了熱力學第二定律。

事實上麥克斯韋之前，在1869年，洛西密特（J. Loschmidt）就已經提出了一個類似的設想。洛西密特構造了一個可以微觀上加以控制的小平面，這個小平面根據分子的速度，來控制反彈回一個分子，還是讓分子通過。

由於假設了一個並不存在“小妖精”，比之統計力學發展史上的其他責難，這個詰問開始並沒有引起太大的重視。

説到這裏，我們得走點之馬路，先來看看統計力學發展早期的最大麻煩。

3 時間反演不變性與熵的概率化解釋3.1 時間反演不變性與H定理的矛盾

牛頓力學的核心，當然是牛頓的三個定律了。比如，牛頓第二定律是：

這個公式表明，一個質量為m的物體受到的力為其位移x對時間的二階導乘上質量。

現在我們另外選個時間

就是把時間軸倒過來，我們發現：

（1）和（2）除了使用的表示時間的符號不同，形式一模一樣。這就意味着，把時間軸倒過來，牛頓第二定律還是那個牛頓第二定律。

這個性質非常好，我們經常在電影特技中使用。比如，你從牆上跳下來，結果視頻反時間一放，就變成你從地上跳上了牆，輕功了得。關鍵是，這一過程物理定律依然成立，除非觀眾知道這是特技，不然是看不出端倪的。

這個性質，就叫時間反演不變性（Time reversal symmetry）。

統計力學的討論，是從理想氣體分子的碰撞開始的。從克勞修斯開始，經過眾多學者的處理，到麥克斯韋為止，有關碰撞的理論有了一個比較完整的面貌。1872年，玻爾茲曼在此基礎上，提出了一個含有概率思想的理論——H定理。在這個定理中，體系自發地會發展到一個穩定平衡的水平。其中有個參數，以H表示，其隨時間的流逝，其負值只可能增大或者不變；當體系到達穩定平衡的水平時，其負值將達到最大。這一點，與熱力學第二定律是相吻合的。因為，熱力學第二定律表明，一個體系自發發展，將達到熱力學平衡態。到達平衡態時，其熵值比這個體系非平衡態的熵值，要大。[2]

換言之，H值與系統的熵值，有某種對應性。

但是，這個提法，卻隱藏着與經典力學體系的深刻矛盾。

由於熱力學本質上是一系列關於實驗和實踐的抽象總結，所以很難有人提出尖鋭意見。

但是，理想氣體分子碰撞的模型，實際上是彈性小球碰撞的模型，是必須要符合牛頓力學要求的。

牛頓力學是時間反演不變的，而H定理在此基礎上發展起來，H值卻不滿足時間反演不變性。因為初態為非平衡態時，系統自發變化的終態是平衡態，-H值最大；而初態是平衡態時，終態卻不能自發進入非平衡態，使-H值變小。

3.2 熵的概率化解釋

統計力學建立過程中的很多爭論，都是圍繞着時間反演不變性和H定理的矛盾進行的。1876年，玻爾茲曼的朋友和同事洛西密特就向玻爾茲曼提出了關於反演不變性的疑問。當時玻爾茲曼非常輕描淡寫地回答了：“H定理是概率性的。”[2]

到了1877年，玻爾茲曼對熵做了完全概率化的解釋。[3]

在1877年的文章中，玻爾茲曼首先對理想氣體分子的運動狀態劃分一個個區間，對狀態進行了離散化處理。比如本來一個粒子運動的動能是 [ε, ε+Δε] 中的某個取值，那麼我們把 [ε, ε+Δε] 這樣的動能區間算作一種狀態，叫一個能級，因此這個粒子的動能就屬於這個能級。這些分子運動狀態就按能級離散了，也就可以統計狀態的數目了。然後，他定義了體系的能量狀態，即每個能級上分子出現的頻度，這種體系狀態叫做態分佈（德文Zustandeverteilung）。接着，他假定，只要分子數量恆定，體系能量恆定，那麼，任何一種滿足這兩個恆定的態分佈，都是等概率存在的。

玻爾茲曼證明，如果分子數量是巨量的，那麼體系的絕大多數的態分佈，都接近滿足同一種分佈，即玻爾茲曼分佈：

其中W就是態分佈再加上空間幾何位置合起來考慮的體系的微觀狀態數目。這些微觀狀態中，在體系的分子數是巨量時，只有極少極少的狀態，才會出現不滿足玻爾茲曼分佈或分佈不均勻的情況；而且，這種情況一旦出現，隨着體系的運動，也就很快消失了。

這樣，玻爾茲曼就比較完美地回答了洛西密特的問題。同時，也給出了熱力學熵的概率化解釋。

但是，當熵的概率的解釋完全確立以後，麥克斯韋的小妖精，卻反而變成了問題：因為小妖精改變的，正是體系取某種“態分佈”的概率；因此，它不再像一個開玩笑的“妖精”，而像是真實存在的機制。

4 小妖精引起的熵變

1929年，美國物理學家Leo Szilard（編者注：Szilard曾協助愛因斯坦致信美國總統促成曼哈頓計劃）就非常仔細地討論了小妖精的熵變。[4]不過，大約是為了表明這個“妖精”真有可能是某種機制，他不是用的“妖精”（demon）這個詞，而是沿用嚴肅的探討者們的術語——“智慧主體”（intelligent subject）。

Szilard討論了好幾種智慧主體的工作機制。我們來看看最簡單的Szilard熱機。

圖 1 Szilard熱機示意

如圖1，小妖把活動擋板插入一個只有單個理想氣體分子的氣缸中，只要觀察一段時間，就會發現擋板被單個分子推動，向某個方向移動。比如，我們很容易察覺，圖中擋板將向左移動。小妖只要把定滑輪的上部連軸與擋板連接，而把下部虛線表示的連軸鬆開，那麼擋板就會帶動定滑輪逆時針轉動；而如果單分子在左面的話，小妖可以連接下部連軸，鬆開上部的，這樣依然可以讓定滑輪逆時針轉動。當擋板到頭，小妖可以把擋板取出，再重新插入中間，而單個分子又可以把從熱庫吸的熱轉化成擋板的運動，同時不斷拖動滑輪逆時針旋轉。如果滑輪拖有重物，那麼滑輪就可以把重物拖起，不斷將熱轉化為功。

換言之，只要小妖有觀察擋板的運動方向，並且更換連軸連接的能力，氣缸就可以從熱庫中取熱，並不斷轉化為功。

這樣一個系統，就可以違背熱力學第二定律，實現第二類永動機。

但是，Szilard説，熱力學第二定律是不可違背的，人不能，妖也不能。

如何不能?

這樣把熱機、小妖和環境合起來看成一個體系，熱力學第二定律依然成立。

這個推理無懈可擊。

但是，妖為什麼不能違背熱力學第二定律？就因為它被稱為“智慧主體”？

5 布里淵的解釋

如果在Szilard那裏，妖如何觀察和判斷熱機的工作情況，還是一個抽象的説法，那麼從1951到1952年，布里淵（Leolard Brillouin）寫了一系列文章，則把小妖的觀察判斷進一步具體化了。[5]

要理解布里淵的工作，必須知道一個大的背景。

5.1 信息論的建立

1948年，香農建立了信息論，並且在馮·諾伊曼的建議下，借用玻爾茲曼的定義方式，將平均信息量定義為信息熵，並且選用了H定理中如我們前文提到的H，作為信息熵的記號。[6-7]

因此，在這種情況下，討論信息熵和統計力學熵的關係，就成為一種必然。

信息理論的建立，是為了編碼。

編碼有兩重含義，一重是指打電報用的莫爾斯電碼之類的編碼。這種編碼，為了節省打電報用的時間，編碼要足夠短；另一方面，信息是通過電信號來傳輸的，就要有一定的信息冗餘，來克服信道噪聲，以便在接收端正確接收。因此，這一重問題的研究，主要是尋求最短的編碼的極限，並以此為基礎，再來分析具體的編碼方案，在編碼效率和克服噪聲之間尋求一個平衡。編碼的另一重含義，是如何通過快速的機械工作來完成編碼。在當時，繼電器已經成為一個常規的機械運動控制手段，所以優秀的編碼，也意味着儘量少的繼電器使用和合理的繼電器安排。

編碼這件事，本來與玻爾茲曼用統計力學處理的體系的熱量、能量和做功等，沒有什麼關係。

但是，看看Szilard的分析，小妖又要判斷測量結果，又要選擇與哪個連軸相連，這不是和使用繼電器操作機械動作來編碼，是一模一樣的嗎？

而且，通過選擇進行動作，既是薛定諤在《生命是什麼》裏表現出來對生命和智能的基本認識，也是信息理論的重要建立者之一維納對智能的一貫想法。[8]

在這樣的背景下，布里淵，既作為一個物理學家，又作為信息學家，建立了一套從物理學角度來理解信息熵的學説。

5.2 布里淵眼裏的“信息”

自然，布里淵是從麥克斯韋的小妖精開始的。這回，布里淵回到了麥克斯韋最初的小妖精的模型：小妖精必須判斷分子的速度。

如何判斷呢？小妖精準備了個帶了電池的手電筒，然後發出光來照亮分子；按一定時間間隔來照亮分子，就可以判斷分子的位置和速度了。

這樣的做法有何玄機？

布里淵要給信息的判斷引入能量的概念。

如果小妖不帶手電筒，盒子裏的光只是來自盒子本身的黑體輻射。由於盒子的温度比較低，這時黑體輻射的光波長都很長，因此就算分子本身發光，由於長波長光的衍射，小妖也很難給分子定位；另外，分子的發光非常微弱，也沒有辦法使分子的光跟整個黑體輻射背景區分開來。

小妖要帶一個什麼樣的手電筒呢？小妖應該帶一個能產生高頻率光的手電筒。

在布里淵建立模型的年代，需要再過十年才有激光。所以，布里淵不可能想象出激光或者LED這種東西。他假設的發光源是燈絲，我們把燈絲這種光源叫作熱輻射光源，其特點是發出波長越短、頻率越高的光，燈絲的温度就要越高。

由此可知，小妖實驗和判別帶來的熵增，遠大於判決後所獲得的熵減。

在這一模型中，小妖確實無法違背熱力學第二定律。

而這一過程帶來的妖的信息測量和判決行為，則成為布里淵從物理學角度闡釋信息熵的基礎。

6 基於能量的信息熵

現在，我們可以來總結一下信息學家和物理學家理解的信息熵的不同。

對信息學家而言，其關心的，僅僅是編碼的問題，能量並不是一個一定要考慮的因素。

對於物理學家來説，從克勞修斯提出熵的概念開始，熵就與能量和做功緊緊相連，就算是要討論信息的概念，布里淵也是從光子的能量帶來的信息判決開始討論的。

物理學的概念發展過程，先是討論熱量的變化，再是討論最可幾的狀態的態分佈，再引申出判決對態分佈的影響，最後通過光子引出判決本身所需要的能量。

因此，物理學家的信息熵和信息學家的信息熵的含義是不同的。現實物理世界用信息學家的信息熵來表徵的時候，物理體系的自發趨勢不一定是熵增的；而用物理學家如布里淵的信息熵來考慮，則一定是熵增的。

7 小爐老師的小妖精

講完拉拉雜雜這麼多話，終於我們可以來看看小爐老師的小妖精了。

如下視頻[9]（前往“返樸”觀看視頻）

容易想明白，只要我們把不同顏色的小球做成不同大小，然後讓軌道有不同的寬窄，那麼小球就可以依大小掉入不同的槽。

區分小球的是大小，而不是顏色。而不同大小的球的自然分離，則是依靠軌道有無支撐的力。換言之，在自然的過程中，測量和區分，依然是依靠能量和做功的不同。

依此，我們可以球的大小、或使用重力（讓重的向左，輕的向右）、磁力（有磁力向左，沒磁力向右）等方式或方式的組合，來設計本文開始的伽爾頓板，對球做出區分。但是，在這些方式中，我們測量的，都不是顏色。顏色的屬性，只是碰巧和大小或者別的屬性一致。

因此，小爐老師的小妖精並不是麥克斯韋小妖精，沒有違背熱力學第二定律。

顏色，只是障眼法。

在信息熵的計算中，我們可以考慮伽爾頓板實驗的球的顏色；但考慮實驗的實現機制時，我們必須考慮基於能量的手段。

8 一點討論

這篇文章中另外一個需要注意的地方，是當我們提到的顏色、重量和磁力大小等概念時，我一般會説，這是屬性。但是，學物理的朋友，容易把屬性理解為自由度。這樣的理解會影響對問題的把握。因為，自由度有兩層含義，第一層是有抽象空間的維度的含義，而屬性的含義則廣泛得多，從數學的角度出發，只要可以對一個集合進行劃分，分成幾個不同的子集，這個劃分就對應一種屬性；第二層含義是利用自由度可以張成相空間，一旦使用了相空間的概念，理解的時候很容易會回到能量和做功的路子上去，就干擾了對問題概念的分辨。

8 致 謝

本文是在我同湖南大學劉全慧教授就熵而進行的爭論後產生的。在論戰過程中，我邀請了中科院半導體所姬揚研究員、美國喬治敦大學吳建永教授助戰，還邀請了本羣李輕舟圍觀；劉老師邀請了本羣肖重發圍觀。

結果，在論戰過程中，姬揚和吳建永老師（也就是本文中的小爐老師）都產生了疑問。為了回答他們的疑問，先作此文，為解釋工作的開胃菜也。

在審讀本文的過程中，吳老師提出了巨輪的問題，李輕舟提出了以自由度理解屬性的問題，我的同事陳熹提出了加強伽爾頓板實現的説明的建議。

吳老師對文章多次潤色。

姬揚要求每一閲讀段落長度基本一致。

本羣劉豔紅提出了文字潤色的建議。

本羣張藝瓊對文章題目提出修改建議。

本羣呂喆統一了伽爾頓板的叫法。

在此，向爭論者、圍觀者、建議者和潤色者一併致謝。

如果，你們還有疑問，以及其他觀眾有疑問，請release horse pass come（放馬過來）。

徐曉

於“一邊跑一邊聽”羣

參考資料

[1] 視頻截取至http://www.youtube.com/watch?v=Axw07_lxhhs

[2] M. Bandino, Mechanistic Slumber .vs. Statistical Insomnia: the Early History of the Boltzmann’s H theorem (1868-1877), Eur. Phy. J, H6, 353-378(2011)

[3] K. Sharp& F. Matschinsky, Translation of Ludwig Boltzmann’s Paper “On the Relationship between the Second Fundamental Theorem of the Mechanical Theory of Heat and Probability Calculations Regarding the Conditions for Thermal Equilibrium”, Enropy,17, 1971-2009(2015)

[4] Translation of “L.Szilard, ON ENTROPY REDUCTION IN A THERMODYNAMIC SYSTEM BY INTERFERENCE BY INTELLIGENT SUBJECTS " NASA TT F-16723. 德文原文在Zeitschrift fur Physik, Vol. 53, 1929, pp. 840- 856,

[5] L. Brillouin, Maxwell’s Demon Cannot Operate: Information and Entropy. I Journal of Applied Physics, v24,N3,334-337(1951)

[6] C.E.Shannon, a Mathematical Theory of Communication, Bell System Technical Journal, v28, N4, 656–715(1949)

[7] Avery, John. Information Theory and Evolution[M], 2003, World Scientific. ISBN 981-238-400-6

[8] L. Brillouin, the Negentropy Principle of Information, Journal of Applied Physics, 24, 1152 (1953)

[9] 視頻截取至http://www.youtube.com/watch?v=ya9zTstjOIU