看這位跨界的天才，如何為我們描繪未來_風聞

　　有了這位孤獨的天才的突破性工作，如今的信息時代才成為了可能

　　01

　　香農其人

　　科學尋求自然的基本定律，數學則在舊基礎上構造新的定理，而工程學建造系統來解決人類的需求。這三個學科相互依存，但又截然不同。同時為這三個領域做出核心貢獻的人極為罕見，而克勞德·香農就是如此。

　　香農是紀錄片《The Bit Player》的主題，其研究工作和研究哲學深深啓發了筆者的事業。儘管如此，無論是生前還是在2001年去世之後，香農並不是一個像愛因斯坦一樣家喻户曉的人物，他不像費曼那樣出名，也從未獲得過諾貝爾獎。然而，香農70多年前的一份開創性論文，奠定了整個現代通信設施的基礎。沒有他，就沒有如今的信息時代。

　　紀錄片《The Bit Player》

　　香農於1916年出生於密歇根州的蓋洛德，是一位本地商人和一位教師的兒子。他在密歇根大學獲得了電氣工程和數學學位，之後，在麻省理工學院撰寫了一篇碩士論文，將布爾代數應用於開關電路的分析和綜合。這項變革性的工作，將電路設計從一門藝術變成了一門科學，如今這被認為是數字電路設計的起點。

　　克勞德·香農撰寫的碩士論文，突破性地開創了數字電路設計這一領域，十年後，他撰寫了有關信息論的開創性論文《通信的數學理論》

　　接下來，香農將目光投向了一個更大的目標：通信。

　　02

　　向通信進發

　　通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話、電視，人類一直在尋找更遠、更快、更可靠的通信方法。但是，通信系統的工程問題總是逃不開各種發射源和傳輸介質。

　　香農卻問了一個沒人問過的問題：“是否有一個偉大的統一理論來描述通信？”1939年，香農在給導師範尼瓦爾·布什的信中，概述了他的一些關於“用於情報傳遞的通用系統的基本特性”的初步想法。經過十年的研究，香農終於在1948年發表了他的大師之作：《通信的數學理論》。

　　香農的理論的核心，是一個簡單卻非常通用的通信模型：發送器將信息編碼為信號，該信號會被噪聲破壞，然後由接收器解碼。模型很簡單，卻有兩個關鍵見解：

　　1.信息源和噪聲源獨立於要設計的通信系統；

　　2.對這兩個源進行概率建模。他設想源生成許多可能的信息，每條信息都有一定的概率。概率噪聲進一步增加了接收器所解碼的隨機性。

　　在香農之前，通信問題主要被視為決定論的信號重建問題：信號經介質傳播後發生變形，如何處理接收信號，能夠儘可能準確地復現原始信號？香農的天才在於他意識到：溝通的關鍵是不確定性。畢竟，如果我要講述的內容您提前就知道，我還寫它做什麼呢？

　　香農的通信模型示意圖，摘自他的論文

　　就是這一見解，將通信問題從實體轉為抽象，從而使香農可以使用概率對不確定性進行建模。這極大地震驚了當時的通信工程師。

　　03

　　信息論到底在講什麼

　　建立起有關“不確定性和概率”的理論框架之後，香農開始着手他里程碑式的論文，並系統地確定了通信的基本極限。他的回答分為三個部分。在每個部分中，“bit（比特）”的概念都扮演着重要角色，香農將其用作不確定性的基本單位。“bit”是“binary digit（二進制數字）”的合成詞，bit可以是1或0，香農的論文首先使用了該詞（儘管他説數學家John Tukey在備忘錄中首先使用了它）。

　　首先，香農提出了一個公式來計算每秒鐘至少需要多少個bit來傳輸一條信息，並將這個數字稱作熵率（entropy rate）H。熵率H表示發送者發送信息的不確定性，熵率越低，不確定性越小，因此越容易將消息壓縮得更短。例如，以每分鐘100個英文字母的速率發送短信意味着每分鐘發送 26100 條可能的消息，每條消息都是100個字母組成的序列。用470個比特就可以編碼所有可能，因為 2470≈ 26100。如果每種序列都具有相同的可能性，那麼香農公式將表明熵率H確實是470 bits/分鐘。實際上，某些序列比其他序列更有可能出現，熵率低得多，可以進行更大程度的壓縮。

　　其次，香農提出了一個公式，來計算系統在噪聲存在情況下的最大傳輸容量，他稱之為系統容量（system’s capacity），C。這是接收器能夠對傳送的信息進行解碼的最大速率，也代表了通信的速度極限。

　　最後，他證明了對於發出的信息受到噪聲干擾的情況，只有當H 。信息就像水一樣，流量小於管道容量時，才可安全流過。

　　雖然這是一種通信理論，但同時也是一種有關信息如何產生和傳遞的理論——信息論。因此，現在香農被稱作“信息論之父”。

　　他的定理得出了一些與直覺相反的結論。假設您在嘈雜的地方講話。確保您的消息通過的最佳方法是什麼？也許是一遍又一遍地重複？這可能是大多數人的本能，但事實證明這樣做效率並不高。當然，重複的次數越多，溝通越可靠，但這是犧牲速度來換取可靠性。香農告訴我們，我們可以做得遠遠比這更好。重複消息是使用代碼傳輸消息的一個例子，而使用不同的、更復雜的代碼，可以在保持一定可靠性的同時，更快速地通信——一直到速度極限C。

　　香農站在一箱電子元件前  香農也有愛玩的一面，他經常將這一面帶到他的工作中。這是香農和他為一隻名為特修斯的電子老鼠建造的迷宮的合影

　　香農理論的另一個出乎意料的結論是，無論信息的性質是什麼，無論是莎士比亞十四行詩，貝多芬第五交響曲的錄音還是黑澤明的電影，在進行傳輸之前，將其編碼為比特一定是最有效率的。因此，例如在無線電系統中，即使初始的聲音和在空中傳播的電磁信號都是模擬波形，基於香農定理，最好也要先將聲波數字化為比特，然後再將這些比特映射為電磁波。這一令人驚訝的結果是現代數字信息時代的基石，在這個時代，比特已成為信息的“通用貨幣”。

　　04

　　跨界的天才

　　香農的通信理論是如此自然，他似乎是發現了，而不是發明了宇宙的信息傳播定律。他的理論與大自然的物理定律一樣基礎。從這個意義上説，他是一位科學家。

　　香農發明了新的數學來描述通信定律。他首次引入的概念，例如概率模型的熵率，已經應用到廣泛的數學分支的研究中，例如遍歷理論（ergodic theory）（動力學系統的長期行為的研究）。從這個意義上説，香農是一個數學家。

　　但最重要的是，香農是一名工程師。他的理論是受到了實際工程問題的啓發。儘管對當時的工程師來説，這些理論深奧難懂，但現已成為了所有現代（光學，水下，甚至星際）通信系統的基礎標準框架。就個人而言，我很幸運地參與了一個全球範圍的，將香農的理論應用和擴展到無線通信的事業，在多代標準中將通信速度提高了兩個數量級。確實，當前推出的5G標準使用的不是一種而是兩種實用的代碼，它們都達到了香農的速度極限。

　　克勞德·香農在看一張土星照片

　　香農在70多年前就為所有這一切奠定了基礎。他是怎麼做到的？**通過鍥而不捨地專注於問題的基本特徵，而忽略所有其他方面。**他的交流模型的簡單性就是這種風格的很好例證。他還知道要專注於可能的事情，而不是立即可行的事情。

　　香農製作的一輛黃色的遙控巴士。儘管香農在2001年去世了，但他的遺產仍然存在於構成我們現代世界的技術和他創造的設備（如這種遙控巴士）中

　　香農的作品説明了頂級科學的真正作用。當我開始讀研究生時，我的導師告訴我，最好的工作往往是在修剪知識樹，而不是發展知識樹。那時候我無法理解這句話。我一直認為，研究人員應當追求的是添加自己的樹枝。後來我有機會在自己的工作中運用了這種哲學，我才開始理解。

　　當香農開始研究傳播時，工程師已經掌握了大量技術。正是他的工作將所有技術統一起來，將這些知識的枝條修剪成了一棵富有邏輯、一以貫之的、可愛的樹，這棵樹為幾代科學家，數學家和工程師結出了累累碩果。

　　作者：David Tse

　　翻譯：xux

　　審校：Dannis

　　原文鏈接：

　　https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/