今天是一個信息量很大的日子,所有上網的人都應該記住他_風聞
高老庄朱刚烈-“于是我们继续奋力向前,逆水行舟。”2019-04-30 17:03
提起4月30日,你第一反應是什麼?
相信大多數人和我一樣,都是在心裏默默倒計時——距離五一小長假開啓還剩XX小時。
但這個問題還可以有個更有逼格的答案——香農誕辰!
提到香農這個名字,相信不少人都默默回憶了一下這人是幹啥的,最後得出一個乾巴巴的結論——克勞德·艾爾伍德·香農,美國數學家、信息論的創始人。
但這個答案不夠透徹,不夠完全,無法完全概括這個看似不熟但實則和我們日常生活息息相關的男人。最重要的一點是,香農這種讓人一見鍾情的顏值水平竟然沒有提!
沒有香農,就沒有“信息量真大”這句話
當遇到很有內涵的內容的時候,我們往往會説“信息量真大”。可很少有人仔細想過,“信息”這一不可數的存在,究竟如何會與量詞相結合。其實從古至今,人們一直在試圖找到一種衡量消息中“信息濃度”的方法。在大多數語言中,“信息”一詞往往以不可數名詞出現,這也從另一方面印證了這一問題的困難程度。
到了信息時代,對信號的處理與分析又需要一個適當的對信息量的衡量標準,所以數學家們也被這一問題困擾着。直到1948年,這個問題被香農在論文《通信的數學理論》中首次解決,這才讓數學家們鬆了一口氣。
圖 | WordPress.com
香農在書中將熱力學裏面的“熵”引入了信息學,提出了“信息熵”的概念,還確定了信息的基本單位——比特(bit)。在他看來,信息的作用就體現在使得某事件發生的概率從之前的某個概率變為1,所以信息量是與概率有關的。
感謝香農,從此信息變得可度量了,信源、信道、編碼、解碼、傳輸、接收,抽象概念都有了嚴格的數學描述。
圖 | wordpress
而信息熵的應用也很廣,即便是在智力題裏也有體現。就比如經典題目“有 100 個外表相同的球,已知其中有一個與其他球的質量不同。現要求用沒有砝碼的天平在最少次數中找出這個球”背後,暗藏的就是信息熵的原理。
也有學者把信息熵的理論應用在語言學上。他們統計了不同語言中各字母的頻率,英語的平均信息熵是 4.03 比特,法語的平均信息熵是 3.98,西班牙語是 4.01 比特,德語的是 4.10 比特,俄文的是 4.8 比特,都略低於相應字符集的最大信息熵。
這也是很容易理解的,自然語言中存在許多詞首詞尾與固定搭配,不同字母的出現頻率是不同的。但是信息學家們並不滿意這個結果,因為在傳輸中更大的平均信息熵就意味着更高的效率,所以他們一直在試圖追尋能使信息熵更高的壓縮編碼方式,像我們常用的WinRAR等軟件就是他們工作的結果。
圖 | ZDNet
當然,這樣的“理想語言”在人類眼中看來是毫無文采、索然無趣的。我們使用的自然語言中正是由於那麼一點多餘的低效率,才造出了豐富多彩的效果。值得一提的是,中文的信息熵高達 9.65 比特,也許這也是漢語中各種文字遊戲比較多的根源吧。
想要知道WiFi密碼?問香農
古語有云:失去人性,失去很多;失去WiFi,失去一切。這個世紀的人們彷彿都中了癮——無論到哪裏,第一個問題都是:“WiFi密碼多少?”
WiFi已無法從現代人的生活中剝離,當你在愉快地用WiFi刷着果殼時,你還得感謝一下香農。
事實上,如果説海蒂·拉瑪是“Wi-Fi之母”的話,香農可以算得上WiFi的祖父。他提出的定理,為信息論和數字通信奠定了基礎。
香農在1948年提出過一個著名的公式——香農第二定理(有噪信道編碼定理)
**香農清晰的定義了無線通信領域理論上的傳輸速率由哪些因素決定以及他們之間的量化關係。**對無線通信原理和技術的發展起到了巨大的推動作用,為人們如何利用有限頻譜資源更快更好的傳遞信息指明瞭方向。
同時從這一公式還可以推導出即便應用無限大的頻譜帶寬,傳遞信息的速率也是有極限的,這就是著名的香農極限。這一成就後來成功應用於電話、光纖和無線通信上,例如當下5G的頻譜效率已經在很大程度上的接近甚至達到了香農極限。
在這些領域,香農也能排得上名號
除去數學、通信兩開花,香農還涉足了傳播學、密碼學、人工智能和火力控制系統研究等領域,皆奉獻了不止一點點也不微小的成就。
不過要問香農本人自己最擅長的什麼,相信這位大師一定會説——雜耍!什麼數學、信息論都只是業餘愛好,香農真正付出了畢生的心血、一直在努力的事業,並且自我感覺最良好的成就是雜耍。
他還將曾經獲得的所有證書統統扔到了房間的陰暗角落,家裏最顯眼的地方,只放着一張證書——雜耍學博士。要知道香農得過的榮譽都是富蘭克林獎章、美國工業電子工程協會凱萊獎、美國全國科學研究合作獎、萊博曼紀念獎、美國電機和電子工程協會榮譽獎章這種級別的。
圖| Wikipedia
況且人家也不是隨隨便便的玩,香農仙逝之前,還在撰寫一本名為《統一的雜耍場理論》的著作。要不是上帝急着想和他聊聊研究成果,估計香農就快成為“科學雜耍”的開山宗師。
甚至某次會議致辭上,香農説了幾分鐘後,害怕聽眾會感到無聊,居然從口袋裏掏出三個圓圈開始雜耍,會場的科學家們瞬間目瞪口呆。相信無論對主辦方還是聽眾而言,這都是一次難忘的學術體驗。
圖| stanstudio.coma
當然,“寶藏”男神香農的成就可不是隨隨便便就能説完的,畢竟一輩子只專注做好一件事對這位大神不適用。對香農而言,娛樂與科學研究之間並沒有清晰界限,有時候好奇心比實用性更重要。這種即使玩玩也能出成就的大神,真的讓人除了羨慕嫉妒沒有恨以外毫無辦法呢!
不過至少有一點,我們和香農還是站在同一起跑線的。那就是香農也是個“追星boy”,男神的偶像自然也是男神,香農自孩提時期就仰慕托馬斯·愛迪生。(事實上愛迪生是香農的遠親,知道這個冷知識相信大家心裏並沒有好受多少呢!)
**作者:**Maxwellsdemon、哪吒大魔王
來源:果殼
參考來源:
[1] Jimmi Soni and Rob Goodman. (2017). A MIND AT PLAY : How Claude Shannon Invented the Information Age. New York:Simon & Schuster.
[2] Rob Goodman and Jimmy Soni. (2017). CLAUDE SHANNON: MATHEMATICIAN, ENGINEER, GENIUS…AND JUGGLER? Avaialbe at: https://www.juggle.org/claude-shannon-mathematician-engineer-genius-juggler/
[3] László Kozma . (2010). Shannon’s Juggling Theorem. Avaialbe at: http://lkozma.net/blog/shannons-juggling-theorem/