在正式的文章之前，先分享一個和今天內容相關的趣味題目：
有1000份樣本，其中恰有一份不合格。已知一台檢測儀器可同時混合檢測任意多份樣本（即給出是否存在一份不合格），並且在15分鐘內給出準確結果（檢測不破壞樣本，且樣本可以同時用於多台儀器）。如果要求在1小時內找到這份不合格樣本，至少需要使用多少台檢測儀器？
Claude Elwood Shannon，1916-2001
圖源：網絡
克勞德·艾爾伍德·香農（Claude Elwood Shannon，1916-2001），美國數學家、信息論的創始人。為紀念他而設置的香農獎是通信理論領域最高獎，也被稱為“信息領域的諾貝爾獎”。
1916年，香農出生於密歇根州的一個小鎮，香農的祖父是一位農場主兼發明家，發明過洗衣機和許多農業機械。在祖父的影響下，經常在家裡製作模型飛機、遙控船還有無線電台。香農自幼崇拜托馬斯·愛迪生，有趣的是，原來愛迪生竟然是他的遠房親戚。
1932年香農進入密歇根大學，開始接觸喬治·布爾（George Boole，英國數學家）的理論。大學畢業時，他獲得了電子工程和數學兩個學士學位，並進入麻省理工學院深造。1938年香農在麻省理工學院獲得電氣工程碩士學位，碩士論文題目是 A Symbolic Analysis of Relay and Switching Circuits [1]，開創性地提出把布爾代數的“真”與“假”和電路系統的“開”與“關”對應起來，並利用布爾代數分析優化開關電路，奠定了數字電路的理論基礎。哈佛大學的 Howard Gardner 教授曾表示，“這可能是本世紀最重要、最著名的一篇碩士論文。”1940年，香農因這一成果獲得了美國工程師學會頒發的 Alfred Noble 獎。不過，即使是這樣的成就，還遠不能稱為香農最高光的時刻。
1940年，香農在麻省理工學院獲得數學博士學位後進入普林斯頓高等研究院工作，期間開始思考信息論與有效通信系統的問題。經過8年的努力，香農在貝爾實驗室工作期間，連載發表了影響深遠的論文 A Mathematical Theory of Communication [2]。香農清晰地闡明了通信的基本問題，給出了通信系統的模型，提出了信息量的數學表達式——信息熵，成了信息論正式誕生的里程碑。信息熵是度量信息量，也就是信息不確定度的工具，數學表示為：
簡單地說，信息的不確定度越大，計算得到的信息熵也就越大。如果計算中以b=2為底的，那麼計算出來的信息熵就以比特（bit）為單位， “比特”的出現標誌着人類知道了如何計量信息量。（思考下，如何用信息熵解決上面的趣味題目）。1949年，香農發表了另一著名論文 Communication in the Presence of Noise [3]，解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。值得一提的是，當我們愉快地用手機刷着本文的時候，我們也得感謝一下香農在該論文中的成果——香農第二定理（有噪信道編碼定理）。該定理清晰地定義了無線通信領域理論上的傳輸速率由哪些因素決定以及他們之間的量化關係。對無線通信原理和技術的發展起到了巨大的推動作用，為人們如何利用有限頻譜資源更快更好的傳遞信息指明了方向。同時從這一公式還可以推導出即便應用無限大的頻譜帶寬，傳遞信息的速率也是有極限的，這就是著名的香農極限。這一成就後來成功應用於電話、光纖和無線通信上，例如當下 5G 的頻譜效率已經在很大程度上的接近甚至達到了香農極限。
香農是一個典型的興趣驅動型的科學家，他並不考慮自己的研究成果有無商業價值，甚至不關心最後成果是否有用。他曾說：“我在完全無用的事情上花了大量的時間”。除了數學、通信領域的豐富成果，香農還涉足了密碼學 [4]、人工智能 [5] 等領域，皆取得了重要成果。例如，1949年，他發表的論文 Programming a Computer for Playing Chess [5]，是人工智能領域的開創性工作之一。
參考資料：
[1] Shannon C E. A Symbolic Analysis of Relay and Switching Circuits. Electrical Engineering, 1938, 57(12): 713-723.
[2] Shannon C E. A Mathematical Theory of Communication. The Bell system technical journal, 1948, 27(3): 379-423.
[3] Shannon C E. Communication in the Presence of Noise. Proceedings of the IRE, 1949, 37(1): 10-21.
[4] Shannon C E. Communication Theory of Secrecy Systems. The Bell system technical journal, 1949, 28(4): 656-715.
[5] CE S. Programming a Computer for Playing Chess. IEEE Press, 1993: 637-656.
文字 | 丁齊鳴
封面圖 | 朱成軒
