“克劳德·艾尔伍德·香农 Claude Elwood Shannon”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
第228行： 第228行：
 
===相关课程===
 
===相关课程===
 
====[http://campus.swarma.org/mobile/courseDetail?id=10452&share=19792ab16ef22136 信息熵和编码]====
 
====[http://campus.swarma.org/mobile/courseDetail?id=10452&share=19792ab16ef22136 信息熵和编码]====
−
* 集智学园上关于信息熵和编码的课程
+
集智学园上关于信息熵和编码的课程
 
本中文词条由zq用户参与编译，[[用户:Meng莫|Meng莫]]编辑，欢迎在讨论页面留言。
 
本中文词条由zq用户参与编译，[[用户:Meng莫|Meng莫]]编辑，欢迎在讨论页面留言。
  

2020年4月8日 (三) 17:18的版本

基本信息

Claude Elwood Shannon.jpg
类别 信息
姓名： 克劳德·艾尔伍德·香农 Claude Elwood Shannon
出生日期： 1916年4月30日
逝世日期： 2001年2月26日
国籍： 美国
母校： 密歇根大学，麻省理工学院
成就： 信息论创始人、引入信息熵
机构： 贝尔实验室、麻省理工学院
研究领域： 布尔代数、物理学、数学、信息论


学习工作经历

  • 1932年~1936年： 密歇根大学，本科。
  • 1936年~1940年： 麻省理工学院，硕士、博士。
  • 1940年： 香农成为普林斯顿高等研究院的研究员。
  • 二战期间： 香农加入贝尔实验室工作。
  • 1956年： 香农返回麻省理工学院。

代表性贡献

硕博时期（1936-1940）

香农出生于密歇根 Michigan 的湖滨佩托斯基 Petoskey 。1936年，香农在密歇根大学获得数学与电气工程学士学位，然后进入麻省理工学院 MIT 攻读研究生学位。1938年香农在MIT获得电气工程硕士学位，其学位论文为《A Symbolic Analysis of Relay and Switching Circuits》（《继电器与开关电路的符号分析》），这篇论文发表在Transactions of the American Institute of Electrical Engineers上。论文中他把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，分别用1和0表示，证明了布尔代数（英文）和二进制可以简化当时在电话交换系统中广泛应用的机电继电器的设计。然后，香农扩展了这个概念，证明了基于机电继电器的电路能用于模拟和解决布尔代数问题。他的数学分析为数字电路打下了理论基础，把计算机科学引上了数字化的道路，为今天形形色色的数字技术铺垫了牢固的基石。1940年，香农因这一成果获得了美国工程师学会颁发的Alfred Noble奖。同年，香农在MIT获得数学博士学位，学位论文题目是《An algebra for theoretical genetics》（ 《理论遗传学的代数学》）。 在科学史上被公认为有奠基性成果的博士论文并不多见，广为人知的当然有爱因斯坦、居里夫人、德布罗意、费曼，数学方面还包括黎曼和纳什，而香农的博士论文被认为是二十世纪最优秀的一篇。

普林斯顿高等研究院（1940-1941）

1940-41年间，香农在普林斯顿高等研究院工作。 在普林斯顿，香农有机会与有影响力的科学家和数学家讨论他的想法，如约翰·冯·诺依曼 John von Neumann。在这期间，香农开始思考信息理论和数字通信问题，并且可以自由地跨学科工作，这种能力有助于他后来数学信息理论的发展。1941年，他加入AT&T电话电报公司的贝尔实验室 Bell Labs 数学部，工作至1956年。其后被MIT聘为客座教授，1958年成为讲座教授，1978年退休成为名誉教授。

贝尔实验室（1941-1956）

二战期间，香农加入贝尔实验室。在贝尔实验室期间，除了火炮控制系统之外，信息保密和隐藏技术是香农的主要工作内容。 在1943年初的两个月中，香农与英国著名数学家艾伦·图灵 Alan Turing 接触。图灵当时被派到华盛顿和美国海军交流，破译德国的北大西洋潜艇舰队密码的成果，并在贝尔实验室待了一段时间。图灵在当时向香农介绍了现在被称为“图灵机”的概念。香农对此很感兴趣，因为图灵机的概念和香农自己的很多想法相吻合。 1945年，香农向实验室提交了一份机密文件“密码学的数学理论” A mathematical theory of cryptography 。该研究成果在二战结束后于1949年以《Communication theory of secrecy systems》（《保密系统的通信理论》）为题正式发表，为现代公钥密码和分组密码设计提供了启发和指导，香农同时证明了一个无法被破译的密码系统的密钥必须有以下特征：完全随机，不能重复使用，保密，和明文一样长。他随即被美国政府聘为密码事务顾问。 在贝尔实验室，信息理论和数字通信一直是香农的重点科学研究内容。1948年，香农在实验室主办的杂志《Bell System Technical Journal》上分两期发表了一篇论文《A Mathematical Theory of Communication》（《通信的数学原理》），研究了如何最好地为发送信息编码，引进了量度不确定性的信息熵，还设计了和范诺 Robert Fano 一起完成的“香农-范诺编码”。1949年，他又在该杂志上发表了“噪声下的通信”一文，其中建立了著名的香农采样定理 Shannon sampling theorem 。

香农这期间的一系列工作，建立了现代信息论。

他后来回忆道：“我的第一个想法，就是如何在噪声信道中最好地改善信息传输”。香农在文章中定义了信息的基本单位，采取了贝尔实验室同事John Tukey的建议，定为“比特”。当年，据说是冯·诺尔曼 John von Neumann 说服香农借用热力学的“熵”这个词。冯·诺尔曼认为，当时没有人知道这个“信息熵”是什么，这在学术界关于信息理论辩论中会给香农带来优势。此外，香农说过他的通信理论在数学和哲学原理方面颇多受益于MIT 的同事维纳 Norbert Wiener 。维纳则强调，引入信息熵及数字技术作为该理论的基础是香农个人的功劳。

香农逼近定理（1948）

香农在1948年的论文中引进了通信信道的香农极限 Shannon limit ，也称为香农容量 Shannon capacity ，就是针对特定噪声水平的信道的最大理论信息传输速率。后来著名的香农定理（噪声信道编码定理）指出: 信息传输速率即信道容量，是带宽，是平均信号功率，是平均噪声功率，为信噪比。香农极限就是其最大值。香农在该论文中解释了如何计算这个极限，但他当时并不知道如何逼近它。多年以后，香农和其他科学家不断地挑战这个重要而棘手的技术问题。现代通信系统从1G、2G、3G、4G到5G的整个发展过程中，全世界的科学家、通信运营商和生厂商们一直在追逐着逼近香农极限。2018年初，NOKIA在新闻发布会上宣称，他们的第三代光子业务引擎PSE-3芯片达到了目前逼近香农极限的最佳值。

信息论

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（《通信的数学理论》）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：

[math]\displaystyle{ H(X)=\mathbb{E}_{X} [I(x)] =\sum_{x\in\mathcal{X}}^{}p(x)\log_2(\frac{1}{p(x)}) }[/math]

其中[math]\displaystyle{ \mathcal{X} }[/math]为有限个事件x的集合，[math]\displaystyle{ X }[/math]是定义在[math]\displaystyle{ \mathcal{X} }[/math]上的随机变量。信息熵是随机事件不确定性的度量。

熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。但是在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。信息熵是香农将热力学中的熵引入到信息论中，用数学语言阐明了概率与信息冗余度的关系，因此也被称为香农熵。

兴趣驱动研究

香农是一个典型的兴趣驱动型的科学家，他并不考虑自己的研究成果有无商业价值，甚至不关心最后成果是否有用。他说：“我在完全无用的事情上花了大量的时间”。

1949年，他发表了论文《Programming a computer for playing chess》（“为下棋计算机编程》），勾画了关于人工智能的一项开创性工作。次年，他亲手制造了一只名为“忒修斯” Theseus 的机器老鼠，让机械鼠通过反复试探后自己找到迷宫的出路。忒修斯是希腊神话中的英雄，他为了解救希腊的童男童女，自告奋勇到克里特岛除掉了人头牛身的恶怪“弥诺陶洛斯” Minotaur ，并在可怕的迷宫里成功地找到了出口。

1951年，香农发表了《Prediction and entropy of printed English》（《书面英语的预测和熵》）一文，说明信息论不但可以应用于计算机语言，而且可以应用于自然语言，他还计算了英语的熵，主张从数理统计的角度去分析人类语言。

同样在1951年，香农发表了论文《Presentation of a maze solving machine》（《介绍一个走迷宫的机器》），解释了这一任务是通过密集继电器系列的运作完成的，取材于贝尔电话系统的交换机元件。那个巧妙的机电设计被视为现代计算机芯片的雏型。1953年，他又设计了一个“心灵阅读” mind reading 机器，它通过观察和分析弈棋对手过去所做各种选择的样本，能够相当准确地猜测到对手下一步棋的走法。那个成功的逻辑设计被视为现代机器学习和人工智能发展的前奏。香农当年说过：“我认为，几十年后机器智能超越人类是完全可以预期的”。

香农发明了很多用于科学展览的设备，比如火箭动力飞行光盘、一个电动弹簧高跷和一个喷射小号。香农的办公桌上放着一个他称之为“终极机器”的盒子，这是香农众多好玩的发明之一，是根据人工智能研究的先驱、数学家马文·闵斯基提出的想法而做出来的。这个盒子外表平淡无奇，只是在一侧有一个开关，弹一下开关，盒盖就会打开，一个机械手会伸出来；将开关复原，机械手就缩回盒子。香农还做了一个设备能够复原魔方。

香农还被认为和爱德华·索普一起发明了第一个佩戴式计算机，这个佩戴式计算机用于提高轮盘赌的获胜几率。

1960年代，年方半百的香农逐渐消失在公众的视野中。他甚至不再出席由他创办的信息领域专业会议。香农曾经说过：“许多伟大数学家在年轻的时候就已经完成了生命中最重要的研究”。也许是他自认为江郎才尽了？旁人和后人都不得而知。只是到了1985年，有一次他出乎意料地出现在英国布莱顿举行的国际信息论研讨会上，当时很多与会者甚至不知道他仍然在世。事实上到了1980年代，香农的记忆力开始严重衰退，后来患上了老年痴呆症。香农在与疾病抗争了很长一段时间后于2001年2月24日辞世，享年84岁。

重要观点与研究方法

在信息论中，香农利用抽象化的方法，对现实中各种不同的通信背景下的根本问题进行了刻画和抽象，主要依赖3种观点和方法，即形式化假说、不确定性和非决定论。 香农用数学方法定量描述信息，从而得出了大量的定量的结论，特别是三大极限定理，均是对通信中重要度量的极限结论。

形式化假说

香农说：“通信的基本问题，是在消息的接收端精确地或近似地复制发送端所挑选的信息。通信消息是有意义的，即是说，它按某种关系与某些物质或概念的实体联系着。通信的语义方面的问题与工程问题是没有关系的。” 可提出如下假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息时，可以先把语义和语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。比如信息包含不同的语义，而且语义也存在远近等不同；有些信息可能是有益的，有些可能是有害的，但是信息论暂时不管这些，以放弃一些复杂的“包袱”，这样才能便于建立模型、减少参数。 这种通信工程的“形式化”假说，对复杂的信息问题进行分解，大胆地去掉了复杂、具有个性化特点的、难于处理的消息的语义和语用因素，巧妙地保留了容易用数学描述的通用形式，因此，这使应用数学工具定量度量信息成为可能。此外，通过形式化的方法从通信问题中提取最为简练的共性问题，这使得通信问题升华为能够解决相对广泛的信息问题的理论，而不是单纯的个别应用，这种抽象使得所有消息和数据都可以采用二进制数据的形式进行存储、传输和处理，使得信息化可以渗透到各行各业，给当今社会带来深远的影响。

非决定论

我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地确定它的结果；反过来，只要知道了它的结果，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥和否认偶然性。 香农并没有墨守成规，他说：“重要的是，一个实际的消息，总是从可能发生的消息集合中选择出来的。因此，系统必须设计得对每一种选择都能工作，而不是只适合工作于某一种选择。因为，各种消息的选择是随机的，设计者事先无法直到什么时候会选择什么消息来传送。”这种“非决定论”观点是对通信活动的总的认识观，它从原则上回答了应采用什么样的数学工具来解决信息度量的问题，概率、集合的理论和方法由此得以在信息论中广泛应用。这也使得信息论可以解决给定参数下的一类问题。

不确定性

香农指出：“人们只有在两种情况下有通信的需要。其一，是自己有某种形式的消息要告知对方，而估计对方不知道这个消息；其二，是自己有某种疑问要询问对方，而估计对方能做出一定的解答。”这里的不知道和疑问是在一般情况下归结为存在某种知识上的“不确定”。对于第一种情况，是希望消除对方的不确定性，对于第二种情况，则是请求对方消除不确定性，所以通信的作用是通过消息的传递，使接收者从收到的消息中获取一样东西，因而消除了通信前存在的“不确定性”。这种东西就是信息。这样，我们有理由给信息一个明确的定义：“信息就是用来消除不确定的东西。”进而，可合理地推断：通信后接收者获取的信息在数量上等于通信前后“不确定性”的消除量。这就是信息论中度量信息的基本观点。 那么，很自然的接着问这样一个问题：“不确定性”本身是否可度量？是否可用数学方法来表示呢？我们知道不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味着“不确定性”小；“可能性”小，即意味着“不确定性”大。由此可见，“不确定性”与概率大小存在着一定的联系，“不确定性”应该是概率的某一函数；那么，“不确定性”的消除量（减少量），也就是狭义信息量，也一定可由概率的某一函数表示。这样就完全解决了作为“通信的消息”来理解的“狭义信息”的度量问题。这一点与非决定论有相似性。 以上三个观点可以说是信息论的三大理论支柱。信息论的建立，在很大程度上澄清了通信的基本问题。它以概率论为工具，刻划了信源产生信息的数学模型，导出了度量信息的数学公式；同时，描述了信道传输信息的过程，给出了表征信道传输能力的容量公式；此外，它还建立了一组信息传输的编码定理，论证了信息传输的一些基本界限。这些成果的取得，一方面使通信技术从经验走向科学，开辟了通信科学的新纪元。同时，也为整个信息科学的形成和发展奠定了必要的理论基础。同时也应该看到，在形式化的各种假设和通信系统的各种模型中，均存在各种各样的前提和假设，致使信息论只适合于一定的范围，给这个理论带来一定的局限性。

你遇见过香农吗？

回顾香农辉煌的一生，他年轻时开始已经在世界上被逐渐公认推崇，获得过10个荣誉博士学位（先后依次为密歇根大学、普林斯顿大学、爱丁堡大学、匹兹堡大学、美国西北大学、牛津大学、东英格伦大学、卡内基梅隆大学、塔夫斯大学和宾夕法尼亚大学），成为美国科学院和工程院院士以及英国皇家学会院士。他获得的主要奖项包括1985年的日本京都奖 Kyoto Prize 、1966年的IEEE 荣誉奖章 IEEE Medal of Honor 、1972年IEEE第一届香农奖 Shannon Award 和1996年的美国国家科学奖 National Medal of Science 。遗憾的是，香农研究工作的领域和本质决定了他无缘于诺贝尔奖。

22位科学家 “Meets Shannon”

在香农的生前身后，许多科学家和数学家都遇见过他（“Meets Shannon”）。除了与他同时代或稍后的知名数学家和科学家卡诺（Carnot,1796-1832）、菲克（Fick，1829-1901）、李雅普诺夫(Lyapunov,1857-1918)、马可尼（Marconi，1874-1937）、奈奎斯特（Nyquist，1889-1976）、维纳（Wiener，1894-1964）、冯·诺尔曼（John von Neumann，1903-1957）、波德（Bode，1905-1982）、列昂季耶夫（Leontief，1906-1999）、图灵（Turing，1912-1954）、布莱克韦（Blackwell，1919-2010)、贝尔曼（Bellamn，1920-1984）、纳什（Nash，1928-2015）、列康（LeCam，1924-2000）、摩尔（Moore，1929-）、卡尔曼（Kalman，1930-2016）、斯特朗（Strang，1934-）、索兹（Shortz，1952-）之外，还有他的前辈傅里叶（Fourier，1768-1830）、麦克斯韦（Maxwell,1831-1879）、瓦尔拉斯（Walras，1834-1890)、特斯拉（Tesla，1856-1943），他们都遇见过香农。

香农如此敬业乐群，你也遇见过他么？

相关机构

贝尔实验室

贝尔实验室为从事包括电话交换机、电话电缆、半导体等电信相关技术的研究开发机构，在电子和计算机领域作出了巨大的贡献。包括晶体管的发明、香农的信息论的建立和光电池的发明等，同时也是UNIX操作系统和C语言的发源地。这里总共诞生了9位诺贝尔奖得主。

麻省理工学院

1956年，香农加入了麻省理工学院，在麻省理工学院电子研究实验室 RLE 工作。他一直在麻省理工学院任教，直到1978年。

主要职位及荣誉

  • 美国科学院院士、伦敦皇家科学院院士、利奥波第那科学院院士（德国）
  • 美国Alfred Noble协会美国工程师奖1940年
  • Morris Liebmann 无线电工程师协会Memorial奖章1949年
  • 耶鲁大学（首席科学家）1954年
  • Stuart Ballantine弗兰克林协会奖章1955年
  • 研究合作奖1956年
  • 密歇根大学荣誉博士1961年
  • 莱斯大学荣誉奖章1962年
  • 普林斯顿大学荣誉博士1962年
  • Marvin J. Kelly Award 1962年
  • 爱丁堡大学荣誉博士1964年
  • 匹兹堡大学荣誉博士1964年
  • IEEE荣誉奖章1966年
  • 美国国家科学奖章1966年，由前总统林登·约翰逊颁发
  • 美国西北大学荣誉博士1970年
  • 牛津大学荣誉博士1978年
  • 东英吉利亚大学荣誉博士1982年
  • 卡内基梅隆大学荣誉博士1984年
  • 美国声频技术协会金奖1985年
  • 塔夫斯大学荣誉博士1987年
  • 宾西法尼亚大学荣誉博士1991年

主要文章与著作

本文是信息论领域的奠基之作。论文列出了通信的基本要素:

1).产生消息的信息源。
2).该对消息进行操作的发射机以产生信号，其可以通过一个信道被发送。
3).通道是发送信号的媒介，信号中包含构成消息的信息。
4).接收器，将信号转换回打算传递的消息。
5).消息所针对的目的地或目的地，可以是人或机器。

论文还提出了信息熵和冗余性的概念，并引入了术语“ 比特(bit)”作为信息单位。在本文中还提出了Shannon-Fano编码技术，该技术是与Robert Fano共同开发的。


香农在这篇论文为私钥密码系统建立了理论基础，从此密码学成为一门科学。


该论文中香农写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值（不能产生精确值）、求调整率的近似值以及自动控制速率的方法。”


本文是香农在麻省理工的博士学位论文。这篇论文是关于人类遗传学的。这说明香农的科研兴趣十分广泛。


这是香农在麻省理工获得电气工程硕士学位的论文。当时的香农已经注意到电话减缓电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统中的“开”和”关“对应起来，并且用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。

哈佛大学的Howard Gardner教授说：”这可能是本世纪（20世纪）最重要、最著名的一篇硕士论文。“

参考资料

本文大量参考了香港城市大学陈关荣教授的文章——你遇见过香农吗？ 下为陈关荣教授基本信息：

Chenlr.jpg
类别 信息
姓名： 陈关荣 Guanrong Chen
国籍： 中国
母校： 中山大学
成就： 混沌控制及分岔理论分析与应用
所在机构： 香港城市大学
研究方向： 混沌控制与同步，复杂动态网络，动力学和控制
个人主页链接 http://www.ee.cityu.edu.hk/~gchen/brief.html
所在城市： 中华人民共和国香港特别行政区
联系方式： (电话)852-3442-7922 (传真)852-3442-0562 (电子邮件)eegchen = cityu-edu-hk


陈关荣教授1981年获广州中山大学计算数学硕士学位，1987年获美国Taxas A&M 大学应用数学博士学位，其后在美国Rice和Houston大学任教。自2000年其，他接受香港城市大学讲座教授职位工作至今，在该校成立了"混沌与复杂网络"学术研究中心并任主任


陈关荣教授于1997年被选为IEEE Fellw, 2008年、 2012年和2016年获国家自然科学二等奖，2011年获俄罗斯圣彼得堡国立大学授予荣誉博士学位和俄罗斯欧拉基金会颁发欧拉金质奖章，2014年 获法国诺曼底大学授予荣誉博士学位并当选为欧洲科学院院士，2015年 当选为发展中国家科学院院士。


研究工作主要集中在电子工程方面的一个核心领域一非线性系统的控制理论和动力学分析，及其在复杂网络等相关领域中的应用。自1981年以来，共发表了约600篇国际学术杂志论文、250多篇国际学术会议论文、共出版17部研究专著和高等教材，论文他引超过4万次，H指数109，是工程和数学领域高引用研究人员。

其他参考

编者推荐

你遇见过香农吗？

香港城市大学陈关荣教授的文章

信息熵和编码

《香农传 : 从0到1开创信息时代》

对香农感兴趣的同学还可以阅读这本书。

相关课程

信息熵和编码

集智学园上关于信息熵和编码的课程 本中文词条由zq用户参与编译，Meng莫编辑，欢迎在讨论页面留言。

本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。

取自“https://wiki.swarma.org/index.php?title=克劳德·艾尔伍德·香农_Claude_Elwood_Shannon&oldid=2258”