7,129
个编辑
更改
跳到导航
跳到搜索
第29行：
第29行： − + 第35行：
第35行： − +
→历史背景
1948年7月和10月，克劳德·E·香农在《贝尔系统技术期刊》上发表了经典论文：《一种通信的数学理论》，这就是建立信息论学科并立即引起全世界关注的里程碑事件。
1948年7月和10月，克劳德·E·香农在《贝尔系统技术期刊》上发表了经典论文：《一种通信的数学理论》，这就是建立信息论学科并立即引起全世界关注的里程碑事件。
在此之前，贝尔实验室已经提出了有限的信息论思想，所有这些理论都隐性地假设了概率均等的事件。Harry Nyquist 在1924年发表的论文《集中影响电报速率的因素（Certain Factors Affecting Telegraph Speed）》中包含一个理论章节，量化了“情报”和通信系统可以传输的“线路速度”，并给出了关系式 {{math|1=''W'' = ''K'' log ''m''}} (参考玻尔兹曼常数) ，其中 ''W'' 是情报传输的速度， ''m'' 是每个时间步长可以选择的不同电压电平数，''K'' 是常数。Ralph Hartley 在1928年发表的论文《信息的传输（ Transmission of Information）》中，将单词信息作为一个可测量的量，以此反映接收者区分一系列符号的能力，从而将信息量化为 {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}，其中 ''S'' 是可以使用的符号的数量，''n'' 是传输中符号的数量。因此信息的单位就是十进制数字，为了表示对他的尊敬，这个单位有时被称为 Hartley，作为信息的单位、尺度或度量。1940年，图灵在二战时期破解德国的“迷”密码（Enigma ciphers）的统计分析中使用了类似的思想。
在此之前，贝尔实验室已经提出了有限的信息论思想，所有这些理论都隐性地假设了概率均等的事件。Harry Nyquist 在1924年发表的论文《集中影响电报速率的因素 Certain Factors Affecting Telegraph Speed》中包含一个理论章节，量化了“情报”和通信系统可以传输的“线路速度”，并给出了关系式 {{math|1=''W'' = ''K'' log ''m''}} (参考玻尔兹曼常数) ，其中 ''W'' 是情报传输的速度， ''m'' 是每个时间步长可以选择的不同电压电平数，''K'' 是常数。Ralph Hartley 在1928年发表的论文《信息的传输 Transmission of Information》中，将单词信息作为一个可测量的量，以此反映接收者区分一系列符号的能力，从而将信息量化为 {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}，其中 ''S'' 是可以使用的符号的数量，''n'' 是传输中符号的数量。因此信息的单位就是十进制数字，为了表示对他的尊敬，这个单位有时被称为 Hartley，作为信息的单位、尺度或度量。1940年，图灵在二战时期破解德国的“迷”密码（Enigma ciphers）的统计分析中使用了类似的思想。
信息论背后的许多数学理论（包括不同概率的事件）都是由路德维希·玻尔兹曼和约西亚·威拉德·吉布斯为热力学领域开发出来的。
信息论背后的许多数学理论（包括不同概率的事件）都是由路德维希·玻尔兹曼和约西亚·威拉德·吉布斯为热力学领域开发出来的。
香农的那篇革命性的、开创性的论文，于1944年的年底便已基本在贝尔实验室完成。在这论文里，香农将通信看作一个统计学过程，首次提出了通信的量化模型，并以此为基础推导出了信息论。论文开篇便提出了一下论断：
香农的那篇革命性的、开创性的论文，于1944年的年底便已基本在贝尔实验室完成。在这论文里，香农将通信看作一个统计学过程，首次提出了通信的量化模型，并以此为基础推导出了信息论。论文开篇便提出了一下论断：
<quote>“通信的基本问题是在一点上精确地或近似地再现在另一点上选择的信息 The basic problem of communication is the accurate or approximate representation at one point of selected information at another point”</quote>
<blockquote>“通信的基本问题是在一点上精确地或近似地再现在另一点上选择的信息 The basic problem of communication is the accurate or approximate representation at one point of selected information at another point”</blockquote>
与此相关的一些想法包括：
与此相关的一些想法包括：