863
个编辑
更改
无编辑摘要
|description=信息论,信息时代,正规科学,控制论,计算机科学
|description=信息论,信息时代,正规科学,控制论,计算机科学
}}
}}
'''<font color="#ff8000">信息论 Information Theory</font>'''研究的是信息的量化、存储与传播。信息论最初是由'''<font color="#ff8000">克劳德·香农 Claude Shannon</font>'''在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论（A Mathematical Theory of Communication）》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
'''<font color="#ff8000">信息论 Information Theory</font>'''研究的是信息的量化、存储与传播。信息论最初是由'''<font color="#ff8000">克劳德·香农 Claude Shannon</font>'''在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论（A Mathematical Theory of Communication）》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
信息论在应用领域的基本课题包括无损数据压缩(例如:ZIP压缩文件)、有损数据压缩(例如:Mp3和jpeg格式) ，以及频道编码(例如:DSL)。信息论在信息检索、情报收集、赌博，甚至在音乐创作中也有应用。
信息论在应用领域的基本课题包括无损数据压缩(例如:ZIP压缩文件)、有损数据压缩(例如:Mp3和jpeg格式) ，以及频道编码(例如:DSL)。信息论在信息检索、情报收集、赌博，甚至在音乐创作中也有应用。
信息论中的一个关键度量是熵。熵量化了一个随机变量的值或者一个随机过程的结果所包含的不确定性。例如，识别一次公平抛硬币的结果（有两个同样可能的结果）所提供的信息（较低的熵）少于识别抛一次骰子的结果（有六个同样可能的结果）。信息论中的其他一些重要指标有：互信息、信道容量、误差指数和相对熵。
==概览==
==概览==
信息论与一系列纯科学和应用科学密切相关。在过去半个世纪甚至更久的时间里，在全球范围内已经有各种各样的学科理论被研究和化归为工程实践，比如在自适应系统，预期系统，人工智能，复杂系统，复杂性科学，控制论，信息学，机器学习，以及系统科学。信息论是一个广博而深遂的数学理论，也具有广泛而深入的应用，其中编码理论是至关重要的领域。
信息论与一系列纯科学和应用科学密切相关。在过去半个世纪甚至更久的时间里，在全球范围内已经有各种各样的学科理论被研究和化归为工程实践，比如在自适应系统，预期系统，人工智能，复杂系统，复杂性科学，控制论，信息学，机器学习，以及系统科学。信息论是一个广博而深遂的数学理论，也具有广泛而深入的应用，其中编码理论是至关重要的领域。
编码理论与寻找明确的方法（编码）有关，用于提高效率和将有噪信道上传输的数据错误率降低到接近信道容量。这些编码可大致分为数据压缩编码（信源编码）和纠错（信道编码）技术。对于纠错技术，香农证明了理论极限很多年后才有人找到了真正实现了理论最优的方法。
第三类信息论代码是密码算法（包括密文和密码）。编码理论和信息论的概念、方法和结果在密码学和密码分析中得到了广泛的应用。
==历史背景==
==历史背景==
<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
其中{{math|''p<sub>i</sub>''}}是源符号的第{{math|''i''}}个可能值出现的概率。该方程以比特（每个符号）为单位给出熵，因为它使用以2为底的对数。为表纪念，这个熵有时被称为香农熵。熵的计算也通常使用自然对数(以[[E (mathematical constant)|{{mvar|e}}]]为底数，其中{{mvar|e}}是欧拉数，其他底数也是可行的，但不常用)，这样就可以测量每个符号的熵值，有时在公式中可以通过避免额外的常量来简化分析。例如以{{math|1=2<sup>8</sup> = 256}}为底的对数，得出的值就以字节（而非比特）作为单位。以10为底的对数，每个符号将产生以十进制数字(或哈特利)为单位的测量值。
其中{{math|''p<sub>i</sub>''}}是源符号的第{{math|''i''}}个可能值出现的概率。该方程以比特（每个符号）为单位给出熵，因为它使用以2为底的对数。为表纪念，这个熵有时被称为香农熵。熵的计算也通常使用自然对数（以[[E (mathematical constant)|{{mvar|e}}]]为底数，其中{{mvar|e}}是欧拉数，其他底数也是可行的，但不常用），这样就可以测量每个符号的熵值，有时在公式中可以通过避免额外的常量来简化分析。例如以{{math|1=2<sup>8</sup> = 256}}为底的对数，得出的值就以字节（而非比特）作为单位。以10为底的对数，每个符号将产生以十进制数字(或哈特利)为单位的测量值。
直观的来看，离散型随机变量{{math|''X''}}的熵{{math|''H<sub>X</sub>''}}是对不确定性的度量，当只知道其分布时，它的值与{{math|''X''}}的值相关。
直观的来看，离散型随机变量{{math|''X''}}的熵{{math|''H<sub>X</sub>''}}是对不确定性的度量，当只知道其分布时，它的值与{{math|''X''}}的值相关。