Test autolink

信息的度量

信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个随机变量中信息的度量）和互信息（两个随机变量之间的信息的度量）。熵是随机变量的概率分布的一个属性，它限制了从给定分布中独立采样得到的数据的压缩率。互信息是两个随机变量的联合概率分布的一个属性，是当信道的统计量由联合分布确定时，在长块长度的限制下，通过有噪信道的可靠通信的最大速率。

在下列公式中，对数底数的选择决定了信息熵的单位。信息的常见单位是比特（基于二进制对数）。其他单位包括 nat（自然对数）和十进制数字（常用对数）。

下文中，按惯例将 p = 0 时的表达式p log p的值视为等于零，因为[math]\displaystyle{ \lim_{p \rightarrow 0+} p \log p = 0 }[/math]适用于任何对数底。

信源的熵

基于每个用于通信的源符号的概率质量函数，香农熵 Shannon Entropy（以比特为单位）由下式给出： [math]\displaystyle{ H = - \sum_{i} p_i \log_2 (p_i) }[/math]

其中p_i是源符号的第i个可能值出现的概率。该方程以比特（每个符号）为单位给出熵，因为它使用以2为底的对数。为表纪念，这个熵有时被称为香农熵。熵的计算也通常使用自然对数（以e为底数，其中e是欧拉数，其他底数也是可行的，但不常用），这样就可以测量每个符号的熵值，有时在公式中可以通过避免额外的常量来简化分析。例如以2⁸ = 256为底的对数，得出的值就以字节（而非比特）作为单位。以10为底的对数，每个符号将产生以十进制数字(或哈特利)为单位的测量值。

直观的来看，离散型随机变量X的熵H_X是对不确定性的度量，当只知道其分布时，它的值与X的值相关。

当一个信息源发出了一串含有N个符号的序列，且每个符号独立同分布时，其熵为N ⋅ H位(每个信息N符号)。 如果源数据符号是同分布但不独立的，则长度为N的消息的熵将小于N ⋅ H。

伯努利实验的熵，作为一个成功概率的函数，通常被称为二值熵函数, H_b(p)。当使用一个无偏的硬币做实验时，两个可能结果出现的概率相等，此时的熵值最大，为1。