216
个编辑
更改
跳到导航
跳到搜索
第7行：
第7行： − 单变量信息熵+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→信息熵
=== 信息熵 ===
=== 信息熵 ===
==== 信息量 ====
考虑如下一个由消息发送者和消息接收者消息传递组成的通信情景。
假设消息接收者接收到一个包含$N$个字母的字符串，$N$为一大数，这些字母取自字母表$\{a_1,a_2,\dots,a_k\}$，字母$a_i$的出现概率为,相应的概率分布记为$A$，字母串的可能内容数目为
$$
<nowiki>\frac{N^{N}}{\Pi_{i=1}^{k}(p_i N)^{p_i N}}</nowiki>
$$
当用$\{0,1\}$两种状态构成的比特去编码表示这种消息的时候,所需要的比特量为
$$
<nowiki>\log_2 (\frac{N^{N}}{\Pi_{i=1}^{k}(p_i N)^{p_i N}})</nowiki>
$$
从而，这个$N$长字母串中每一个字母包含的比特量，也即信息量$H_A$为:
$$
<nowiki>H_A =\frac{1}{N} \log_2(\frac{N^{N}}{\Pi_{i=1}^{k}(p_i N)^{p_i N}}) = - \sum_{i=1}^{k}p_i\log_2 p_i</nowiki>
$$
称为香农熵。
这个场景可以辅助理解香农熵的一种含义：对于一个概率分布为$A$的字母表，香农熵$H_A$就是接收者平均每读取一个字母所能获取到的信息量，也即消除掉的对$N$长字符串内容的无知程度。
多变量信息熵，引出互信息
多变量信息熵，引出互信息