更改

部分信息分解 (查看源代码)

删除1,187字节、 2025年11月10日 (一) 17:48

第7行：第7行：

=== 信息熵 ===

−

~~==== 信息量 ====~~

−

~~考虑如下一个由消息发送者和消息接收者消息传递组成的通信情景。~~

−

假设消息接收者接收到一个包含[math]\displaystyle {N}[/math]个字母的字符串，$N$为一大数，这些字母取自字母表$\{a_1,a_2,\dots,a_k\}$，字母$a_i$的出现概率为,相应的概率分布记为$A$，字母串的可能内容数目为

−

$$

−

~~<nowiki>\frac{N^{N}}{\Pi_{i=1}^{k}(p_i N)^{p_i N}}</nowiki>~~

−

$$

−

~~当用$\{0,1\}$两种状态构成的比特去编码表示这种消息的时候,所需要的比特量为~~

−

$$

−

~~<nowiki>\log_2 (\frac{N^{N}}{\Pi_{i=1}^{k}(p_i N)^{p_i N}})</nowiki>~~

−

$$

−

~~从而，这个$N$长字母串中每一个字母包含的比特量，也即信息量$H_A$为:~~

−

$$

−

~~<nowiki>H_A =\frac{1}{N} \log_2(\frac{N^{N}}{\Pi_{i=1}^{k}(p_i N)^{p_i N}}) = - \sum_{i=1}^{k}p_i\log_2 p_i</nowiki>~~

−

$$

−

~~称为香农熵。~~

−

这个场景可以辅助理解香农熵的一种含义：对于一个概率分布为$A$的字母表，香农熵$H_A$就是接收者平均每读取一个字母所能获取到的信息量，也即消除掉的对$N$长字符串内容的无知程度。

−

~~多变量信息熵，引出互信息~~

−

~~==== 公理化定义 ====~~

对于一个离散随机变量 $X$,它有 $n$ 种可能取值 $\{x_1,x_2,...,x_n\}$

216

个编辑