216
个编辑
更改
→信息熵
== 相关概念 ==
== 相关概念 ==
== 信息熵 ==
对于一个离散随机变量 $X$,它有 $n$ 种可能取值 $\{x_1,x_2,...,x_n\}$
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
每个可能取值对应的概率相应为 $\{p_1,p_2,...,p_n\}$。度量其不确定程度的函数$H(X)$应满足以下三条公理
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵函数，这一函数满足以下三条公理：
1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续
2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和
2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
通过以上三条公理可确定'''唯一形式的''' <math>H(X)</math>为,其中<math>K</math>为任意常数：
通过以上三条公理可确定**唯一形式的**$H(X)$为,其中$K$为任意常数
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。
=== 互信息 ===
=== 互信息 ===