216
个编辑
更改
→信息熵
=== 信息熵 ===
=== 信息熵 ===
对于一个有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>的离散随机变量 <math>X</math>,
每个可能取值对应的概率记为 <math>\{p_1,p_2,\dots,p_n\}</math>。
度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵,<math>H(X)</math>满足以下三条公理：
1. 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
1. 连续性：概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
通过以上三条公理可确定在常数因子与对数底数之外唯一形式的 <math>H(X)</math>，形式如下,其中<math>K</math>为任意常数：
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
这种公理化思路也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。
=== [[互信息]] ===
=== [[互信息]] ===
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的冗余、特有和协同贡献。
两个变量的[[互信息]]可以写成<math>(D_{\mathrm{KL}}(p_{XY}\Vert p_Xp_Y))</math>仅度量二元联合分布偏离独立分布的程度；但它不能区分多源情形中的冗余、特有和协同贡献。
在此，集智百科将先以两源变量框架为例，展示信息原子的计算过程，为了在后面的例子中进行计算，这里先给出两源变量情形下冗余信息的计算式。依照Paul L. Williams和Randall D. Beer在论文中给出一般定义，容易得到冗余信息在两源变量框架中的计算式：
<math>
<math>