216
个编辑
更改
→信息熵
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵函数，这一函数满足以下三条公理：
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵。这一函数满足以下三条公理：
1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和。
2. 可加性:若一个随机试验可分解为多个连续的随机试验,那么原随机试验的不确定性应是各不确定性之和。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
这种思路也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。
=== 互信息 ===
=== 互信息 ===
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
在PID原始框架的两源变量情形中，条件互信息将协同信息与独特信息联系了起来。
== PID框架的形成动机 ==
== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图量化多变量传输信息，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
=== 总相关性 ===
=== 总相关性 ===