更改

3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。

3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。

通过以上三条公理可确定'''唯一形式的''' <math>H(X)</math>如下,其中<math>K</math>为任意常数：

通过以上三条公理可确定唯一形式的 <math>H(X)</math>如下,其中<math>K</math>为任意常数：

<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>

<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>

这种思路也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。

这种思路也在PID框架的构建中得到了应用，PID框架的作者提出冗余信息原子的单调性、上界性、自冗余性公理以约束冗余信息原子的数学形式。

=== 互信息 ===

=== [[互信息]] ===

对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。

对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。