216
个编辑
更改
跳到导航
跳到搜索
第37行：
第37行： − + − 其定义为+
→互信息
在PID框架中，两个变量的互信息自然构成了他们的二阶交互信息，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
在PID框架中，两个变量的互信息自然构成了他们的二阶交互信息，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量$Y$之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。
其定义如下:
<math>I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
<math>I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>