216
个编辑
更改
跳到导航
跳到搜索
第24行：
第24行： − 互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。+ − + + + + + + + + + + 第35行：
第44行： − 在PID框架中，两个变量的互信息自然构成了他们的交互信息，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。+ − − 对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。 − − 其定义如下: − − <math>I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math> − − 这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。
→互信息
=== 互信息 ===
=== 互信息 ===
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。
设<math>X,Y</math>为两个离散型随机变量：
其定义如下:
<math>I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>
这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。
在单一源的情形下，两个随机变量的互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的互信息的定义及计算式为:
<math>I(X;Y)
<math>I(X;Y)
<math>= H_X+H_Y - H_{XY}</math>
<math>= H_X+H_Y - H_{XY}</math>
两个变量的互信息仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
=== 条件互信息 ===
=== 条件互信息 ===