216
个编辑
更改
→McGill 交互信息
'''交互信息的负值问题'''
'''交互信息的负值问题'''
[[McGill交互信息]]不同于[[信息熵]]或普通[[互信息]]，是一个可以取正值、零或负值的有符号多变量依赖度量。交互信息为负并不表示出现了“负的信息量”或计算错误；它表示在给定第三个变量后，另外两个变量之间的统计依赖增强了。
下面的例子展示了[[McGill交互信息]]框架中的负信息的含义。
'''例：汽车启动系统'''
设 <math>X,Y,Z</math> 均为取值于 <math>\{0,1\}</math> 的随机变量。其中：
* <math>X=1</math> 表示汽车能够启动，<math>X=0</math> 表示汽车无法启动；
* <math>Y=1</math> 表示电池正常工作，<math>Y=0</math> 表示电池故障；
* <math>Z=1</math> 表示燃油泵正常工作，<math>Z=0</math> 表示燃油泵故障。
<math>I(Y;Z|X) > 0</math>
为简化起见，假设电池状态 <math>Y</math> 与燃油泵状态 <math>Z</math> 相互独立，且均为均匀二元随机变量。汽车仅在两项部件都正常时才能启动，因此：
<math>X=Y\land Z.</math>
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
由于 <math>Y</math> 与 <math>Z</math> 在事前相互独立，有：
<math>I(Y;Z)=0.</math>
这里 <math>I(Y;Z)=0</math> 的原因是“电池状态与燃油泵状态被假设为独立”，而不是“汽车能否启动”这一逻辑关系本身。
但是，在观察到汽车是否启动后，电池与燃油泵的状态不再独立。特别地，当 <math>X=0</math>，即汽车无法启动时，<math>(Y,Z)</math> 只能取以下三种组合：
<math>(Y,Z)\in\{(0,0),(0,1),(1,0)\}.</math>
在这一条件下，若已知电池正常，即 <math>Y=1</math>，则必有 <math>Z=0</math>，即燃油泵发生故障；反之，若已知燃油泵正常，则必有电池故障。因此，给定 <math>X=0</math> 后，<math>Y</math> 与 <math>Z</math> 产生了统计依赖。
更具体地，在 <math>X=0</math> 的条件下，上述三个状态均以 <math>\tfrac{1}{3}</math> 的概率出现，因而：
<math>I(Y;Z\mid X=0)>0.</math>
当 <math>X=1</math> 时，<math>Y=Z=1</math> 为确定状态，故 <math>I(Y;Z\mid X=1)=0</math>。但由于 <math>P(X=0)=\tfrac{3}{4}</math>，总体上仍有：
<math>
I(Y;Z\mid X)
=
\frac{3}{4}I(Y;Z\mid X=0)
\approx 0.189\ \mathrm{bit}
>0.
</math>
因此，按照 McGill 交互信息的定义：
<math>
I(X;Y;Z)
=
I(Y;Z)-I(Y;Z\mid X)
\approx-0.189\ \mathrm{bit}.
</math>
该负值表示：原本相互独立的电池状态与燃油泵状态，在给定汽车能否启动的信息后产生了依赖。换言之，条件变量 <math>X</math> 揭示了 <math>Y</math> 与 <math>Z</math> 之间原先不可见的联合约束。
从上面的例子中McGill 交互信息能够揭示多变量系统中存在无法由两两关系解释的联合约束的存在性，但它将冗余与协同等不同的信息结构压缩为单一的有符号数值，无法进一步区分这些联合约束的信息成分。为此，研究者们尝试对多变量互信息进行更细致的结构化分解,这一需求构成了发展PID 框架动机的另一重要部分。
== 部分信息分解（PID）框架 ==
== 部分信息分解（PID）框架 ==