216
个编辑
更改
→互信息
这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。
这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。
== 互信息 ==
互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。
设<math>X,Y</math>为两个离散型随机变量：
<math>I(X;Y)
=\sum_{i,j}p_{XY}(x_i,y_j)\log_2\left(\frac{p_{XY}(x_i,y_j)}{p_X(x_i)p_{Y}(y_j)}\right)</math>
<math>=\sum_{i,j}p_{XY}(x_i,y_j)\left(\log_2 p_{XY}(x_i,y_j) - \log_2p_{X}(x_i) - \log_2p_{Y}(y_j)\right)</math>
<math>= H_X+H_Y - H_{XY}</math>
在PID框架中，两个变量的互信息自然构成了他们的一阶冗余，即，仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。
== 条件互信息 ==
由互信息的定义可导出条件互信息，条件互信息的意义为有第三方变量的约束情况时，两个变量的重叠程度，其定义如下：
设<math>X,Y,Z</math>为离散型随机变量，条件互信息<math>I(X;Y|Z)</math>定义为：
<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>
在PID框架中，条件互信息将协同与独特联系了起来。
== 多变量互信息理论 ==
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者开启了以信息计量多个随机变量集合中总冗余度的方式,后者则引出了反直觉的负交互信息问题,这些构成了PID框架形成的动机——即PID框架试图彻底解决前两种多变量信息理论的问题，一方面PID框架试图对冗余进行彻底、详尽的分析，另一方面，PID框架给出了交互信息框架中负信息的形成机制及其意义，即解决了负交互信息问题。
=== 总相关性 ===
对于给定的<math>n</math>个随机变量集合
<math>\{X_1,X_2,\dots,X_n\}</math>
其总相关性<math>C(X_1,X_2,\dots,X_n)</math>的定义如下：
<math>C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n)</math>
其中<math>H(X_i)</math>是变量的信息熵<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的联合熵。
总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——比如下文例子中所展示的高阶冗余交互的情形
==== 例：三变量情形的高阶交互冗余 ====
设<math>\{X_1,X_2,X_3,X_4\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
[[File:无标题 1.png|描述]]
一个实例为：令<math>X_1,X_2,X_3,X_4</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
当<math>X_1,X_2,X_3</math>是否损坏为独立事件，但<math>\{X_1,X_2\}</math>构成的整体，即后轮组<math>\{X_1,X_2\}</math>损坏了，或是<math>X_3</math>构成的前轮组<math>X_3</math>损坏了，都能提供”车无法运行“的信息。
高阶交互冗余的存在启发了PID框架对总的冗余信息的来源进行分解。
=== McGill 交互信息(多重互信息、共信息、协同) ===
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
当<math>I(X_1,X_2,\dots,X_n)</math>以随机变量的信息熵和联合熵表达时,可以写成如下形式：
<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>
对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>
[[File:Pasted image 20251104135250.png|描述]]
==== 负信息问题 ====
对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。
如下例子展示了McGill交互信息框架中的负信息问题。
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>
但车无法启动,电池工作良好，则可推出发动机故障，从而
<math>I(Y;Z|X) > 0</math>
此时
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量协同作用的效果,启发了PID框架将协同计入信息原子。
== 部分信息分解框架 ==
== 部分信息分解框架 ==