216
个编辑
更改
→PID框架的形成动机
即，在已知 <math>X_2</math> 后，<math>X_1</math> 对 <math>Y</math> 提供的信息由 <math>X_1</math> 的特有信息与两个信源的协同信息构成。这一关系说明了条件互信息与 PID 中特有信息、协同信息之间的联系。
即，在已知 <math>X_2</math> 后，<math>X_1</math> 对 <math>Y</math> 提供的信息由 <math>X_1</math> 的特有信息与两个信源的协同信息构成。这一关系说明了条件互信息与 PID 中特有信息、协同信息之间的联系。
== PID框架的形成动机 ==
== [[PID框架]]的形成动机 ==
在PID框架被提出前，[[多变量信息理论]]领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的[[总相关性]]框架<ref>[https://ieeexplore.ieee.org/abstract/document/5392532 Watanabe S (1960). Information theoretical analysis of multivariate correlation, ''IBM Journal of Research and Development'' '''4''', 66–82.]</ref>及William J. McGill于1954提出的[[McGill交互信息|交互信息]]框架<ref>[https://www.cambridge.org/core/journals/psychometrika/article/abs/multivariate-information-transmission/7EB2980C5C5668747D306E2842C8C0A8 McGill W J (1954). Multivariate information transmission, ''Psychometrika'' '''19''', 97–116.]</ref>，前者提出的[[总相关性]][[熵函数]]为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的[[交互信息]]出现负值的问题。这些为[[部分信息分解|PID框架]]的形成提供了动机，一方面[[部分信息分解|PID框架]]试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，[[部分信息分解|PID框架]]要给出[[McGill交互信息|交互信息]]框架中[[负信息]]的形成机制及其意义，即为交[[互信息]]出现负值的问题提供结构化解释。
=== 总相关性 ===
=== [[总相关性]] ===
设 <math>X_1,\ldots,X_n</math> 为一组随机变量。[[总相关性]]（total correlation）定义为：
<math>\{X_1,X_2,\dots,X_n\}</math>
<math>C(X_1,\ldots,X_n)=\sum_{i=1}^{n}H(X_i)-H(X_1,\ldots,X_n).</math>
其中，<math>H(X_i)</math> 为随机变量 <math>X_i</math> 的[[信息熵]]，<math>H(X_1,\ldots,X_n)</math> 为该随机变量组的[[联合熵]]。总相关性也可写为[[联合分布]]与各变量[[边缘分布]]乘积之间的 Kullback–Leibler 散度：
<math>C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n)</math>
<math>C(X_1,\ldots,X_n)=D_{\mathrm{KL}}\!\left(p(x_1,\ldots,x_n)\,\middle\|\,\prod_{i=1}^{n}p(x_i)\right).</math>
总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性。
'''例：三变量情形的高阶交互冗余'''
'''例：三变量情形的高阶交互依赖'''
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设 <math>X_1</math> 与 <math>X_2</math> 为相互独立的均匀二元随机变量，并令：
<math>X_3=X_1\oplus X_2,</math>
其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。
[[文件:三变量高阶冗余示例.png|边框|居中|无框|337x337像素]]
[[文件:三变量高阶冗余示例.png|边框|居中|无框|337x337像素]]
这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。
高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。
=== McGill 交互信息 ===
[[McGill交互信息]]又称[[McGill交互信息|多重互信息]]或[[MacGill交互信息|共信息]]，对随机变量集合 <math>\mathcal{V}=\{X_1,\ldots,X_n\}</math>，其可写为:
<math>I(\mathcal{V})=\sum_{\emptyset\ne\tau\subseteq\mathcal{V}}(-1)^{|\tau|-1}H(\tau),</math>
其中，<math>H(\tau)</math> 表示子集 <math>\tau</math> 中随机变量的[[联合熵]]，且 <math>H(\emptyset)=0</math>。（注:[[集智百科]]采用 McGill 的符号约定；部分文献中“[[共信息]]”（co-information）的符号约定可能与之相反）
[[McGill交互信息]]又称[[McGill交互信息|多重互信息]]或[[MacGill交互信息|共信息]]，其定义方式如下：
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的[[McGill交互信息]]由[[互信息]]和[[条件互信息]]组成的[[递归]]式给出，如下所示
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组[[离散型随机变量]]构成的集合，它们的[[McGill交互信息]]由[[互信息]]和[[条件互信息]]组成的[[递归]]式给出，如下所示
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>
这一指标衡量了一组随机变量中超出其任意子集所包含的信息之外的信息量。
这一指标衡量了一组随机变量中超出其任意子集所包含的信息之外的信息量。
对于三个随机变量 <math>X,Y,Z</math>，交互信息可写为：
<math>I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z).</math>
相应的[[McGill交互信息]]为下图中的灰色部分:<math>I(X;Y;Z)</math>
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|居中|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。]]
[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|居中|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。]]
'''交互信息的负值问题'''
'''交互信息的负值问题'''
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill交互信息，作为一种捕捉冗余的信息论框架有缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，[[部分信息分解|PID框架]]就是其中一种。
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill交互信息，作为一种捕捉冗余的[[信息论]]框架有缺陷。
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>
其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的[[动力系统]]<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>
但车无法启动,电池工作良好，则可推出发动机故障，从而：
但车无法启动,电池工作良好，则可推出发动机故障，从而：
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>
[[McGill交互信息]]负值的出现意味着本不是冗余的信息被计算成了[[冗余信息原子|冗余信息,]]从而暗示了以往被算作“[[冗余信息原子|冗余信息]]”的部分可能包含着多个变量形成整体间互相作用的效果,启发了[[部分信息分解|PID框架]]将[[协同信息原子|协同]]计入[[信息原子]]。
[[McGill交互信息]]负值的出现意味着出现负值并不表示“负的信息量”或计算错误，而表示：在给定第三个变量后，前两个变量之间的依赖强度增加，即 <math>I(X;Y\mid Z)>I(X;Y)</math>。交互信息将冗余与协同等不同类型的贡献合并为一个数值，因此仅凭其正负号无法分别量化这些贡献，而PID 要实现的理论效果，是将这两类贡献显式分开。
== 部分信息分解（PID）框架 ==
== 部分信息分解（PID）框架 ==