更改

部分信息分解（Partial Information Decomposition, PID）是用于刻画多个信源如何共同提供关于某个目标变量的信息的多变量信息论框架，由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。PID框架的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——冗余、特有与协同。

+

为使这一分解具有明确的数学基础，Williams 和 Beer 提出了一组约束冗余信息度量的公理，包括对称性、自冗余性及单调性，基于这些约束，可以构造以信源集合为节点的冗余晶格（redundancy lattice）。在给定具体冗余度量后，可通过 Möbius 反演求得晶格各节点对应的部分信息原子。

+

PID 的关键困难在于，如何定义一个同时具有良好理论性质和计算可行性的冗余信息度量。不同的冗余度量会导出不同的部分信息原子；当信源数增加时，局部非负性、恒等公理及 Williams–Beer 公理等要求之间也可能产生张力。因此，后续研究提出了多种 PID 变体和公理化方案，分别适用于不同的数据类型和研究问题。

+

除理论定义的困难外，对于变量数量较多或状态空间较大的系统，直接实施原始 PID 分析往往成本较高。为此，研究者们提出了适用于连续变量或高斯变量等特定条件的扩展方法，以在保留部分信息分解思想的同时提高计算可行性。

−

尽管仍存在冗余度量选择、理论性质协调与大规模计算等问题，PID 已成为研究复杂系统、因果科学、脑与神经科学及人工智能的重要工具。它使研究者能够进一步追问：不同信息来源究竟以冗余、特有还是协同的方式，共同影响目标变量。

第76行：第78行：

总相关性刻画的是随机变量组偏离“彼此完全独立”状态的程度。当且仅当所有变量相互独立时，<math>C(X_1,\ldots,X_n)=0</math>。它能够检测二阶及更高阶的[[统计依赖]]的总程度，但不能细致的区分这些依赖是[[冗余]]、[[协同]]，还是其他形式的多变量关联，下面将以一个例子具体展示多变量系统中高阶交互依赖作用的存在性。

+

第82行：第85行：

设 <math>X_1</math> 与 <math>X_2</math> 为相互独立的均匀二元随机变量，并令：

−

<math>X_3=X_1\oplus X_2,</math>

+

<math>X_3=X_1\oplus X_2,</math>其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。

−

其中 <math>\oplus</math> 表示[[异或运算]]。此时，<math>X_1</math>、<math>X_2</math> 与 <math>X_3</math> 两两独立，但 <math>(X_1,X_2)</math> 的联合取值能够完全确定 <math>X_3</math>。因此，该系统存在无法由任意一对变量关系捕捉的[[高阶依赖]]。

−

~~[[文件:三变量高阶冗余示例.png|边框|居中|无框|337x337像素]]~~

−

这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。

+

[[文件:三变量高阶冗余示例.png|337x337像素|替代=|缩略图|图：以韦恩图展示的三变量系统高阶依赖例子]]

−

~~高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。~~

+

这一例子表明，仅以“变量间是否相关”来描述多变量系统并不充分。若将 <math>X_1</math>、<math>X_2</math> 视为信源、<math>X_3</math> 视为目标，则它们提供的是典型的协同信息：任一信源单独不能预测目标，二者联合时却可以。高阶依赖的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。

=== McGill 交互信息 ===

第109行：第108行：

−

相应的[[McGill交互信息]]~~为下图中的灰色部分~~:<math>I(X;Y;Z)</math>

+

相应的[[McGill交互信息]]为右图中的灰色部分:<math>I(X;Y;Z)</math>

−

[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=~~|居中~~|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。]]

+

[[文件:Pasted_image_20251104135250.png|链接=特殊:文件路径/Pasted_image_20251104135250.png|替代=|338x338px|图：以韦恩图展示的三元随机变量系统的McGill交互信息示意图，灰色部分为该系统的McGill交互信息。|缩略图]]

+

'''交互信息的负值问题'''

王亦理

216

个编辑

更改

部分信息分解 (查看源代码)

2026年9月17日 (四) 18:49的版本