部分信息分解

历史

1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息贡献。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，这些原子（基本单元）能够将多变量系统中信息源对结果变量提供的信息完全分解。

部分信息分解框架

两源变量框架

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。

冗余晶格

在维恩图中，冗余度可以视为I（S；Ai）之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念。举个例子，考虑两个信息源集合A和B，其中A是B的子集。显然，A提供的任何信息B已经提供了，因此A与B之间的冗余性就退化为A自身的自冗余性。此外，对于任意源C，可推导出Imin（S；{A，B，C}）= Imin（S；{A，C}）。基于这一思路，对于任意由多个源集合构成的集合（其中某些集合是其他集合的超集），该集合的冗余度等同于移除所有超集后的冗余度。因此，Imin的定义域（A（R））可以简化为：所有源集合构成的集合中，不存在任何源集合是其他集合的超集。从现在起，我们将用括号内的表达式（仅包含每个源右下角的数字）来表示A(R)中的元素，这些元素对应于源的集合。例如，模板:R1，R2将为{12}，{{R1}，{R2，R3}}将为{1}{23}。通过将相同推理过程进行延伸，我们可以定义A(R)元素间的偏序关系。考虑两个源集合Q和 A（R），对于A（R）中每个源B在Q中都存在一个源A，且A是B的子集。这意味着对于每个源B，都存在一个源A，使得A提供的信息量不超过B。因此，所有B共享的冗余信息至少包含所有A共享的冗余信息。由此，我们可以在A(R)元素间定义一个偏序关系（即一种排序）：当且仅当后一集合提供额外冗余信息时，才认为一个元素（源集合）优先于另一个。将此排序应用于A(R)的元素时，将产生一个冗余格，其中较高的元素提供至少与较低的元素一样多的冗余信息。有了结构和偏序关系，我们需要对函数进行约束。此时我们说一下自由度的问题（只多了一个自由度），所以只需要一个新定义，这篇文章选了最底下的格子——冗余信息。

三源变量冗余格

信息原子计算

冗余信息公理

单调性（非负性为引理），对称性，self-identity，可参考：

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

其余信息原子计算

此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义：设A1，A2，...，Ak是R的非空且可能重叠的子集，我们称其为源。如何量化所有源关于S提供的冗余信息？当然，每个信息源Ai提供的信息仅由I（S；Ai）表示，即S与Ai之间的互信息。但需要特别注意的是，互信息本质上是一种平均或期望信息的度量指标，其期望值是基于随机变量结果计算得出的。从形式化表述来看，信息源A所提供的信息可表示为其中，特定信息I(S = s；A）量化了与S的特定结果s相关的信息为量化S和A之间的不同关系，人们提出了各种特定信息的定义（见附录A），但对于我们来说，最有用的是I(S = s; A) =Xap(a|s)� logp(1 s)− logp(s1|a)�. (2)术语 1p(s) 被称为s的不确定度，因此I（S = s；A）是已知A的情况下s的平均不确定度减少量。换句话说，I（S = s；A）量化了A为每个特定结果s∈S提供的信息，而I（S；A）则是这一数量在S的所有结果上的期望值。考虑到这些因素，冗余的自然度量结果提供的最小信息的期望值，或者是任何源为S的每个Imin(S; {A1, A2, . . . , Ak}) =Xsp(s) minAiI(S = s; Ai).(3)伊明提出了冗余的概念，即所有来源共有的信息（任何来源提供的最小信息），同时考虑到来源可能提供关于S的不同结果的信息。与互信息一样，Imin也是特定信息项的期望值。以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.

最后一小节可以放一个对照表

比如

延伸与应用

应用

协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现

部分信息分解

目录

历史

相关概念

信息熵

互信息