部分信息分解

历史

1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息贡献。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，这些原子（基本单元）能够将多变量系统中信息源对结果变量提供的信息完全分解。

部分信息分解框架

两源变量框架

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。

冗余晶格

在维恩图中，冗余度可以视为I（S；Ai）之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念。举个例子，考虑两个信息源集合A和B，其中A是B的子集。显然，A提供的任何信息B已经提供了，因此A与B之间的冗余性就退化为A自身的自冗余性。此外，对于任意源C，可推导出Imin（S；{A，B，C}）= Imin（S；{A，C}）。基于这一思路，对于任意由多个源集合构成的集合（其中某些集合是其他集合的超集），该集合的冗余度等同于移除所有超集后的冗余度。因此，Imin的定义域（A（R））可以简化为：所有源集合构成的集合中，不存在任何源集合是其他集合的超集。（\mathcal{A}(S)=\{\alpha\in\mathcal{P}_1(\mathcal{P}_1(S)):\forall A_i,A_j\in\alpha,A_i\nsubseteq A_j\}, 其中\mathcal{P}_1(S)=\mathcal{P}(S)\backslash\{\emptyset\}是S的所有非空子集的集合，对于每个\alpha,\beta\in\mathcal{A}(S)，我们说\beta\preceq_S\alpha如果对于每个A\in\alpha存在B\in\beta使得B\subseteq A。）从现在起，我们将用括号内的表达式（仅包含每个源右下角的数字）来表示A(R)中的元素，这些元素对应于源的集合。例如，{ {R1，R2} }将为{12}，{{R1}，{R2，R3}}将为{1}{23}。通过将相同推理过程进行延伸，我们可以定义A(R)元素间的偏序关系。考虑两个源集合Q和 A（R），对于A（R）中每个源B在Q中都存在一个源A，且A是B的子集。这意味着对于每个源B，都存在一个源A，使得A提供的信息量不超过B。因此，所有B共享的冗余信息至少包含所有A共享的冗余信息。由此，我们可以在A(R)元素间定义一个偏序关系（即一种排序）：当且仅当后一集合提供额外冗余信息时，才认为一个元素（源集合）优先于另一个。将此排序应用于A(R)的元素时，将产生一个冗余格，其中较高的元素提供至少与较低的元素一样多的冗余信息。有了结构和偏序关系，我们需要对函数进行约束。此时我们说一下自由度的问题（只多了一个自由度），所以只需要一个新定义，这篇文章选了最底下的格子——冗余信息。

信息原子计算

冗余信息公理

单调性（非负性为引理）：定理1.I(S=s；A）是非负的。证明。I（S=s；A）=D（p（ajs）p(a)）≥0其中D是Kullback-Leibler距离，最后一步来自信息不平等([15]，第26页）。引理1.I（S=s；A）在格〈P(R)，≤〉上单调递增。10证明。考虑集合A和B，其中A包含于B且C属于R。令C=B\A=.然后我们有.定理2。Imin在格〈A(R)，≤〉上单调增加。证明。我们通过反证法进行论证。假设存在Q，A(R)满足Q〈且Imin（S；）<Imin（S；Q）。根据公式(3)，必然存在B使得对于某个结果s S和所有AQ，都有I（S=s；B）<I（S=s；A）。因此，根据引理1可知不存在A Q使得A≤B。然而由于假设Q〈，必然存在A Q使得A≤B。对称性：根据分布的对称性可知，R1和R2必须提供关于S的相同信息量。实际上，这一点很容易验证：I（S；R1）= I（S；R2>）=-31 记录31 −32 记录32 .self-identity：对于所有Ai，互信息均小于或等于I（S；Ai），当且仅当对所有i和j以及所有s∈S时，I（S=s；Ai）= I（S = s；Aj）成立。正如预期，冗余信息量被每个信源提供的信息所限制——当且仅当所有信源对S提供完全相同的信息时，两者相等。与前一特性密切相关的是：对于给定信源A，与A冗余的信息量在互信息I（S；{A}）= I（S；A）时达到最大值。换句话说，通过“自冗余”机制实现冗余信息最大化，这类似于互信息由自信息I（S；S）=H(S)实现最大化的特性

其余信息原子计算

此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章冗余格中每个节点关联的冗余信息包含但不限于其层级下所有节点提供的信息。因此，当沿着格结构向上遍历时，Imin可视为一种“累积信息函数”，本质上整合了由日益广泛的信息源集合所提供的信息。接下来我们将推导Imin的逆函数——部分信息函数（PI函数）。与量化累积信息的Imin不同，PI函数专门测量特定信息源集合所贡献的独特部分信息。这些局部信息将构成我们分解R对S提供的整体信息时的基本单元。对于源集合Q A(R)，PI函数（记作R）被隐式定义为min(S;α)=Xβ4αΠR(S;β).(6)从形式上讲，R对应于Imin的莫比乌斯反演[19,20]。根据这一关系式可以清楚地看出，R可以通过递归方式计算得出。ΠR(S;α)=Imin(S;α)−Xβ≺αΠR(S;β).(7)即意味着R（S；Q）量化了alpha提供的且不能被其下级格点提供的冗余信息。首先明确每个部分信息项的含义：首先，根据公式(8)，我们得到 R（S；{1}{2}）= Imin（S；{1}{2}），根据Imin的定义，这对应于R1和R2的冗余量。R1的唯一信息由 R（S；{1}）= I（S；R1）- Imin（S；{1}{2}）给出，即从R1中扣除冗余量后的总信息量，R2的情况同样如此。最后，R1和R2组合提供的附加信息由 R（S；{12}）给出，对应于它们的协同作用。当我们考虑四个变量的分解时（图3B)，PI图的整体结构就变得清晰了。首先要注意，三个变量的所有可能性在四个变量中依然存在。具体来说，R中的每个元素可以提供独特信息（标记为{1}、{2}和{3}的区域）、与其他变量冗余地共享信息（如{1}、{2}、{1}、{3}或{2}、{3})，或是与另一变量协同作用产生信息（如{12}、{13}、{23})。此外，所有三个变量（{1}、{2}、{3})可能共同提供冗余信息，或者通过三元协同作用（{123}）产生信息。更有趣的是那些代表冗余与协同组合的新类型术语。例如，标记为{1}、{2}、{3}的区域，表示这些信息既可以通过单独考虑任一变量获得，也可以通过综合考虑其他两个变量获得。再比如，标记为{12}、{13}、{32}的区域，则表示由三种可能的双向协同作用共同提供的冗余信息。总体而言，一组源的PI原子对应5图3。(A) 3个变量和(B) 4个变量的局部信息图。通过集合中所有来源的协同作用，对信息进行了冗余提供。这一点也阐明了我们之前的主张：唯一信息最好被视为一种退化的情况——它对应于一阶冗余与一阶协同作用的结合。总体而言，包含n个变量的PI图（参见附录E中的图S2）由以下要素构成：首先，对于每个元素Ri R，都存在一个对应I（S；Ri）的区域。其次，对于R中任意包含两个及以上元素的子集A，其对应的I(S；A）区域需满足：该区域包含所有A A中的I(S；A），但不与UA AI（S；A）的交集完全重合。I(S；A）与UA AI（S；A）之间的差异值代表该子集的协同效应——即通过整合A中所有元素信息所获得的独特价值，这种价值无法通过任何子集单独获取。此外，图中的区域通常会相互交叠，这反映了冗余现象的所有可能情况。总体而言，PI图由第（n-1）个派定数[21]的PI原子构成，其数量与集合A(R)的基数相同（详见附录C）。如前所述，每个PI原子代表特定源集合的协同冗余度，对应着R的各个组成部分为S提供信息时所采用的不同方式。最后，考虑n个变量的冗余格与PI图之间的关系是有益的。图4.S {0；1；2}和R1；R2{0；1}的概率分布。黑色方块表示等概率结果，白色方块表示零概率结果。首先，我们注意到Imin类似于PI-图中的集合交集，这与冗余作为重叠信息的概念一致。具体来说，Imin（S；{A1，A2，...，Ak }）对应于区域∩i I（S；Ai）。通过分析Imin与集合交集之间的对应关系，我们可以建立如下关联：对于 Q，A(R)，当且仅当在PI 图中∩AI（S；A）是∩BI（S；B）的子集时，Q在冗余格中比更低。因此，冗余格与PI图可视为同一结构的互补表示——PI图是通过按格序嵌入区域形成的冗余格的简化版本。

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义：设A1，A2，...，Ak是R的非空且可能重叠的子集，我们称其为源。每个信息源Ai提供的信息仅由I（S；Ai）表示，即S与Ai之间的互信息。但需要特别注意的是，互信息本质上是一种平均或期望信息的度量指标，其期望值是基于随机变量结果计算得出的。信息源A所提供的信息可表示为其中，特定信息I(S = s；A）量化了与S的特定结果s相关的信息为量化S和A之间的不同关系，人们提出了各种特定信息的定义，这里选择I(S = s; A) =Xap(a|s)logp(1s)− logp(s1|a) (2)术语 1p(s) 被称为s的不确定度，因此I（S = s；A）是已知A的情况下s的平均不确定度减少量。换句话说，I（S = s；A）量化了A为每个特定结果s∈S提供的信息，而I（S；A）则是这一数量在S的所有结果上的期望值。考虑到这些因素，冗余的自然度量是任何源为S的每个提供的信息的最小值即：Imin(S; {A1, A2, . . . , Ak}) =Xsp(s) minAiI(S = s; Ai).(3)伊明提出了冗余的概念，即所有来源共有的信息（任何来源提供的最小信息），同时考虑到来源可能提供关于S的不同结果的信息。与互信息一样，Imin也是特定信息项的期望值。以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.

最后一小节可以放一个对照表

比如

延伸与应用

应用

协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现

部分信息分解

目录

历史

相关概念

信息熵

互信息