部分信息分解

历史

1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息贡献。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。 为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，其本质上就是冗余，独特，协同信息，因此这些原子（基本单元）能够将多变量系统中信息源对结果变量提供的信息完全分解。

信息熵

对于一个离散随机变量 [math]\displaystyle{ X }[/math],它有[math]\displaystyle{ n }[/math]种可能取值 [math]\displaystyle{ \{x_1,x_2,\dots,x_n\} }[/math]

每个可能取值对应的概率相应为 [math]\displaystyle{ \{p_1,p_2,\dots,p_n\} }[/math]。度量该随机变量不确定程度的函数[math]\displaystyle{ H(X) }[/math]称为该随机变量的信息熵函数，这一函数满足以下三条公理：

1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：[math]\displaystyle{ H(p_1,p_2,\dots,p_n) }[/math]关于[math]\displaystyle{ p_i }[/math]连续 2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和 3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即[math]\displaystyle{ p_i = \frac{1}{n} }[/math],则[math]\displaystyle{ H }[/math]应是[math]\displaystyle{ n }[/math]的单调递增函数。

通过以上三条公理可确定唯一形式的 [math]\displaystyle{ H(X) }[/math]为,其中[math]\displaystyle{ K }[/math]为任意常数：

[math]\displaystyle{ H(X) = - K\sum_{i=1}^{n}p_i\log p_i }[/math]

这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。

互信息

此处包括两变量

以及多变量的多种互信息变体，比如

total corrolation，

interaction information/co-information/intersection information

并探讨这些多变量版本的不足（PID的motivation，摘要里写的）

部分信息分解框架

两源变量框架

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。

冗余格

在两源变量的维恩图里我们可以观察到：[math]\displaystyle{ I(S;R_{1})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2}) }[/math],[math]\displaystyle{ I(S;R_{1},R_{2})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})+Unq(S;R_{2})+Syn(S;R_{1},R_{2});\{1\}) }[/math]。由于[math]\displaystyle{ I(S;R_{1}) }[/math]和[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]都是已知的，则系统的自由度只有一个，即我们给定冗余信息，协同信息，独特信息中任何一个的定义都可以唯一确定这个系统，这篇文章选了冗余信息。

但对于多源变量的情况，其协同信息，独特信息，冗余信息（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用冗余格来重塑系统的结构以产生一个偏序关系使其可以通过莫比乌斯反演得到部分信息原子。下面介绍冗余格如何产生。

在维恩图中，冗余度可以视为[math]\displaystyle{ I（S;\mathbf{A}_{i}) }[/math]之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念 举例而言，考虑两个源[math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]，且 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]。 显然，[math]\displaystyle{ \mathbf{A} }[/math] 提供的任何信息也被[math]\displaystyle{ \mathbf{B} }[/math]提供，因此 [math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]之间的冗余退化为[math]\displaystyle{ \mathbf{A} }[/math]的自冗余： \begin{equation} I_{\min}(S;\{\mathbf{A},\mathbf{B}\}) =I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}). \end{equation} 进一步，对任意源[math]\displaystyle{ \mathbf{C} }[/math]，有[math]\displaystyle{ I_{\min}(S;\{\mathbf{A},\mathbf{B},\mathbf{C}\}) =I_{\min}(S;\{\mathbf{A},\mathbf{C}\}) }[/math]。 推广之，对于任何源集合，若其中某些源是其他源的超集（即这个源包含其他源），则该集合的冗余等价于去掉所有超集后的冗余。因此，[math]\displaystyle{ I_{\min} }[/math]的定义域可简化为无源是其他源的超集的那些集合。即： \begin{equation} \mathcal{A}(\mathbf{R})= \bigl\{\alpha\in\mathcal{P}_{1}(\mathcal{P}_{1}(\mathbf{R})) \mid \forall\mathbf{A}_{i},\mathbf{A}_{j}\in\alpha,\; \mathbf{A}_{i}\not\subset\mathbf{A}_{j}\bigr\}, \end{equation} 其中 [math]\displaystyle{ \mathcal{P}_{1}(\mathbf{R})=\mathcal{P}(\mathbf{R})\setminus\{\emptyset\} }[/math]为[math]\displaystyle{ \mathbf{R} }[/math]的所有非空子集的集合。 此后，我们将用带括号的索引简记[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，例如： [math]\displaystyle{ {R_{1},R_{2}} }[/math]to[math]\displaystyle{ {12} }[/math] 通过将上述思路进一步延伸，可在[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素上定义一个偏序[math]\displaystyle{ \preccurlyeq }[/math]。 考虑两个源集合 [math]\displaystyle{ \alpha,\beta\in\mathcal{A}(\mathbf{R}) }[/math]，若对每个源 [math]\displaystyle{ \mathbf{B}\in\beta }[/math] 都存在源[math]\displaystyle{ \mathbf{A}\in\alpha }[/math]使得 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]，则意味着 [math]\displaystyle{ \beta }[/math]中所有源所共享的冗余信息至少包含[math]\displaystyle{ \alpha }[/math]中所有源所共享的冗余信息。 于是，我们可定义偏序： \begin{equation} \forall\alpha,\beta\in\mathcal{A}(\mathbf{R}),\quad \alpha\preccurlyeq\beta \;\Longleftrightarrow\; \forall\mathbf{B}\in\beta,\; \exists\mathbf{A}\in\alpha,\; \mathbf{A}\subseteq\mathbf{B}. \end{equation} 将此偏序应用于[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，便得到冗余格（redundancy lattice），其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。

这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息[math]\displaystyle{ I(S;R_{1}) }[/math]，[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]然后通过对其的分类产生了[math]\displaystyle{ Unq(S;R_{1}) }[/math]，[math]\displaystyle{ Rdn(S;R_{1},R_{2}) }[/math]，[math]\displaystyle{ Unq(S;R_{2}) }[/math]，[math]\displaystyle{ Syn(S;R_{1},R_{2});\{1\}) }[/math]。重塑后的结构将[math]\displaystyle{ I(S;R_{1}) }[/math]和[math]\displaystyle{ I(S;R_{2}) }[/math]理解为其的自冗余将[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]理解为其的自冗余，并以[math]\displaystyle{ Rdn(S;R_{1},R_{2}) }[/math]为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出[math]\displaystyle{ I(S;R_{1}) }[/math]，[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]，即形成冗余格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。

三源变量冗余格

三源变量韦恩图

信息原子计算

冗余信息公理

单调性（非负性为引理）： [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]是非负的。 证明： [math]\displaystyle{ I(S=s;\mathbf{A}) =D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) \ge 0, }[/math] 其中 [math]\displaystyle{ D }[/math]为 Kullback-Leibler 距离，最后一步由信息不等式得出。 上界性： 对所有 [math]\displaystyle{ \mathbf{A}_{i} }[/math]都有 [math]\displaystyle{ I_{\min}\le I(S;\mathbf{A}_{i}) }[/math]，且当且仅当对所有 [math]\displaystyle{ i,j }[/math]和所有 [math]\displaystyle{ s\in S }[/math]都有 [math]\displaystyle{ I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j}) }[/math]时等号成立。 自冗余性: 根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 [math]\displaystyle{ \mathbf{A} }[/math]，与[math]\displaystyle{ \mathbf{A} }[/math]冗余的信息量最大为[math]\displaystyle{ I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}) }[/math]。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 [math]\displaystyle{ I(S;S)=H(S) }[/math] 最大化的性质。gu

其余信息原子计算

冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,[math]\displaystyle{ I_{\min} }[/math]可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用[math]\displaystyle{ I_{\min} }[/math]的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合[math]\displaystyle{ \alpha\in\mathcal{A}(\mathbf{R}) }[/math]，部分信息函数记为[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]，并由下式定义： \begin{equation} I_{\min}(S;\alpha) =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 形式上，[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math] 对应于[math]\displaystyle{ I_{\min} }[/math]的莫比乌斯反演。由该关系可递归计算[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]： \begin{equation} \Pi_{\mathbf{R}}(S;\alpha) =I_{\min}(S;\alpha) -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 换言之，[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\alpha) }[/math]量化的是：[math]\displaystyle{ \alpha }[/math]中所有源共同提供的冗余信息中，未被任何比 [math]\displaystyle{ \alpha }[/math]更低的源集合 [math]\displaystyle{ \beta }[/math]所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出： \begin{equation} I(S;\mathbf{A}) =I_{\min}(S;\{\mathbf{A}\}) =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 对于两源变量情形[math]\displaystyle{ \mathbf{R}=\{R_{1},R_{2}\} }[/math]，[math]\displaystyle{ I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\}) }[/math],[math]\displaystyle{ I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\}) }[/math]。与上文对比，可立即看出每个部分信息项的含义：冗余信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]的冗余。唯一信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]的总信息减去冗余部分；对 [math]\displaystyle{ R_{2} }[/math]同理。协同信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{12\}) }[/math] 表示 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]联合后多出来的那部分信息，即协同。

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义： 令 [math]\displaystyle{ \mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k} }[/math]为 [math]\displaystyle{ \mathbf{R} }[/math]的非空且允许重叠的子集，我们称之为源。每个[math]\displaystyle{ \mathbf{A}_{i} }[/math]所提供的信息由互信息[math]\displaystyle{ I(S;\mathbf{A}_{i}) }[/math]给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于[math]\displaystyle{ S }[/math]的不同结果提供信息。源[math]\displaystyle{ \mathbf{A} }[/math]所提供的信息可写为 \begin{equation} I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}), \end{equation} 其中特定信息[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]量化了与[math]\displaystyle{ S }[/math]的某一特定结果 [math]\displaystyle{ s }[/math]相关联的信息。下面需要给出其定义： \begin{equation} I(S=s;\mathbf{A})= \sum_{\mathbf{a}}p(\mathbf{a}|s) \left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right]. \end{equation} 项[math]\displaystyle{ 1/p(s) }[/math]称为[math]\displaystyle{ s }[/math]的不确定度（surprise），项[math]\displaystyle{ log1/p(s) }[/math]即[math]\displaystyle{ s }[/math]的香农熵。因此 [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]表示已知[math]\displaystyle{ \mathbf{A} }[/math]中的每个[math]\displaystyle{ \mathbf{a} }[/math]后以s为条件下a发生的概率为权重的[math]\displaystyle{ s }[/math]加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果[math]\displaystyle{ s }[/math]发生的条件下[math]\displaystyle{ \mathbf{A} }[/math]以百分之五十概率取[math]\displaystyle{ \mathbf{a}_{1} }[/math]，以百分之五十的概率取[math]\displaystyle{ \mathbf{a}_{2} }[/math]，那显然可以用这两个取值对[math]\displaystyle{ s }[/math]的不确定度减少量加权平均来定义平均不确定度减少量（即[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]）。总之，[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math] 量化 [math]\displaystyle{ \mathbf{A} }[/math]关于每个特定结果 [math]\displaystyle{ s\in S }[/math]所提供的信息，而[math]\displaystyle{ I(S;\mathbf{A}) }[/math]则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即 \begin{equation} I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\}) =\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}). \end{equation} [math]\displaystyle{ I_{\min} }[/math]满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对[math]\displaystyle{ S }[/math]的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于[math]\displaystyle{ S }[/math]的不同结果提供信息。 以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.

最后一小节可以放一个对照表

比如

延伸与应用

相关框架

部分熵分解

Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. Proceedings of the National Academy of Sciences, 120(30), e2300888120.

整合信息分解

Mediano, P. A., Rosas, F. E., Luppi, A. I., Carhart-Harris, R. L., Bor, D., Seth, A. K., & Barrett, A. B. (2021). Towards an extended taxonomy of information dynamics via integrated information decomposition. arXiv preprint arXiv:2109.13186.

系统信息分解

Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System information decomposition. arXiv preprint arXiv:2306.08288.

应用

协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现