部分信息分解

历史

1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，其本质上就是冗余，独特，协同信息，因此这些原子（基本单元）能够将多变量系统中信息源对结果变量提供贡献。但在现实世界的许多场景中，了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随的信息完全分解。

PID框架的形成动机

在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图量化多变量传输信息，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。

总相关性

对于给定的[math]\displaystyle{ n }[/math]个随机变量集合

[math]\displaystyle{ \{X_1,X_2,\dots,X_n\} }[/math]

其总相关性[math]\displaystyle{ C(X_1,X_2,\dots,X_n) }[/math]的定义如下：

[math]\displaystyle{ C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n) }[/math]

其中[math]\displaystyle{ H(X_i) }[/math]是变量的信息熵[math]\displaystyle{ X_i }[/math] ;[math]\displaystyle{ H(X_1,X_2,\dots,X_n) }[/math]为随机变量集合[math]\displaystyle{ H(X_1,X_2,\dots,X_n) }[/math]是变量集[math]\displaystyle{ \{ X_1,X_2,\dots, X_n\} }[/math]的联合熵。

总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——比如下文例子中所展示的高阶冗余交互的情形

例：三变量情形的高阶交互冗余

设[math]\displaystyle{ \{X_1,X_2,X_3\} }[/math]为一三元随机变量组变量组，其中[math]\displaystyle{ X_1,X_2,X_3 }[/math]两两独立，但[math]\displaystyle{ X_1,X_2 }[/math]构成的整体与[math]\displaystyle{ X_3 }[/math]有关联。

一个实例为：令[math]\displaystyle{ X_1,X_2,X_3,X_4 }[/math]分别为一辆三轮车三个轮胎的损坏情况，[math]\displaystyle{ \{X_1,X_2\} }[/math]为后轮组的损坏情况，[math]\displaystyle{ X_3 }[/math]为前轮的损坏情况。

当[math]\displaystyle{ X_1,X_2,X_3 }[/math]是否损坏为独立事件，但[math]\displaystyle{ \{X_1,X_2\} }[/math]构成的整体，即后轮组[math]\displaystyle{ \{X_1,X_2\} }[/math]损坏了，或是[math]\displaystyle{ X_3 }[/math]构成的前轮组[math]\displaystyle{ X_3 }[/math]损坏了，都能提供”车无法运行“的信息。

高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。

McGill 交互信息(多重互信息、共信息、协同)

设[math]\displaystyle{ \mathcal{V}= \{X_1,X_2,\dots,X_n\} }[/math]为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：

[math]\displaystyle{ I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1}) }[/math]

当[math]\displaystyle{ I(X_1,X_2,\dots,X_n) }[/math]以随机变量的信息熵和联合熵表达时,可以写成如下形式：

[math]\displaystyle{ I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau) }[/math]

对三元随机变量集合[math]\displaystyle{ \{X,Y,Z\} }[/math]而言，相应的McGill交互信息为下图中的灰色部分:[math]\displaystyle{ I(X;Y;Z) }[/math]

负交互信息问题

对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。

如下例子展示了McGill交互信息框架中的负信息问题。

设[math]\displaystyle{ X,Y,Z }[/math]为三个离散型随机变量，每个随机变量取值均只有[math]\displaystyle{ \{0,1\} }[/math]两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。

其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统[math]\displaystyle{ \{Y,Z\} }[/math]正常运作，车才可以运行，从而[math]\displaystyle{ I(Y;Z) = 0 }[/math]

但车无法启动,电池工作良好，则可推出发动机故障，从而

[math]\displaystyle{ I(Y;Z|X) \gt 0 }[/math]

此时

[math]\displaystyle{ I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) \lt 0 }[/math]

McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。

这个部分推荐看张江老师推荐的引文Thomas F. Varley,

Information theory for complex systems scientists: What, why, and how,Physics Reports,Volume 1148,2025,Pages 1-55,ISSN 0370-1573,https://doi.org/10.1016/j.physrep.2025.09.007.

(https://www.sciencedirect.com/science/article/pii/S037015732500256X)

部分信息分解（PID）框架

两源变量框架与部分信息原子

以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。

两源变量框架的基本构成如下：

设有三个随机变量，[math]\displaystyle{ S_1,S_2,T }[/math],其中[math]\displaystyle{ T }[/math]为信道中的接受变量,[math]\displaystyle{ S_1,S_2 }[/math]为信道中的信源变量

记[math]\displaystyle{ S_1,S_2 }[/math]整体构成了随机变量组:

[math]\displaystyle{ \mathbf{S} = \{S_1,S_2\} }[/math]

PID框架要分解的是[math]\displaystyle{ \mathbf{S} }[/math]对[math]\displaystyle{ T }[/math]的传递信息[math]\displaystyle{ I(\mathbf{S};T) }[/math].

如下面的韦恩图所示,部分信息分解框架中将[math]\displaystyle{ \mathbf{S} }[/math]对[math]\displaystyle{ T }[/math]的传递信息[math]\displaystyle{ I(\mathbf{S};T) }[/math]为如下三个基本单元,PID框架中,这些基本单元被称为部分信息原子：

部分信息原子包括如下三个部分:

独特(Un):[math]\displaystyle{ S_1,S_2 }[/math]其中一个可以向[math]\displaystyle{ T }[/math]提供,而另一个无法提供的信息

[math]\displaystyle{ \mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1) }[/math]

冗余(Red): [math]\displaystyle{ R_1,R_2 }[/math]均可提供的重复信息（冗余信息）

[math]\displaystyle{ \mathrm{Red}(S_1,S_2\rightarrow T) }[/math]

协同(Syn):[math]\displaystyle{ R_1,R_2 }[/math]的组合可能产生单独任何一个随机变量无法提供的信息

[math]\displaystyle{ \mathrm{Syn}(S_1,S_2 \rightarrow T) }[/math]

从而有

[math]\displaystyle{ I(\mathbf{S};T)=I((S_1,S_2);T) = \mathrm{Syn}(S_1,S_2 \rightarrow T)+ \mathrm{Un}(S_1 \rightarrow T | S_2)+\mathrm{Un}(S_2 \rightarrow T| S_1)+\mathrm{Red}(S_1,S_2\rightarrow T) }[/math]

从维恩图中显而易见的还有如下两组等式等式成立：

1. 某一源向接收变量传递的信息由其独特和冗余构成

[math]\displaystyle{ I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2) }[/math]

[math]\displaystyle{ I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1) }[/math]

这意味着可以通过互信息-冗余去计算独特。

2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成

[math]\displaystyle{ I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2) }[/math]

[math]\displaystyle{ I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1) }[/math]

这意味着，在通过互信息-冗余计算完独特后，可以用条件互信息-独特计算协同。

例：

[math]\displaystyle{ X,Y,Z }[/math]三元变量组中，设[math]\displaystyle{ X,Y }[/math]独立,[math]\displaystyle{ Z =X \oplus Y }[/math]

本例中，当按照下面的列表取[math]\displaystyle{ X,Y,Z }[/math]的分布及相应的联合分布时，可以相应的计算出随机变量的熵、条件熵、相应的条件互信息，从而获得这组随机变量的总相关性、McGill交互信息。

又由[math]\displaystyle{ X,Y }[/math]间的独立性可知[math]\displaystyle{ \mathrm{Red}(X,Y,→ Z) = 0 }[/math],又由异或逻辑的构造和[math]\displaystyle{ X,Y,Z }[/math]间的两两独立性知[math]\displaystyle{ \mathrm{Syn}(X,Y \rightarrow Z) \neq 0 }[/math]，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。

[math]\displaystyle{ X }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ p_{X} }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{2}{3} }[/math]
[math]\displaystyle{ Y }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ p_Y }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]
[math]\displaystyle{ Z=X \oplus Y }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ p_{Z} }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]

[math]\displaystyle{ (X,Y,Z) }[/math]	[math]\displaystyle{ p_{XYZ} }[/math]	[math]\displaystyle{ p_Xp_Yp_Z }[/math]
[math]\displaystyle{ (0,0,0;) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{12} }[/math]
[math]\displaystyle{ (0,1,1) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{12} }[/math]
[math]\displaystyle{ (1,0,1) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]
[math]\displaystyle{ (1,1,0) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]

可能的子集类型	集合基数	符号	熵
[math]\displaystyle{ \{X\} }[/math]	[math]\displaystyle{ 1 }[/math]	+	[math]\displaystyle{ \frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2} }[/math]
[math]\displaystyle{ \{Y\} }[/math]	[math]\displaystyle{ 1 }[/math]	+	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ \{Z\} }[/math]	[math]\displaystyle{ 1 }[/math]	+	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ \{X,Y\} }[/math]	[math]\displaystyle{ 2 }[/math]	-	[math]\displaystyle{ \frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3} }[/math]
[math]\displaystyle{ \{Y,Z\} }[/math]	[math]\displaystyle{ 2 }[/math]	-	[math]\displaystyle{ 2 }[/math]
[math]\displaystyle{ \{X,Z\} }[/math]	[math]\displaystyle{ 2 }[/math]	-	[math]\displaystyle{ \frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3} }[/math]
[math]\displaystyle{ \{X,Y,Z\} }[/math]	[math]\displaystyle{ 3 }[/math]	+	[math]\displaystyle{ \frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3} }[/math]

总相关性[math]\displaystyle{ C(X,Y,Z) }[/math]	McGill交互信息[math]\displaystyle{ I(X;Y;Z) }[/math]
[math]\displaystyle{ 2 }[/math]	[math]\displaystyle{ -1 }[/math]

事件	条件熵	条件互信息
[math]\displaystyle{ (X\vert Y) }[/math]	[math]\displaystyle{ \frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2} }[/math]	[math]\displaystyle{ I(X;Z\vert Y) }[/math]
[math]\displaystyle{ (X\vert Y,Z) }[/math]	[math]\displaystyle{ \frac{1}{3}\log_2 \frac{3}{2} + \frac{2}{3}\log_2\frac{3}{4} }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ (Y\vert X) }[/math]	[math]\displaystyle{ 1 }[/math]	[math]\displaystyle{ I(Y;Z\vert X) }[/math]
[math]\displaystyle{ (Y\vert X,Z) }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]

从而可以计算PID框架下相应的独特[math]\displaystyle{ \mathrm{Un}(X\rightarrow Z|Y),\mathrm{Un}(Y\rightarrow Z|X) }[/math]与协同[math]\displaystyle{ \mathrm{Syn}(X,Y \rightarrow Z) }[/math]这两种信息原子。

[math]\displaystyle{ \mathrm{Un}(X\rightarrow Z|Y) = \mathrm{Un}(Y\rightarrow Z|X) = -\mathrm{Red}(X,Y \rightarrow Z) =0 }[/math]

[math]\displaystyle{ \mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1 }[/math]

此时，协同恰好为McGill负交互信息的相反数。

从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。

冗余格

在两源变量的维恩图里我们可以观察到：[math]\displaystyle{ I(S;R_{1})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2}) }[/math],[math]\displaystyle{ I(S;R_{1},R_{2})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})+Unq(S;R_{2})+Syn(S;R_{1},R_{2});\{1\}) }[/math]。由于[math]\displaystyle{ I(S;R_{1}) }[/math]和[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]都是已知的，则系统的自由度只有一个，即我们给定冗余信息，协同信息，独特信息中任何一个的定义都可以唯一确定这个系统，这篇文章选了冗余信息。

但对于多源变量的情况，其协同信息，独特信息，冗余信息（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用冗余格来重塑系统的结构以产生一个偏序关系使其可以通过莫比乌斯反演得到部分信息原子。下面介绍冗余格如何产生。

在维恩图中，冗余度可以视为[math]\displaystyle{ I（S;\mathbf{A}_{i}) }[/math]之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念举例而言，考虑两个源[math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]，且 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]。显然，[math]\displaystyle{ \mathbf{A} }[/math] 提供的任何信息也被[math]\displaystyle{ \mathbf{B} }[/math]提供，因此 [math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]之间的冗余退化为[math]\displaystyle{ \mathbf{A} }[/math]的自冗余： \begin{equation} I_{\min}(S;\{\mathbf{A},\mathbf{B}\}) =I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}). \end{equation} 进一步，对任意源[math]\displaystyle{ \mathbf{C} }[/math]，有[math]\displaystyle{ I_{\min}(S;\{\mathbf{A},\mathbf{B},\mathbf{C}\}) =I_{\min}(S;\{\mathbf{A},\mathbf{C}\}) }[/math]。推广之，对于任何源集合，若其中某些源是其他源的超集（即这个源包含其他源），则该集合的冗余等价于去掉所有超集后的冗余。因此，[math]\displaystyle{ I_{\min} }[/math]的定义域可简化为无源是其他源的超集的那些集合。即： \begin{equation} \mathcal{A}(\mathbf{R})= \bigl\{\alpha\in\mathcal{P}_{1}(\mathcal{P}_{1}(\mathbf{R})) \mid \forall\mathbf{A}_{i},\mathbf{A}_{j}\in\alpha,\; \mathbf{A}_{i}\not\subset\mathbf{A}_{j}\bigr\}, \end{equation} 其中 [math]\displaystyle{ \mathcal{P}_{1}(\mathbf{R})=\mathcal{P}(\mathbf{R})\setminus\{\emptyset\} }[/math]为[math]\displaystyle{ \mathbf{R} }[/math]的所有非空子集的集合。此后，我们将用带括号的索引简记[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，例如： [math]\displaystyle{ {R_{1},R_{2}} }[/math]to[math]\displaystyle{ {12} }[/math] 通过将上述思路进一步延伸，可在[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素上定义一个偏序[math]\displaystyle{ \preccurlyeq }[/math]。考虑两个源集合 [math]\displaystyle{ \alpha,\beta\in\mathcal{A}(\mathbf{R}) }[/math]，若对每个源 [math]\displaystyle{ \mathbf{B}\in\beta }[/math] 都存在源[math]\displaystyle{ \mathbf{A}\in\alpha }[/math]使得 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]，则意味着 [math]\displaystyle{ \beta }[/math]中所有源所共享的冗余信息至少包含[math]\displaystyle{ \alpha }[/math]中所有源所共享的冗余信息。于是，我们可定义偏序： \begin{equation} \forall\alpha,\beta\in\mathcal{A}(\mathbf{R}),\quad \alpha\preccurlyeq\beta \;\Longleftrightarrow\; \forall\mathbf{B}\in\beta,\; \exists\mathbf{A}\in\alpha,\; \mathbf{A}\subseteq\mathbf{B}. \end{equation} 将此偏序应用于[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，便得到冗余格（redundancy lattice），其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。

这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息[math]\displaystyle{ I(S;R_{1}) }[/math]，[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]然后通过对其的分类产生了[math]\displaystyle{ Unq(S;R_{1}) }[/math]，[math]\displaystyle{ Rdn(S;R_{1},R_{2}) }[/math]，[math]\displaystyle{ Unq(S;R_{2}) }[/math]，[math]\displaystyle{ Syn(S;R_{1},R_{2});\{1\}) }[/math]。重塑后的结构将[math]\displaystyle{ I(S;R_{1}) }[/math]和[math]\displaystyle{ I(S;R_{2}) }[/math]理解为其的自冗余将[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]理解为其的自冗余，并以[math]\displaystyle{ Rdn(S;R_{1},R_{2}) }[/math]为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出[math]\displaystyle{ I(S;R_{1}) }[/math]，[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]，即形成冗余格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。

三源变量冗余格

三源变量韦恩图

信息原子计算

冗余信息公理

单调性（非负性为引理）： [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]是非负的。证明： [math]\displaystyle{ I(S=s;\mathbf{A}) =D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) \ge 0, }[/math] 其中 [math]\displaystyle{ D }[/math]为 Kullback-Leibler 距离，最后一步由信息不等式得出。上界性：对所有 [math]\displaystyle{ \mathbf{A}_{i} }[/math]都有 [math]\displaystyle{ I_{\min}\le I(S;\mathbf{A}_{i}) }[/math]，且当且仅当对所有 [math]\displaystyle{ i,j }[/math]和所有 [math]\displaystyle{ s\in S }[/math]都有 [math]\displaystyle{ I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j}) }[/math]时等号成立。自冗余性: 根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 [math]\displaystyle{ \mathbf{A} }[/math]，与[math]\displaystyle{ \mathbf{A} }[/math]冗余的信息量最大为[math]\displaystyle{ I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}) }[/math]。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 [math]\displaystyle{ I(S;S)=H(S) }[/math] 最大化的性质。gu

其余信息原子计算

冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,[math]\displaystyle{ I_{\min} }[/math]可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用[math]\displaystyle{ I_{\min} }[/math]的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合[math]\displaystyle{ \alpha\in\mathcal{A}(\mathbf{R}) }[/math]，部分信息函数记为[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]，并由下式定义： \begin{equation} I_{\min}(S;\alpha) =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 形式上，[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math] 对应于[math]\displaystyle{ I_{\min} }[/math]的莫比乌斯反演。由该关系可递归计算[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]： \begin{equation} \Pi_{\mathbf{R}}(S;\alpha) =I_{\min}(S;\alpha) -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 换言之，[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\alpha) }[/math]量化的是：[math]\displaystyle{ \alpha }[/math]中所有源共同提供的冗余信息中，未被任何比 [math]\displaystyle{ \alpha }[/math]更低的源集合 [math]\displaystyle{ \beta }[/math]所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出： \begin{equation} I(S;\mathbf{A}) =I_{\min}(S;\{\mathbf{A}\}) =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 对于两源变量情形[math]\displaystyle{ \mathbf{R}=\{R_{1},R_{2}\} }[/math]，[math]\displaystyle{ I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\}) }[/math],[math]\displaystyle{ I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\}) }[/math]。与上文对比，可立即看出每个部分信息项的含义：冗余信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]的冗余。唯一信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]的总信息减去冗余部分；对 [math]\displaystyle{ R_{2} }[/math]同理。协同信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{12\}) }[/math] 表示 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]联合后多出来的那部分信息，即协同。

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义：令 [math]\displaystyle{ \mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k} }[/math]为 [math]\displaystyle{ \mathbf{R} }[/math]的非空且允许重叠的子集，我们称之为源。每个[math]\displaystyle{ \mathbf{A}_{i} }[/math]所提供的信息由互信息[math]\displaystyle{ I(S;\mathbf{A}_{i}) }[/math]给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于[math]\displaystyle{ S }[/math]的不同结果提供信息。源[math]\displaystyle{ \mathbf{A} }[/math]所提供的信息可写为 \begin{equation} I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}), \end{equation} 其中特定信息[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]量化了与[math]\displaystyle{ S }[/math]的某一特定结果 [math]\displaystyle{ s }[/math]相关联的信息。下面需要给出其定义： \begin{equation} I(S=s;\mathbf{A})= \sum_{\mathbf{a}}p(\mathbf{a}|s) \left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right]. \end{equation} 项[math]\displaystyle{ 1/p(s) }[/math]称为[math]\displaystyle{ s }[/math]的不确定度（surprise），项[math]\displaystyle{ log1/p(s) }[/math]即[math]\displaystyle{ s }[/math]的香农熵。因此 [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]表示已知[math]\displaystyle{ \mathbf{A} }[/math]中的每个[math]\displaystyle{ \mathbf{a} }[/math]后以s为条件下a发生的概率为权重的[math]\displaystyle{ s }[/math]加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果[math]\displaystyle{ s }[/math]发生的条件下[math]\displaystyle{ \mathbf{A} }[/math]以百分之五十概率取[math]\displaystyle{ \mathbf{a}_{1} }[/math]，以百分之五十的概率取[math]\displaystyle{ \mathbf{a}_{2} }[/math]，那显然可以用这两个取值对[math]\displaystyle{ s }[/math]的不确定度减少量加权平均来定义平均不确定度减少量（即[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]）。总之，[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math] 量化 [math]\displaystyle{ \mathbf{A} }[/math]关于每个特定结果 [math]\displaystyle{ s\in S }[/math]所提供的信息，而[math]\displaystyle{ I(S;\mathbf{A}) }[/math]则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即 \begin{equation} I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\}) =\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}). \end{equation} [math]\displaystyle{ I_{\min} }[/math]满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对[math]\displaystyle{ S }[/math]的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于[math]\displaystyle{ S }[/math]的不同结果提供信息。以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.

最后一小节可以放一个对照表

比如

信息原子的数值计算

本部分为张江老师提供的建议：PID框架中的信息原子在数学上的定义式在百科中体现了之后，还可以考虑增加对PID框架信息原子的算法、程序包的介绍，可以引介一些算法、程序包、放上一些例子和效果。

https://towardsdatascience.com/what-is-partial-information-decomposition-and-how-features-interact-a713456a1029/链接中提到了作为信息论实验的Dit库

James et al., (2018). dit: a Python package for discrete information theory. Journal of Open Source Software, 3(25), 738, https://doi.org/10.21105/joss.00738

还有专门实现PID计算的pietromarchesi库：https://github.com/pietromarchesi/pidpy

可以分别展示用这两个库进行某些多变量系统的部分信息分解实验的例子，讲解其中模块的原理。

PID框架的局限

讨论PID框架的局限是为了引出对PID相关框架扩展的介绍，我们主要以举例的形式介绍奥博写在大纲里面的三种框架、部分熵分解、整合信息分解对应的PID框架中的不足。

PID框架的扩展

PID框架的应用

PID框架的应用很多，讨论PID框架的应用研究时。个人认为应当仅可能地遵从如下的三个原则：1.尽可能寻找直接用PID框架或变体并不是很大的PID框架，而非仅有逻辑结构和架构设计思路上与PID框架相关的框架去处理问题的研究；2.这类研究在主题的选择熵要尽可能地和集智斑图、集智学园中较为热点的读书会、课程主题产生交集——比如尽量选择PID框架在复杂系统(因果涌现)中的应用、PID框架在人工智能中的应用、PID框架在计算神经科学中/意识研究的应用（可选）——各举一个较为代表性的例子即可 3.要尽可能选择相对成熟、已经有一定影响程度，已经在学术界成为一定程度共识，被可靠的信源引用的研究。

（分解为PID框架的直接应用与变体应用）

PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域、意识研究领域中的应用。

PID在复杂系统科学领域的应用

Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246（这个重点写，因为涉及到PID与因果涌现）

PID框架在人工智能领域中的应用

Tax, T.M.S.; Mediano, P.A.M.; Shanahan, M. The Partial Information Decomposition of Generative Neural Network Models. Entropy 2017, 19, 474. https://doi.org/10.3390/e19090474（可选）

Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）

PID框架在意识研究中的应用

Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, Neuroscience of Consciousness, Volume 2021, Issue 2, 2021, niab027, https://doi.org/10.1093/nc/niab027

应用

协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现