部分信息分解

历史

1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息，但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生，其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。 为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以彻底分解源变量对目标变量的传递信息。他们的在原始工作中的思路是首先给出了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。后利用这个冗余格提出了其余两种部分信息原子（Partial Information Atoms）、独特和协同的定义，并以例子说明了他们构建的部分信息分解（PID）框架能够将多变量系统中信息源对结果变量提供的贡献分解为信息原子的组合。

相关概念

信息熵

对于一个离散随机变量 [math]\displaystyle{ X }[/math],它有[math]\displaystyle{ n }[/math]种可能取值 [math]\displaystyle{ \{x_1,x_2,\dots,x_n\} }[/math]

每个可能取值对应的概率相应为 [math]\displaystyle{ \{p_1,p_2,\dots,p_n\} }[/math]。度量该随机变量不确定程度的函数[math]\displaystyle{ H(X) }[/math]称为该随机变量的信息熵函数，这一函数满足以下三条公理：

1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：[math]\displaystyle{ H(p_1,p_2,\dots,p_n) }[/math]关于[math]\displaystyle{ p_i }[/math]连续

2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和

3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即[math]\displaystyle{ p_i = \frac{1}{n} }[/math],则[math]\displaystyle{ H }[/math]应是[math]\displaystyle{ n }[/math]的单调递增函数。

通过以上三条公理可确定唯一形式的 [math]\displaystyle{ H(X) }[/math]为,其中[math]\displaystyle{ K }[/math]为任意常数：

[math]\displaystyle{ H(X) = - K\sum_{i=1}^{n}p_i\log p_i }[/math]

这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。

互信息

对多变量系统而言，例如源变量组[math]\displaystyle{ X_1,X_2,\dots X_n }[/math]和一个目标变量[math]\displaystyle{ Y }[/math]之间构成的多变量系统[math]\displaystyle{ \{X_1,X_2,\dots,X_n,Y\} }[/math]，多变量的互信息[math]\displaystyle{ I(X_1,X_2,\dots,X_n;Y) }[/math]被用于描述源变量组[math]\displaystyle{ {X_1,X_2,\dots,X_n} }[/math]对一个目标变量[math]\displaystyle{ Y }[/math]之间传输的信息量[math]\displaystyle{ I(X_1,X_2,\dots,X_n \rightarrow Y) }[/math]。

其定义如下:

[math]\displaystyle{ I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y) }[/math]

这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。

在单一源的情形下，两个随机变量的互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。

设[math]\displaystyle{ X,Y }[/math]为两个离散型随机变量，此情形下两个变量的互信息的定义及计算式为:

[math]\displaystyle{ I(X;Y) =\sum_{i,j}p_{XY}(x_i,y_j)\log_2\left(\frac{p_{XY}(x_i,y_j)}{p_X(x_i)p_{Y}(y_j)}\right) }[/math]

[math]\displaystyle{ =\sum_{i,j}p_{XY}(x_i,y_j)\left(\log_2 p_{XY}(x_i,y_j) - \log_2p_{X}(x_i) - \log_2p_{Y}(y_j)\right) }[/math]

[math]\displaystyle{ = H_X+H_Y - H_{XY} }[/math]

两个变量的互信息仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。

条件互信息

对照互信息的意义，可类似地定义条件互信息，条件互信息刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：

设[math]\displaystyle{ X,Y,Z }[/math]为离散型随机变量，条件互信息[math]\displaystyle{ I(X;Y|Z) }[/math]定义为：

[math]\displaystyle{ I(X;Y|Z) = H(X|Z) - H(X|Y,Z) }[/math]

在PID框架的两源变量情形中，条件互信息将协同信息与独特信息联系了起来。

PID框架的形成动机

在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图量化多变量传输信息，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。

总相关性

对于给定的[math]\displaystyle{ n }[/math]个随机变量集合

[math]\displaystyle{ \{X_1,X_2,\dots,X_n\} }[/math]

其总相关性[math]\displaystyle{ C(X_1,X_2,\dots,X_n) }[/math]的定义如下：

[math]\displaystyle{ C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n) }[/math]

其中[math]\displaystyle{ H(X_i) }[/math]是变量的信息熵[math]\displaystyle{ X_i }[/math] ;[math]\displaystyle{ H(X_1,X_2,\dots,X_n) }[/math]为随机变量集合[math]\displaystyle{ H(X_1,X_2,\dots,X_n) }[/math]是变量集[math]\displaystyle{ \{ X_1,X_2,\dots, X_n\} }[/math]的联合熵。

总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——比如下文例子中所展示的高阶冗余交互的情形

例：三变量情形的高阶交互冗余

设[math]\displaystyle{ \{X_1,X_2,X_3\} }[/math]为一三元随机变量组变量组，其中[math]\displaystyle{ X_1,X_2,X_3 }[/math]两两独立，但[math]\displaystyle{ X_1,X_2 }[/math]构成的整体与[math]\displaystyle{ X_3 }[/math]有关联。

一个实例：令[math]\displaystyle{ X_1,X_2,X_3 }[/math]分别为一辆三轮车三个轮胎的损坏情况，[math]\displaystyle{ \{X_1,X_2\} }[/math]为后轮组的损坏情况，[math]\displaystyle{ X_3 }[/math]为前轮的损坏情况。

当[math]\displaystyle{ X_1,X_2,X_3 }[/math]是否损坏为独立事件，但[math]\displaystyle{ \{X_1,X_2\} }[/math]构成的整体，即后轮组[math]\displaystyle{ \{X_1,X_2\} }[/math]损坏了，或是[math]\displaystyle{ X_3 }[/math]构成的前轮组[math]\displaystyle{ X_3 }[/math]损坏了，都能提供”车无法运行“的信息。

高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。

McGill 交互信息(多重互信息、共信息、协同)

设[math]\displaystyle{ \mathcal{V}= \{X_1,X_2,\dots,X_n\} }[/math]为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：

[math]\displaystyle{ I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1}) }[/math]

当[math]\displaystyle{ I(X_1,X_2,\dots,X_n) }[/math]以随机变量的信息熵和联合熵表达时,可以写成如下形式：

[math]\displaystyle{ I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau) }[/math]

对三元随机变量集合[math]\displaystyle{ \{X,Y,Z\} }[/math]而言，相应的McGill交互信息为下图中的灰色部分:[math]\displaystyle{ I(X;Y;Z) }[/math]

负交互信息问题

对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。

如下例子展示了McGill交互信息框架中的负信息问题。

设[math]\displaystyle{ X,Y,Z }[/math]为三个离散型随机变量，每个随机变量取值均只有[math]\displaystyle{ \{0,1\} }[/math]两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。

其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统[math]\displaystyle{ \{Y,Z\} }[/math]正常运作，车才可以运行，从而[math]\displaystyle{ I(Y;Z) = 0 }[/math]

但车无法启动,电池工作良好，则可推出发动机故障，从而

[math]\displaystyle{ I(Y;Z|X) \gt 0 }[/math]

此时

[math]\displaystyle{ I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) \lt 0 }[/math]

McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。

部分信息分解（PID）框架

冗余信息的定义

（为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节第二段） 令 [math]\displaystyle{ \mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k} }[/math]为 [math]\displaystyle{ \mathbf{R} }[/math]的非空且允许重叠的子集，我们称之为源。每个[math]\displaystyle{ \mathbf{A}_{i} }[/math]所提供的信息由互信息[math]\displaystyle{ I(S;\mathbf{A}_{i}) }[/math]给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于[math]\displaystyle{ S }[/math]的不同结果提供信息。源[math]\displaystyle{ \mathbf{A} }[/math]所提供的信息可写为 \begin{equation} I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}), \end{equation} 其中特定信息[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]量化了与[math]\displaystyle{ S }[/math]的某一特定结果 [math]\displaystyle{ s }[/math]相关联的信息。下面需要给出其定义： \begin{equation} I(S=s;\mathbf{A})= \sum_{\mathbf{a}}p(\mathbf{a}|s) \left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right]. \end{equation} 项[math]\displaystyle{ 1/p(s) }[/math]称为[math]\displaystyle{ s }[/math]的不确定度（surprise），项[math]\displaystyle{ log1/p(s) }[/math]即[math]\displaystyle{ s }[/math]的香农熵。因此 [math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]表示已知[math]\displaystyle{ \mathbf{A} }[/math]中的每个[math]\displaystyle{ \mathbf{a} }[/math]后以s为条件下a发生的概率为权重的[math]\displaystyle{ s }[/math]加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果[math]\displaystyle{ s }[/math]发生的条件下[math]\displaystyle{ \mathbf{A} }[/math]以百分之五十概率取[math]\displaystyle{ \mathbf{a}_{1} }[/math]，以百分之五十的概率取[math]\displaystyle{ \mathbf{a}_{2} }[/math]，那显然可以用这两个取值对[math]\displaystyle{ s }[/math]的不确定度减少量加权平均来定义平均不确定度减少量（即[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]）。总之，[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math] 量化 [math]\displaystyle{ \mathbf{A} }[/math]关于每个特定结果 [math]\displaystyle{ s\in S }[/math]所提供的信息，而[math]\displaystyle{ I(S;\mathbf{A}) }[/math]则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即 \begin{equation} I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\}) =\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}). \end{equation} [math]\displaystyle{ I_{\min} }[/math]满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对[math]\displaystyle{ S }[/math]的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于[math]\displaystyle{ S }[/math]的不同结果提供信息。

冗余信息公理

根据上述定义可以得到如下关于冗余信息的性质：

非负性：要证明冗余信息是非负的，只需要证明[math]\displaystyle{ I(S=s;\mathbf{A}) }[/math]是非负的。我们有[math]\displaystyle{ I(S=s;\mathbf{A}) =\sum_{\mathbf{a}}p(\mathbf{a}|s) \left[\log\frac{1}{p(s)}-\log\frac{1 {p(s|\mathbf{a})}\right]=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr) \ }[/math] 其中 [math]\displaystyle{ D }[/math]为 Kullback-Leibler 散度。而显然KL散度是非负的。

上界性： 对所有 [math]\displaystyle{ \mathbf{A}_{i} }[/math]都有 [math]\displaystyle{ I_{\min}\le I(S;\mathbf{A}_{i}) }[/math]，且当且仅当对所有 [math]\displaystyle{ i,j }[/math]和所有 [math]\displaystyle{ s\in S }[/math]都有 [math]\displaystyle{ I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j}) }[/math]时等号成立。

自冗余性: 根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 [math]\displaystyle{ \mathbf{A} }[/math]，与[math]\displaystyle{ \mathbf{A} }[/math]冗余的信息量最大为[math]\displaystyle{ I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}) }[/math]。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 [math]\displaystyle{ I(S;S)=H(S) }[/math] 最大化的性质。

全局非负性：[math]\displaystyle{ I_\cap(X_1,\dots,X_n:Y)\ge 0 }[/math]。

等价类不变性：对任意 [math]\displaystyle{ i=1,\dots,n }[/math] 或 [math]\displaystyle{ Y }[/math]替换为信息等价随机变量，[math]\displaystyle{ I_\cap(X_1,\dots,X_n:Y) }[/math]保持不变。

目标单调性：若 [math]\displaystyle{ Y\preceq Z }[/math]，则 \[ I_\cap(X_1,\dots,X_n:Y)\le I_\cap(X_1,\dots,X_n:Z). \]

弱单调性：对任意额外变量 [math]\displaystyle{ W }[/math]， \[ I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y), \] 且若存在 [math]\displaystyle{ Z\in\{X_1,\dots,X_n\} }[/math]使得 [math]\displaystyle{ Z\preceq W }[/math]，则等号成立。

弱对称性：[math]\displaystyle{ I_\cap(X_1,\dots,X_n:Y) }[/math] 对 [math]\displaystyle{ X_1,\dots,X_n }[/math]的排列顺序不变。 \end{itemize}

以下性质将交集信息与所选信息度量 [math]\displaystyle{ \mathcal{I}(X:Y) }[/math] 联系起来：

下界：若随机变量 [math]\displaystyle{ Q }[/math] 满足 [math]\displaystyle{ Q\preceq X_i }[/math] 对所有 [math]\displaystyle{ i=1,\dots,n }[/math]成立，则 \[ I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y). \] 特别地，[math]\displaystyle{ Q=X_1\wedge\cdots\wedge X_n }[/math] 是一个合法选择。由 [math]\displaystyle{ I_\cap(X:Y)=\mathcal{I}(X:Y) }[/math] 及 弱单调性可推出 下界。

恒等性： \[ I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y). \]

弱局部非负性：当 [math]\displaystyle{ n=2 }[/math]时，由 \cite{Williams:2010} 定义的「部分信息」非负。若 全局非负性、弱单调性及 \[ I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y) \] 同时成立，则本性质自动满足。

最后，更强的性质如下：

强单调性：对任意额外变量 [math]\displaystyle{ W }[/math]， \[ I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y), \] 且若存在 [math]\displaystyle{ Z\in\{X_1,\dots,X_n,Y\} }[/math]使得 [math]\displaystyle{ Z\preceq W }[/math]，则等号成立。

强对称性：[math]\displaystyle{ I_\cap(X_1,\dots,X_n:Y) }[/math] 对 [math]\displaystyle{ X_1,\dots,X_n,Y }[/math]的排列顺序不变。

强局部非负性：对任意 [math]\displaystyle{ n }[/math]，由 \cite{Williams:2010} 定义的「部分信息」均非负。

两源变量框架与部分信息原子

以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。

两源变量框架的基本构成如下：

设有三个随机变量，[math]\displaystyle{ S_1,S_2,T }[/math],其中[math]\displaystyle{ T }[/math]为信道中的接受变量,[math]\displaystyle{ S_1,S_2 }[/math]为信道中的信源变量

记[math]\displaystyle{ S_1,S_2 }[/math]整体构成了随机变量组:

[math]\displaystyle{ \mathbf{S} = \{S_1,S_2\} }[/math]

PID框架要分解的是[math]\displaystyle{ \mathbf{S} }[/math]对[math]\displaystyle{ T }[/math]的传递信息[math]\displaystyle{ I(\mathbf{S};T) }[/math].

如下面的韦恩图所示,部分信息分解框架中将[math]\displaystyle{ \mathbf{S} }[/math]对[math]\displaystyle{ T }[/math]的传递信息[math]\displaystyle{ I(\mathbf{S};T) }[/math]为如下三个基本单元,PID框架中,这些基本单元被称为部分信息原子：

部分信息原子包括如下三个部分:

独特(Un):[math]\displaystyle{ S_1,S_2 }[/math]其中一个可以向[math]\displaystyle{ T }[/math]提供,而另一个无法提供的信息

[math]\displaystyle{ \mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1) }[/math]

冗余(Red): [math]\displaystyle{ R_1,R_2 }[/math]均可提供的重复信息（冗余信息）

[math]\displaystyle{ \mathrm{Red}(S_1,S_2\rightarrow T) }[/math]

协同(Syn):[math]\displaystyle{ R_1,R_2 }[/math]的组合可能产生单独任何一个随机变量无法提供的信息

[math]\displaystyle{ \mathrm{Syn}(S_1,S_2 \rightarrow T) }[/math]

从而有

[math]\displaystyle{ I(\mathbf{S};T)=I((S_1,S_2);T) = \mathrm{Syn}(S_1,S_2 \rightarrow T)+ \mathrm{Un}(S_1 \rightarrow T | S_2)+\mathrm{Un}(S_2 \rightarrow T| S_1)+\mathrm{Red}(S_1,S_2\rightarrow T) }[/math]

从维恩图中显而易见的还有如下两组等式等式成立：

1. 某一源向接收变量传递的信息由其独特和冗余构成

[math]\displaystyle{ I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2) }[/math]

[math]\displaystyle{ I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1) }[/math]

这意味着可以通过互信息-冗余去计算独特。

2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成

[math]\displaystyle{ I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2) }[/math]

[math]\displaystyle{ I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1) }[/math]

这意味着，在通过互信息-冗余计算完独特后，可以用条件互信息-独特计算协同。

为此我们可以先以两源变量框架为例，展示信息原子的计算，为此我们先介绍两源变量情形下，冗余信息的定义，依照一般定义，容易给出冗余信息在两源变量框架中的定义式为：

[math]\displaystyle{ \mathrm{Red}(S_1,S_2 \rightarrow T) =I_{min}(\{S_1,S_2\};T) = \sum_{t} p(t) \min_{S_i}I(T = t; S_i) }[/math]

其中

[math]\displaystyle{ I(T = t; S_i) = \sum_{\mathbf{s}}p(\mathbf{\mathbf{s}}|t)\log_2\frac{p(t|\mathbf{s})}{p(\mathbf{s})} }[/math]

例：

[math]\displaystyle{ X,Y,Z }[/math]三元变量组中，设[math]\displaystyle{ X,Y }[/math]独立,[math]\displaystyle{ Z =X \oplus Y }[/math]

本例中，当按照下面的列表取[math]\displaystyle{ X,Y,Z }[/math]的分布及相应的联合分布时，可以相应的计算出随机变量的熵、条件熵、相应的条件互信息，从而获得这组随机变量的总相关性、McGill交互信息。

又由[math]\displaystyle{ X,Y }[/math]间的独立性可知[math]\displaystyle{ \mathrm{Red}(X,Y,→ Z) = 0 }[/math],又由异或逻辑的构造和[math]\displaystyle{ X,Y,Z }[/math]间的两两独立性知[math]\displaystyle{ \mathrm{Syn}(X,Y \rightarrow Z) \neq 0 }[/math]，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。

[math]\displaystyle{ X }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ p_{X} }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{2}{3} }[/math]
[math]\displaystyle{ Y }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ p_Y }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]
[math]\displaystyle{ Z=X \oplus Y }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ p_{Z} }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]	[math]\displaystyle{ \frac{1}{2} }[/math]

[math]\displaystyle{ (X,Y) }[/math]	[math]\displaystyle{ p_{XY} }[/math]	[math]\displaystyle{ p_Xp_Y }[/math]
[math]\displaystyle{ (0,0) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]
[math]\displaystyle{ (0,1) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]
[math]\displaystyle{ (1,0) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]
[math]\displaystyle{ (1,1) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]
[math]\displaystyle{ (Y,Z) }[/math]	[math]\displaystyle{ p_{YZ} }[/math]	[math]\displaystyle{ p_Yp_Z }[/math]
[math]\displaystyle{ (0,0) }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]
[math]\displaystyle{ (0,1) }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]
[math]\displaystyle{ (1,0) }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]
[math]\displaystyle{ (1,1) }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]	[math]\displaystyle{ \frac{1}{4} }[/math]
[math]\displaystyle{ (X,Z) }[/math]	[math]\displaystyle{ p_{XZ} }[/math]	[math]\displaystyle{ p_Xp_Z }[/math]
[math]\displaystyle{ (0,0) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]
[math]\displaystyle{ (0,1) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]
[math]\displaystyle{ (1,0) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]
[math]\displaystyle{ (1,1) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]

[math]\displaystyle{ (X,Y,Z) }[/math]	[math]\displaystyle{ p_{XYZ} }[/math]	[math]\displaystyle{ p_Xp_Yp_Z }[/math]
[math]\displaystyle{ (0,0,0;) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{12} }[/math]
[math]\displaystyle{ (0,1,1) }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]	[math]\displaystyle{ \frac{1}{12} }[/math]
[math]\displaystyle{ (1,0,1) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]
[math]\displaystyle{ (1,1,0) }[/math]	[math]\displaystyle{ \frac{1}{3} }[/math]	[math]\displaystyle{ \frac{1}{6} }[/math]

可能的子集类型	集合基数	符号	熵
[math]\displaystyle{ \{X\} }[/math]	[math]\displaystyle{ 1 }[/math]	+	[math]\displaystyle{ \frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2} }[/math]
[math]\displaystyle{ \{Y\} }[/math]	[math]\displaystyle{ 1 }[/math]	+	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ \{Z\} }[/math]	[math]\displaystyle{ 1 }[/math]	+	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ \{X,Y\} }[/math]	[math]\displaystyle{ 2 }[/math]	-	[math]\displaystyle{ \frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3} }[/math]
[math]\displaystyle{ \{Y,Z\} }[/math]	[math]\displaystyle{ 2 }[/math]	-	[math]\displaystyle{ 2 }[/math]
[math]\displaystyle{ \{X,Z\} }[/math]	[math]\displaystyle{ 2 }[/math]	-	[math]\displaystyle{ \frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3} }[/math]
[math]\displaystyle{ \{X,Y,Z\} }[/math]	[math]\displaystyle{ 3 }[/math]	+	[math]\displaystyle{ \frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3} }[/math]

总相关性[math]\displaystyle{ C(X,Y,Z) }[/math]	McGill交互信息[math]\displaystyle{ I(X;Y;Z) }[/math]
[math]\displaystyle{ 2 }[/math]	[math]\displaystyle{ -1 }[/math]

事件	条件熵	条件互信息
[math]\displaystyle{ (X\vert Y) }[/math]	[math]\displaystyle{ \frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2} }[/math]	[math]\displaystyle{ I(X;Z\vert Y) }[/math]
[math]\displaystyle{ (X\vert Y,Z) }[/math]	[math]\displaystyle{ \frac{1}{3}\log_2 \frac{3}{2} + \frac{2}{3}\log_2\frac{3}{4} }[/math]	[math]\displaystyle{ 1 }[/math]
[math]\displaystyle{ (Y\vert X) }[/math]	[math]\displaystyle{ 1 }[/math]	[math]\displaystyle{ I(Y;Z\vert X) }[/math]
[math]\displaystyle{ (Y\vert X,Z) }[/math]	[math]\displaystyle{ 0 }[/math]	[math]\displaystyle{ 1 }[/math]

其中，依定义易求得:

[math]\displaystyle{ \mathrm{Red}(S_1,S_2 \rightarrow T) = 0 }[/math]

而可进一步计算:计算PID框架下相应的独特[math]\displaystyle{ \mathrm{Un}(X\rightarrow Z|Y),\mathrm{Un}(Y\rightarrow Z|X) }[/math]与协同[math]\displaystyle{ \mathrm{Syn}(X,Y \rightarrow Z) }[/math]这两种信息原子。

[math]\displaystyle{ \mathrm{Un}(X\rightarrow Z|Y) = \mathrm{Un}(Y\rightarrow Z|X) = -\mathrm{Red}(X,Y \rightarrow Z) =0 }[/math]

[math]\displaystyle{ \mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1 }[/math]

此时容易验证这一命题：三变量系统分解所得的冗余-协同[math]\displaystyle{ =0-1 =-1 }[/math]，即是McGill交互信息的值。

从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。

冗余晶格

在两源变量的维恩图里我们可以观察到：[math]\displaystyle{ I(S;R_{1})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2}) }[/math],[math]\displaystyle{ I(S;R_{1},R_{2})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})+Unq(S;R_{2})+Syn(S;R_{1},R_{2});\{1\}) }[/math]。由于[math]\displaystyle{ I(S;R_{1}) }[/math]和[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]都是已知的，则我们给定冗余信息，协同信息，特有信息中任何一个的定义都可以唯一确定这个系统，这篇文章选了冗余信息。基于下述三大冗余信息公理可以得到冗余信息的定义。

但对于多源变量的情况，其协同信息，特有信息，冗余信息（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用冗余晶格来重塑系统的结构以产生一个偏序关系使其可以通过莫比乌斯反演得到类似上一段里的两源变量部分信息分解的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍冗余晶格如何产生。

在维恩图中，冗余度可以视为[math]\displaystyle{ I（S;\mathbf{A}_{i}) }[/math]之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念 举例而言，考虑两个源[math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]，且 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]。 显然，[math]\displaystyle{ \mathbf{A} }[/math] 提供的任何信息也被[math]\displaystyle{ \mathbf{B} }[/math]提供，因此 [math]\displaystyle{ \mathbf{A} }[/math]与[math]\displaystyle{ \mathbf{B} }[/math]之间的冗余退化为[math]\displaystyle{ \mathbf{A} }[/math]的自冗余： \begin{equation} I_{\min}(S;\{\mathbf{A},\mathbf{B}\}) =I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}). \end{equation} 进一步，对任意源[math]\displaystyle{ \mathbf{C} }[/math]，有[math]\displaystyle{ I_{\min}(S;\{\mathbf{A},\mathbf{B},\mathbf{C}\}) =I_{\min}(S;\{\mathbf{A},\mathbf{C}\}) }[/math]。 推广之，对于任何源集合，若其中某些源是其他源的超集（即这个源包含其他源），则该集合的冗余等价于去掉所有超集后的冗余。因此，[math]\displaystyle{ I_{\min} }[/math]的定义域可简化为无源是其他源的超集的那些集合。即： \begin{equation} \mathcal{A}(\mathbf{R})= \bigl\{\alpha\in\mathcal{P}_{1}(\mathcal{P}_{1}(\mathbf{R})) \mid \forall\mathbf{A}_{i},\mathbf{A}_{j}\in\alpha,\; \mathbf{A}_{i}\not\subset\mathbf{A}_{j}\bigr\}, \end{equation} 其中 [math]\displaystyle{ \mathcal{P}_{1}(\mathbf{R})=\mathcal{P}(\mathbf{R})\setminus\{\emptyset\} }[/math]为[math]\displaystyle{ \mathbf{R} }[/math]的所有非空子集的集合。 此后，我们将用带括号的索引简记[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，例如： [math]\displaystyle{ \{\{R_{1},R_{2}\}\} }[/math]记为[math]\displaystyle{ \{12\} }[/math]，[math]\displaystyle{ \{R_{1},\{R_{2}，R_{3}\}\} }[/math]记为[math]\displaystyle{ \{1\}\{23\} }[/math] 通过将上述思路进一步延伸，可在[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素上定义一个偏序[math]\displaystyle{ \preccurlyeq }[/math]。 考虑两个源集合 [math]\displaystyle{ \alpha,\beta\in\mathcal{A}(\mathbf{R}) }[/math]，若对每个源 [math]\displaystyle{ \mathbf{B}\in\beta }[/math] 都存在源[math]\displaystyle{ \mathbf{A}\in\alpha }[/math]使得 [math]\displaystyle{ \mathbf{A}\subseteq\mathbf{B} }[/math]，则意味着 [math]\displaystyle{ \beta }[/math]中所有源所共享的冗余信息至少包含[math]\displaystyle{ \alpha }[/math]中所有源所共享的冗余信息。 于是，我们可定义偏序： \begin{equation} \forall\alpha,\beta\in\mathcal{A}(\mathbf{R}),\quad \alpha\preccurlyeq\beta \;\Longleftrightarrow\; \forall\mathbf{B}\in\beta,\; \exists\mathbf{A}\in\alpha,\; \mathbf{A}\subseteq\mathbf{B}. \end{equation} 将此偏序应用于[math]\displaystyle{ \mathcal{A}(\mathbf{R}) }[/math]的元素，便得到冗余晶格（redundancy lattice）(见下图展示了三源变量的冗余晶格结构和其对应的韦恩图)，其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。

下面介绍具体如何构建三源变量的冗余晶格：

首先图中的节点含义如下：特有信息： [math]\displaystyle{ \{1\}, \{2\}, \{3\} }[/math] ；两变量间的冗余信息： [math]\displaystyle{ \{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\} }[/math]）；两变量间的协同信息： [math]\displaystyle{ \{12\}, \{13\}, \{23\} }[/math]。所有三个变量共同提供的冗余信息： [math]\displaystyle{ \{1\}\{2\}\{3\} }[/math]；所有三个变量共同提供的协同信息： [math]\displaystyle{ \{123\} }[/math]；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的冗余信息： [math]\displaystyle{ \{1\}\{23\} }[/math]、[math]\displaystyle{ \{2\}\{13\} }[/math] 和 [math]\displaystyle{ \{3\}\{12\} }[/math] ；三个两两协同的信息之间存在的冗余信息 ：[math]\displaystyle{ \{12\}\{13\}\{23\} }[/math] ；变量12的协同信息和变量23的协同信息间存在的冗余信息：[math]\displaystyle{ \{12\}\{23\} }[/math]。

然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的冗余信息放在最下层开始，比这个区域多一些信息的区域是两变量间的冗余信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点[math]\displaystyle{ \{12\} }[/math]再添加一些信息可以得到节点 [math]\displaystyle{ \{1\}\{23\} }[/math]、[math]\displaystyle{ \{2\}\{13\} }[/math]故这两个节点与节点[math]\displaystyle{ \{12\} }[/math]间有连边。以此类推可以得到完整的三源变量冗余晶格。

三源变量冗余晶格

三源变量韦恩图

这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息[math]\displaystyle{ I(S;R_{1}) }[/math]，[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]然后通过对其的分类产生了[math]\displaystyle{ Unq(S;R_{1}) }[/math]，[math]\displaystyle{ Rdn(S;R_{1},R_{2}) }[/math]，[math]\displaystyle{ Unq(S;R_{2}) }[/math]，[math]\displaystyle{ Syn(S;R_{1},R_{2});\{1\}) }[/math]。重塑后的结构将[math]\displaystyle{ I(S;R_{1}) }[/math]和[math]\displaystyle{ I(S;R_{2}) }[/math]理解为其的自冗余将[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]理解为其的自冗余，并以[math]\displaystyle{ Rdn(S;R_{1},R_{2}) }[/math]为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出[math]\displaystyle{ I(S;R_{1}) }[/math]，[math]\displaystyle{ I(S;R_{2}) }[/math]和[math]\displaystyle{ I(S;R_{1},R_{2}) }[/math]，即形成冗余晶格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。

其余信息原子计算

冗余晶格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余晶格从下到上移动,[math]\displaystyle{ I_{\min} }[/math]可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用[math]\displaystyle{ I_{\min} }[/math]的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合[math]\displaystyle{ \alpha\in\mathcal{A}(\mathbf{R}) }[/math]，部分信息函数记为[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]，并由下式定义： \begin{equation} I_{\min}(S;\alpha) =\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 形式上，[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math] 对应于[math]\displaystyle{ I_{\min} }[/math]的莫比乌斯反演。由该关系可递归计算[math]\displaystyle{ \Pi_{\mathbf{R}} }[/math]： \begin{equation} \Pi_{\mathbf{R}}(S;\alpha) =I_{\min}(S;\alpha) -\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 换言之，[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\alpha) }[/math]量化的是：[math]\displaystyle{ \alpha }[/math]中所有源共同提供的冗余信息中，未被任何比 [math]\displaystyle{ \alpha }[/math]更低的源集合 [math]\displaystyle{ \beta }[/math]所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出： \begin{equation} I(S;\mathbf{A}) =I_{\min}(S;\{\mathbf{A}\}) =\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta). \end{equation} 对于两源变量情形[math]\displaystyle{ \mathbf{R}=\{R_{1},R_{2}\} }[/math]，[math]\displaystyle{ I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\}) }[/math],[math]\displaystyle{ I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\}) }[/math]。与上文对比，可立即看出每个部分信息项的含义：冗余信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]的冗余。特有信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\}) }[/math]，即 [math]\displaystyle{ R_{1} }[/math]的总信息减去冗余部分；对 [math]\displaystyle{ R_{2} }[/math]同理。协同信息：[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{12\}) }[/math] 表示 [math]\displaystyle{ R_{1} }[/math]与 [math]\displaystyle{ R_{2} }[/math]联合后多出来的那部分信息，即协同。

其余信息原子计算实例

两源变量部分信息分解例子

为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 [math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math] 提供的信息量是相同的。实际上，可以验证：

[math]\displaystyle{ I(S;R_1) = I(S;R_2) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3} }[/math]

(但也可以清楚地看到，[math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math] 提供的是关于不同结果的信息。具体来说，只要知道 [math]\displaystyle{ R_1 }[/math] 的值，就可以完全确定结果 [math]\displaystyle{ S=2 }[/math] 是否发生（而 [math]\displaystyle{ R_2 }[/math] 无法做到这一点），反之亦然。)

另外我们有[math]\displaystyle{ I(S;R_1,R_2) = \log 3 }[/math]根据这两个式子及上一小节给出的关系式可以得到如下结果：

[math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3} }[/math]，表示 [math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math] 各自提供了 [math]\displaystyle{ \frac{1}{3} }[/math] 比特的特有信息；

冗余信息为 [math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2 }[/math]，表示知道 [math]\displaystyle{ R_1 }[/math] 或 [math]\displaystyle{ R_2 }[/math] 中的任意一个，都能将 [math]\displaystyle{ S }[/math] 的可能结果从3个减少到2个；

协同信息为 [math]\displaystyle{ \Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3} }[/math]，表示 [math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math]联合起来可以唯一确定 [math]\displaystyle{ S=0 }[/math] 是否发生，而单独任意一个都无法做到这一点。

（需要注意的是，与互信息或交互信息不同，部分信息是不对称的。例如，[math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math] 关于 [math]\displaystyle{ S }[/math] 的协同信息，通常不等于 [math]\displaystyle{ S }[/math] 和 [math]\displaystyle{ R_2 }[/math] 关于 [math]\displaystyle{ R_1 }[/math] 的协同信息。这一性质在上面的例子中也得到了体现：一旦知道了 [math]\displaystyle{ S }[/math] 的值，就可以唯一确定 [math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math] 的结果，因此不可能存在 [math]\displaystyle{ S }[/math] 和 [math]\displaystyle{ R_2 }[/math] 联合提供关于 [math]\displaystyle{ R_1 }[/math] 的协同信息，因为 [math]\displaystyle{ R_1 }[/math] 的不确定性已经被 [math]\displaystyle{ S }[/math]完全消除了。相反，如前所述，[math]\displaystyle{ R_1 }[/math] 和 [math]\displaystyle{ R_2 }[/math] 却提供了关于 [math]\displaystyle{ S }[/math] 的协同信息。这种不对称性也解释了为什么我们始终聚焦于关于某个特定变量 [math]\displaystyle{ S }[/math] 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）

冗余信息计算方法

以下是一些有代表性的定量方法： 首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。

Griffith

原论文构建冗余晶格的方式，给定随机变量 [math]\displaystyle{ X }[/math]和 [math]\displaystyle{ Y }[/math]，记 [math]\displaystyle{ X\preceq Y }[/math] 表示存在可测函数 [math]\displaystyle{ f }[/math] 使得 [math]\displaystyle{ X=f(Y) }[/math] 几乎必然成立。此时称 [math]\displaystyle{ X }[/math]在信息上“贫于”[math]\displaystyle{ Y }[/math](informationally poorer），据此可以引入偏序关系。给定随机变量 [math]\displaystyle{ X,Y }[/math]，定义其 join（连接）[math]\displaystyle{ X\vee Y }[/math]为信息上最“贫”的随机变量，使得[math]\displaystyle{ X\preceq X\vee Y }[/math] 且 [math]\displaystyle{ Y\preceq X\vee Y }[/math]；类似地，定义 meet（相遇）[math]\displaystyle{ X\wedge Y }[/math] 为信息上最“富”的随机变量，使得[math]\displaystyle{ X\wedge Y\preceq X }[/math] 且 [math]\displaystyle{ X\wedge Y\preceq Y }[/math]。我们称 [math]\displaystyle{ X\wedge Y }[/math] 为 [math]\displaystyle{ X }[/math]与 [math]\displaystyle{ Y }[/math]的共同随机变量。 共同随机变量的熵即[math]\displaystyle{ \mathcal{I}=I^0 }[/math]（零误差信息）。对于零误差信息 [math]\displaystyle{ \mathcal{I}=I^0 }[/math]，我们提出零误差交集信息[math]\displaystyle{ I_{\cap}^0(X_1,\dots,X_n:Y) }[/math]：它是一个随机变量[math]\displaystyle{ Q }[/math]关于[math]\displaystyle{ Y }[/math]的最大零误差信息 [math]\displaystyle{ I^0(Q:Y) }[/math]，且 Q 是每个预测变量 [math]\displaystyle{ X_1,\dots,X_n }[/math]的函数:[math]\displaystyle{ I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq \max_{\Pr(Q|Y)}I^0(Q:Y)\quad\text{subject to}\quad Q\preceq X_i\; \forall i\in\{1,\dots,n\}. }[/math] 上式可简化为：[math]\displaystyle{ I_{\cap}^0(X_1,\dots,X_n:Y) =I^0(X_1\wedge\cdots\wedge X_n:Y) =H(X_1\wedge\cdots\wedge X_n\wedge Y). }[/math] 与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为[math]\displaystyle{ I_{\cap}(X_1,\dots,X_n:Y) =I(X_1\wedge\cdots\wedge X_n:Y). }[/math]

Aobo

为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 [math]\displaystyle{ S_1, S_2 }[/math] 和目标变量 [math]\displaystyle{ T }[/math] 的系统，其相应的字母表分别为 [math]\displaystyle{ \mathcal{S}_1, \mathcal{S}_2 }[/math]和 [math]\displaystyle{ \mathcal{T} }[/math]，我们定义一个新的随机变量[math]\displaystyle{ S_1' }[/math] 在[math]\displaystyle{ \mathcal{S}_1 }[/math] 上，通过其条件联合分布如下：

[math]\displaystyle{ \operatorname{Pr}(S_1' = s_1, S_2 = s_2 | T = t) \triangleq \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t). }[/math]

这意味着，对于每一个[math]\displaystyle{ s_1 \in \mathcal{S}_1 }[/math]， [math]\displaystyle{ \operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t). }[/math] 变量 [math]\displaystyle{ S_1' }[/math]是良定义的，因为所有概率都是非负的，并且可以很容易地证明： [math]\displaystyle{ \sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1. }[/math] 上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 [math]\displaystyle{ (S_1, T) }[/math]和 [math]\displaystyle{ (S_2, T) }[/math]），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。

从 [math]\displaystyle{ S_1 }[/math]到 [math]\displaystyle{ T }[/math]给定[math]\displaystyle{ S_2 }[/math]的独特信息为

[math]\displaystyle{ \operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2). }[/math]

基于定义3，我们定义冗余和协同信息如下。

从[math]\displaystyle{ S_1 }[/math]和 [math]\displaystyle{ S_2 }[/math]到 [math]\displaystyle{ T }[/math]的冗余信息为 [math]\displaystyle{ \operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2). }[/math]

从 [math]\displaystyle{ S_1 }[/math]和[math]\displaystyle{ S_2 }[/math]到[math]\displaystyle{ T }[/math]的协同信息定义为 [math]\displaystyle{ \operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2). }[/math]

此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。冗余信息可以另写为[math]\displaystyle{ \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2) }[/math]。协同信息可以另写为 [math]\displaystyle{ \operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2) }[/math]。

kolchinsky

作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 [math]\displaystyle{ A }[/math]，它提供了关于目标 [math]\displaystyle{ Y }[/math] 的信息，将“集合大小”的类比视为互信息[math]\displaystyle{ I(A; Y) }[/math]，并假设存在某种排序关系 [math]\displaystyle{ \sqsubset }[/math]，类似于集合包含 [math]\displaystyle{ \subseteq }[/math]。给定这样的关系，表达式 [math]\displaystyle{ A \sqsubset B }[/math]表示随机变量 [math]\displaystyle{ B }[/math]比 [math]\displaystyle{ A }[/math]“更有信息量”，即 [math]\displaystyle{ A }[/math] 提供的关于 [math]\displaystyle{ Y }[/math]的信息包含在 [math]\displaystyle{ B }[/math]提供的关于 [math]\displaystyle{ Y }[/math]的信息中。我们定义冗余为：

[math]\displaystyle{ I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i }[/math]

其中优化是在所有具有有限数量结果的随机变量上进行的。因此，冗余[math]\displaystyle{ I_{\cap} }[/math]是任何比所有源都“不那么有信息量”的随机变量中关于 [math]\displaystyle{ Y }[/math]的最大信息量。类比于方程 (6)，我们定义联合信息为：

[math]\displaystyle{ I_{\cup}(X_1; \ldots; X_n \to Y) := \inf_Q I(Q; Y) \quad \text{使得} \quad \forall i \; X_i \sqsubset Q }[/math]

因此，联合信息[math]\displaystyle{ I_{\cup} }[/math]是任何比所有源都“更有信息量”的随机变量中关于 [math]\displaystyle{ Y }[/math]的最小信息量。注意 [math]\displaystyle{ I_{\cap} }[/math] 和 [math]\displaystyle{ I_{\cup} }[/math]依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。

Barrett

设 [math]\displaystyle{ X }[/math]为维度为 [math]\displaystyle{ m }[/math] 的连续随机变量。我们用 [math]\displaystyle{ P_X(x) }[/math]表示其概率密度函数，用[math]\displaystyle{ \bar{x} }[/math]表示均值，用 [math]\displaystyle{ m \times m }[/math] 的协方差矩阵 [math]\displaystyle{ \Sigma(X) }[/math] 表示协方差 [math]\displaystyle{ \operatorname{cov}(X^i, X^j) }[/math]。设 [math]\displaystyle{ Y }[/math] 为另一个维度为 [math]\displaystyle{ n }[/math] 的随机变量。我们用 [math]\displaystyle{ m \times n }[/math] 的矩阵 [math]\displaystyle{ \Sigma(X, Y) }[/math] 表示交叉协方差 [math]\displaystyle{ \operatorname{cov}(X^i, Y^j) }[/math]。我们定义 [math]\displaystyle{ X }[/math] 关于 [math]\displaystyle{ Y }[/math] 的“偏协方差”为

如果 [math]\displaystyle{ X \oplus Y }[/math]是多变量高斯分布的（我们用符号“[math]\displaystyle{ \oplus }[/math]”表示向量的垂直连接），那么偏协方差 [math]\displaystyle{ \Sigma(X|Y) }[/math]正是条件变量 [math]\displaystyle{ X|Y=y }[/math]在任意 [math]\displaystyle{ y }[/math] 下的协方差矩阵：

其中，

熵 [math]\displaystyle{ H }[/math] 表征不确定性，定义为

条件熵 [math]\displaystyle{ H(X|Y) }[/math]是给定 [math]\displaystyle{ Y }[/math] 时 [math]\displaystyle{ X }[/math] 的期望熵，即，

互信息 [math]\displaystyle{ I(X;Y) }[/math]是 [math]\displaystyle{ X }[/math]和 [math]\displaystyle{ Y }[/math]之间的平均信息，或知道 [math]\displaystyle{ Y }[/math] 的结果后关于 [math]\displaystyle{ X }[/math] 的不确定性的减少（熵）：

互信息也可以写成有用的形式

从这个式子可以得出，互信息在 [math]\displaystyle{ X }[/math]和 [math]\displaystyle{ Y }[/math] 中是对称的 [2]。两个源 [math]\displaystyle{ Y }[/math] 和 [math]\displaystyle{ Z }[/math] 与目标 [math]\displaystyle{ X }[/math] 之间的联合互信息满足链式法则：

对于高斯变量 [math]\displaystyle{ X }[/math]， 对于高斯变量 [math]\displaystyle{ X \oplus Y }[/math]，对于随离散时间演化的动态变量 [math]\displaystyle{ X }[/math]，我们用 [math]\displaystyle{ X_t }[/math] 表示时间 [math]\displaystyle{ t }[/math] 时的状态，用 [math]\displaystyle{ \mathbf{X}_{t^-} }[/math]表示相对于时间[math]\displaystyle{ t }[/math]的无限过去，即 [math]\displaystyle{ \mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots }[/math]。相对于时间 [math]\displaystyle{ t }[/math]的 [math]\displaystyle{ p }[/math]个过去状态记作 [math]\displaystyle{ X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p} }[/math]。

尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 [math]\displaystyle{ (X,Y) }[/math] 和 [math]\displaystyle{ (X,Z) }[/math] 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 [math]\displaystyle{ X, Y }[/math] 和 [math]\displaystyle{ Z }[/math] 是联合多变量高斯分布的，其中 [math]\displaystyle{ X }[/math] 是单变量的，而 [math]\displaystyle{ Y }[/math] 和 [math]\displaystyle{ Z }[/math] 的维度分别为 [math]\displaystyle{ n }[/math] 和 [math]\displaystyle{ p }[/math]。那么存在一个唯一的 PID，使得冗余和独特信息 [math]\displaystyle{ R(X;Y,Z) }[/math]、 [math]\displaystyle{ U(X;Y|Z) }[/math] 和 [math]\displaystyle{ U(X;Z|Y) }[/math]仅依赖于 [math]\displaystyle{ (X,Y) }[/math] 和 [math]\displaystyle{ (X,Z) }[/math] 的边缘分布。根据这个 PID，冗余由下式给出

其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。

其他方法

James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点独特性、冗余性和互补性，得到点对点独特性、冗余性和互补性信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：唯一信息定义为可以获得的最小条件相互信息，同时保持输入-输出边际固定。

不同方法的比较

我们将几种 PID 度量方式进行比较： 由Aobo提出的方法[math]\displaystyle{ I_{\cap}^{\text{Exp}} }[/math]；由 Kolchinsky 提出的 [math]\displaystyle{ I_{\cap}^{\star} }[/math]，由 Williams 和 Beer 提出的 [math]\displaystyle{ I_{\cap}^{\text{WB}} }[/math]，由 Barrett 提出的“最小互信息” [math]\displaystyle{ I_{\cap}^{\text{MMI}} }[/math]，由 Griffith 等人提出的[math]\displaystyle{ I_{\cap}^{\triangle} }[/math]，由 Ince 提出的 [math]\displaystyle{ I_{\cap}^{\text{Ince}} }[/math]，由 Finn 和 Lizier 提出的 [math]\displaystyle{ I_{\cap}^{\text{FL}} }[/math]，由 Bertschinger 等人提出的[math]\displaystyle{ I_{\cap}^{\text{BROIA}} }[/math]，由 Harder 等人提出的 [math]\displaystyle{ I_{\cap}^{\text{Harder}} }[/math]，以及由 James 等人提出的 [math]\displaystyle{ I_{\cap}^{\text{dep}} }[/math]。

[math]\displaystyle{ 各方法的定性比较 }[/math]	[math]\displaystyle{ I_{\cap}^{*} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{WB}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{MMI}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{MMI}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{Ince}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{FL}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{BROJA}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{Harder}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{dep}} }[/math]	[math]\displaystyle{ I_{\cap}^{\text{Exp}} }[/math]
[math]\displaystyle{ 三个及以上源变量 }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]				仅对协同和特有信息
[math]\displaystyle{ 单调性 }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]			[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]
[math]\displaystyle{ 可加性 }[/math]	[math]\displaystyle{ \checkmark }[/math]			[math]\displaystyle{ \checkmark }[/math]	？	？	[math]\displaystyle{ \checkmark }[/math]			[math]\displaystyle{ \checkmark }[/math]
[math]\displaystyle{ 连续性 }[/math]		[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]		？	？	[math]\displaystyle{ \checkmark }[/math]		[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]
[math]\displaystyle{ 独立恒等性 }[/math]	[math]\displaystyle{ \checkmark }[/math]			[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]		[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]
[math]\displaystyle{ 强独立恒等性 }[/math]							[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]	[math]\displaystyle{ \checkmark }[/math]

注意：强独立恒等性公理表明，对于两个源变量系统，当目标变量等于源变量时，冗余信息等于互信息 \cite{Harder2013}。

信息原子的数值计算程序

部分信息分解示例和dit库 当涉及到信息理论概念时，dit是这些实验的绝佳工具。这是一个在你创建的自定义概率分布上进行测量的库（Https://Github.com/Dit/Dit）。 首先我们有两个源变量[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math](它们都是二进制的)和一个目标变量Y，Y是关于这些源变量的布尔运算。所有测量部分信息的形式都将由Williams和Beer提供，但其他作者提出的其他形式也可以在dit中进行。

1.独特信息

在这个例子中，假设目标变量Y由下表给出。请注意，输出总是等于[math]\displaystyle{ X_1 }[/math]，这使得特征[math]\displaystyle{ X_2 }[/math]完全无关紧要。

[math]\displaystyle{ X_1 }[/math]	[math]\displaystyle{ X_2 }[/math]	[math]\displaystyle{ Y }[/math]
0	0	0
0	1	0
1	0	1
1	1	1

因此，[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]提供的关于Y的信息完全集中在[math]\displaystyle{ X_1 }[/math]中，我们可以说关于Y的信息是X_1独有的。

在dit库中，我们可以创建这个：

import dit # importing dit library

from dit.pid import PID_WB # importing the PID measure we want to use

1. creating a probability distribution of AND gate

dist_unique = dit.Distribution(["000", "010", "101", "111"], [1/4, 1/4, 1/4, 1/4])

print(PID_WB(dist_unique))

"""

Out:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 1.0000 | 0.0000 |

| {0} | 1.0000 | 1.0000 |

| {1} | 0.0000 | 0.0000 |

| {0}{1} | 0.0000 | 0.0000 |

+--------+--------+--------+

"""

dit对信息类型进行编码如下：

{0:1}：[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]之间的协同信息

{0}：[math]\displaystyle{ X_1 }[/math]提供的唯一信息

{1}：[math]\displaystyle{ X_2 }[/math]提供的唯一信息

{0}{1}：[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]提供的冗余信息

我们可以通过输出看到，提供的唯一部分信息（“pi”列）来自X_1。

2.冗余信息

下一个示例用于显示冗余信息。在这里，[math]\displaystyle{ X_1 }[/math]、[math]\displaystyle{ X_2 }[/math]和Y都相等，如下表所示，因此[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]提供的关于Y的冗余信息是最大的。

[math]\displaystyle{ X_1 }[/math]	[math]\displaystyle{ X_2 }[/math]	[math]\displaystyle{ Y }[/math]
0	0	0
1	1	1

使用dit，代码如下：

import dit # importing dit library

from dit.pid import PID_WB # importing the PID measure we want to use

1. creating a redundant probability distribution

dist_redundant = dit.Distribution(["000", "111"], [1/2, 1/2])

print(PID_WB(d_redundant))

"""

Out:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 1.0000 | 0.0000 |

| {0} | 1.0000 | 0.0000 |

| {1} | 1.0000 | 0.0000 |

| {0}{1} | 1.0000 | 1.0000 |

+--------+--------+--------+

"""

正如我们所看到的，X_1和X_2提供的关于Y的信息是冗余的，换句话说，两者都提供。

3.协同信息

协同信息的一个经典例子是XOR门，如下表所示。

[math]\displaystyle{ X_1 }[/math]	[math]\displaystyle{ X_2 }[/math]	[math]\displaystyle{ Y }[/math]
0	0	0
0	1	1
1	0	1
1	1	0

通过这个分布注意到，只有当我们同时知道[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]时，我们才能知道目标变量Y。没有[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]，就不可能知道Y。因为对于[math]\displaystyle{ X_1 }[/math]的每个值，我们都有Y的两个值；[math]\displaystyle{ X_2 }[/math]也是如此。

代码indit是：

import dit # importing dit library

from dit.pid import PID_WB # importing the PID measure we want to use

1. creating a probability distribution of XOR gate

dist_syn = dit.Distribution(["000", "011", "101", "110"], [1/4]*4)

print(dist_syn)

"""

Out:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 1.0000 | 1.0000 |

| {0} | 0.0000 | 0.0000 |

| {1} | 0.0000 | 0.0000 |

| {0}{1} | 0.0000 | 0.0000 |

+--------+--------+--------+

"""

不出所料，[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]传达的关于Y的唯一信息是{0:1}，这是协同信息。

下面介绍如何用dit库进行一次完整的部分信息分解实验：（以Williams & Beer为例，只需要更改调用的函数名称即可使用其他PID分解方法，详见https://dit.readthedocs.io/en/latest/measures/pid.html）

首先在python里导入dit.pit：In [1]: from dit.pid import *

随后给出一个分布：In [2]: d = dit.Distribution(['000', '011', '102', '113'], [1/4]*4)

用给出的分布进行PID分解（更改“PID_"后面角标即可使用其他PID分解方法）：In [3]: PID_WB(d)

输出结果：Out[13]:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 2.0000 | 1.0000 |

| {0} | 1.0000 | 0.0000 |

| {1} | 1.0000 | 0.0000 |

| {0}{1} | 1.0000 | 1.0000 |

+--------+--------+--------+

另外还有专门实现PID计算的pietromarchesi库：https://github.com/pietromarchesi/pidpy

PID框架的局限

PID框架在理论层面的局限

PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一上：

前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前这些公理化方案间存在争议。PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。

一方面冗余信息公理化定义的问题会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。

Lyu AoBo等研究者在2026年的一篇Phys. Rev. E的工作中尝试对这种信息原子无法被唯一地公理化给出的问题进行了回答。

他们在文章中证明了一个强结论，即：任何三源以上基于反链结构和PID公理的PID方法都不可能满足子系统一致性，这意味着，即便两个系统具有相同的冗余格与部分信息原子，加总后也可能得到不同的总互信息。

研究者们认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，而是PID框架中将协同信息这一全局性质局域化到信息原子上导致的。研究者们认为用集合论格结构去描述协同信息这种高阶交互作用本身就并不恰当，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。

对PID框架的批评:Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures | Phys. Rev. E

PID框架在应用层面的局限

PID 框架的在实际应用中的核心问题集中在冗余格中的信息原子带来的计算可行性问题上，具体地说，是由行性Deedkind数过大带来的计算困难上。这里

Dedekind数的意义为：[math]\displaystyle{ n }[/math]维布尔格[math]\displaystyle{ \mathcal{B}_{n} }[/math]上所有单调布尔函数的数量。对[math]\displaystyle{ n }[/math]个信息源的情况而言，其部分信息项的数量为[math]\displaystyle{ n-1 }[/math]阶Dedekind数。

当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于[math]\displaystyle{ 9 }[/math]个时，部分信息项的数目超过[math]\displaystyle{ 5 \times 10^{22} }[/math]个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。

。

PID框架的扩展

为了解决PID框架遭遇的困难，研究人员针对性地对PID框架进行了扩展，在这里我们介绍一类提升PID可计算程度最具代表性的工作。

高斯型PID框架

~G-PID

Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。

这一框架中通过～PID 的优化搜索空间限制在联合高斯分布中，大大降低了进行PID的计算复杂度，从系统变量数的超指数级降至二次方级。~G-PID框架定义的信息原子，是~PID/BROJA-PID 信息原子的上、下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。

~G-PID的计算可以通过如下方式实现:如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。

Praveen Venkatesh, Corbett Bennett等人在三种高斯直觉性示例（纯独特、纯冗余、纯协同）和三种非直觉性示例（独特和冗余、独特且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。

Praveen Venkatesh, Corbett Bennett等人的工作在理论上证明了，通过限制~PID的优化搜索空间到高斯分布型集合上时，可以使~G-PID原子在理论上靠近~PID的计算结果，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。

Thin-PID

Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究再在~G-PID的基础之上推进了一大步。

Wenyuan Zhao 、Chao Tian等人在2025年发表的工作中发现将Bertschinger给出的部分信息原子定义限制在高斯分布集[math]\displaystyle{ \Delta G }[/math]上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。

Wenyuan Zhao 、Chao Tian等人给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。

对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。

Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。

数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。

相关框架

部分熵分解

部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。

其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过Mobius反演构建冗余格。

在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、独特、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式

[math]\displaystyle{ H(X_1,X_2) = H_{\partial}(\{{X}_1\},\{{X}_2\}) + H_{\partial}{\{X_1\}} + H_{\partial}(\{X_2\}) + H_{\partial}(\{X_1,X_2\}) }[/math]

[math]\displaystyle{ H(X_1) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_1\}) }[/math]

[math]\displaystyle{ H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\}) }[/math]

进一步有

[math]\displaystyle{ I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\}) }[/math]

PED框架揭示了这样的事实：在更复杂的情景中，双变量互信息结构会变得更加复杂

例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息[math]\displaystyle{ I(X_1;X_2) }[/math]

[math]\displaystyle{ I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}\{X_3\})+H_{\partial}(\{X_1\}\{X_2\}) }[/math]

[math]\displaystyle{ -H_{\partial}(\{X_3\}\{X_1,X_2\})-H_{\partial}(\{X_1,X_2\}\{X_1,X_3\}\{X_2,X_3\}) }[/math]

[math]\displaystyle{ -H_{\partial}(\{X_1,X_2\}) }[/math]

从而可发现：

双变量互信息不仅包含了三个变量间的冗余熵[math]\displaystyle{ H_{\partial}(\{X_1\}\{X_2\}\{X_3\}) }[/math],还对[math]\displaystyle{ X_1 }[/math]和[math]\displaystyle{ X_2 }[/math]联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。

在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。

整合信息分解(ΦID)

整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论（IIT),克服 PID 单目标变量局限与传统整合信息测度（如 [math]\displaystyle{ \Phi WMS }[/math]、CD）的行为不一致性局限，并将PID扩展至多源。

这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的双重冗余格[math]\displaystyle{ \mathcal{A}^2 }[/math] = [math]\displaystyle{ \mathcal {A} \times \mathcal{A}，\mathcal{A} }[/math]是单一目标冗余格，其二用于捕捉信息在多个来源的双重冗余函数[math]\displaystyle{ I_{\cap}^{\alpha \rightarrow \beta} }[/math]

双重冗余格：

取[math]\displaystyle{ \mathcal{A} = \{ \{1\},\{2\},\{1,2\},\{\{1\}\{2\}\}\} }[/math]，由其生成的双重冗余格结构如下图所示,

图中每个节点代表一有序对[math]\displaystyle{ \mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}} }[/math],称双冗余原子

双重冗余格上定义了偏序关系

[math]\displaystyle{ \mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta' }[/math]

双重冗余函数：

双重冗余函数[math]\displaystyle{ I_{\cap}^{\alpha \rightarrow \beta} }[/math],是针对双重冗余格中的每个节点[math]\displaystyle{ \alpha \rightarrow \beta }[/math]定义的函数——其中[math]\displaystyle{ \alpha }[/math]代表源变量集，[math]\displaystyle{ beta }[/math]代表目标变量集。它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合[math]\displaystyle{ \alpha }[/math]与目标变量集合[math]\displaystyle{ \beta }[/math]被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。

常用的双重冗余函数为最小互信息函数：

[math]\displaystyle{ I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i) }[/math]

对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 [math]\displaystyle{ \Phi }[/math]ID必须回归标准PID模式，这说明PID是[math]\displaystyle{ \Phi }[/math]ID的一种特例。

与单目标PID的情况不同,双重冗余格并源自冗余函数，而是通过边际格的乘积自然形成。

PID框架应用研究

PID的高效性体现在其可以扩展至多个领域，这里集智百科将展示PID在复杂系统涌现研究、 意识研究领域中的应用。

PID在复杂系统涌现研究中的应用

因果涌现形式化理论

PID框架在复杂系统科学中被应用于刻画复杂系统中的涌现现象。

Pedro A. M. Mediano 和 Fernando E. Rosas等人在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。

综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当[math]\displaystyle{ \mathrm{Syn}^{(k)}(X_t,X_{t'})\gt 0 }[/math]，其中[math]\displaystyle{ \mathrm{Syn}^{(k)} }[/math]是由协同信息定义的整体系统而非k个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力[math]\displaystyle{ =\mathcal{D}^{(k)}+\mathcal{G}^{(k)} }[/math],其中[math]\displaystyle{ \mathcal{D}^{(k)} }[/math]为向下因果,[math]\displaystyle{ \mathcal{G}^{(k)} }[/math]为因果解耦。

[math]\displaystyle{ \mathcal{D}^{(k)}与\mathcal{G}^{(k)} }[/math]分别由PID框架中的独特信息原子刻画，其中[math]\displaystyle{ \mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t}) }[/math]

[math]\displaystyle{ \mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'}) }[/math]

该理论已在经典的涌现模型和脑科学研究中取得了成功应用。

这一部分内容在集智百科基于信息分解的因果涌现词条中已有详尽叙述，详细内容可访问基于信息分解的因果涌现词条进行查看。

Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246

生物系统中的因果涌现现象

通过PID框架的扩展框架PhiID框架,可研究生物系统中的涌现现象。在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等作者使用PhiID框架展开了这一主题的下的研究。

几位作者的试图研究，学习过程是否能增强系统整合性？为此，他们选择了基因调控网络（GRNs）为研究对象，考察了GRNs在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。

为了量化网络的涌现程度，作者们引入了基于作为PID扩展的[math]\displaystyle{ \Phi }[/math] ID而开发的因果涌现度量理论。[math]\displaystyle{ \Phi }[/math] ID框架通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的因果涌现性。

作者使用了最新的[math]\displaystyle{ \Phi }[/math] ID框架对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。

而后[math]\displaystyle{ \Phi ID }[/math]被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的Phi ID计算中起到了核心支撑，假设信号符合高斯分布，带来了[math]\displaystyle{ \Phi }[/math] ID计算上的极大便利性。 具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用[math]\displaystyle{ \Phi }[/math] ID量化多组件GRNs计算成本大幅降低。

此外，作者还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。

利用高斯信息假设下的[math]\displaystyle{ \Phi }[/math] ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。

Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. Communications Biology, 8(1), 1027.

PID框架在意识研究中的应用

Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, Neuroscience of Consciousness, Volume 2021, Issue 2, 2021, niab027, https://doi.org/10.1093/nc/niab027

在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论，称之为[math]\displaystyle{ \mathrm{Psy} }[/math]-ID理论。

这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。

作者等人主张,将意识视为由不同信息论要素构成,可实现对其更全面的刻画。借助由PID框架扩展而来的[math]\displaystyle{ Phi }[/math] ID框架，作者定义了[math]\displaystyle{ \Phi_R }[/math](修正的整合信息)与[math]\displaystyle{ \Phi_{R-ing} }[/math]比率（意识-信息转化效率）两种刻画意识的信息论指标。

[math]\displaystyle{ \Phi_R= \mathrm{Synergy} + \mathrm{Transfer} }[/math]

[math]\displaystyle{ \Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau}) }[/math]

前者解决了IIT 2.0的中 [math]\displaystyle{ \Phi ^{WMS} }[/math]指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了[math]\displaystyle{ \Phi_R }[/math]无法度量的意识信息利用差异程度，与[math]\displaystyle{ \Phi_R }[/math]形成互补 ,为分析意识的信息加工机制提供了量化线索。

作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是系统与环境互动的产物，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是意识模式差异，而非量的差异。

这一工作中，从PID框架扩展而来的[math]\displaystyle{ \Phi }[/math] ID框架为意识研究提供了全新的信息论分析工具，基于[math]\displaystyle{ \Phi }[/math]ID开发的[math]\displaystyle{ \Phi_R }[/math]和[math]\displaystyle{ \Phi_{R-ing} }[/math] 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了IIT2.0仅关注意识量的缺陷。

PID框架在随机过程中的应用

按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)Zerolag-PID，和（转移熵）TE -PID两种分解模式。

前者使用PID框架分解源过程和目标过程的瞬时互信息[math]\displaystyle{ I(\mathbf{X_n};Y(t_n)) }[/math]后者则分解源过程和目标过程间的转移熵[math]\displaystyle{ I(Y(t_n);X(t \lt n)|Y(t \lt n)) }[/math]其分解对象的信息结构如下图所示

从图中可以看出，零滞后PID和TE-PID分解的互信息变量组中没有囊括源过程所有的交互作用。

具体而言，零滞后PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。

为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解（PIRD）框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。

与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）[math]\displaystyle{ I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n)) }[/math]替代静态互信息（MI），结合频率域谱冗余率（SMMI）[math]\displaystyle{ i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω) }[/math]实现动态信息的独特、冗余、协同贡献分解。

为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法

粗粒化分解式为[math]\displaystyle{ I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}} }[/math]使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。

三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。

PID框架在人工智能领域中的应用

在人工智能领域中，PID框架中的冗余、独特、协同等原子常被用于模型和算法设计中。

Lixin Xiu等人在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。

作者将LVLMs的视觉特征,语言特征分别作为源变量，[math]\displaystyle{ X_1,X_2 }[/math],将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。

信息谱的成分包括：[math]\displaystyle{ R }[/math]（重叠，视觉和语言特征间的冗余）、[math]\displaystyle{ U_{1} }[/math]（仅视觉线索）、[math]\displaystyle{ U_{2} }[/math]（语言侧知识）以及 [math]\displaystyle{ S }[/math]（语言同视觉的协同）。

在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。

在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。

实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息[math]\displaystyle{ S }[/math],后者则由语言特征提供的独特信息[math]\displaystyle{ U_2 }[/math]主导，协同信息对其有增益但存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息[math]\displaystyle{ S }[/math]的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。

此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。

参考文献列表

Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.