集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织 - 用户贡献 [zh-cn]

部分信息分解

2026-01-18T02:51:49Z

吕奥博：添加PhiID应用文章

== 历史 ==
1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息，但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生，其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以彻底分解源变量对目标变量的传递信息。他们的在原始工作中的思路是首先给出了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。后利用这个冗余格提出了其余两种部分信息原子（Partial Information Atoms）、独特和协同的定义，并以例子说明了他们构建的部分信息分解（PID）框架能够将多变量系统中信息源对结果变量提供的贡献分解为信息原子的组合。

== 相关概念 ==

=== 信息熵 ===
对于一个离散随机变量 <math>X</math>,它有<math>n</math>种可能取值 <math>\{x_1,x_2,\dots,x_n\}</math>

每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵函数，这一函数满足以下三条公理：

1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续

2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和

3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。

通过以上三条公理可确定'''唯一形式的''' <math>H(X)</math>为,其中<math>K</math>为任意常数：

<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>

这种思路也在PID框架的构建中得到了应用，PID框架的作者使用了公理化方法给出了冗余信息最核心的性质:单调性、上界性、自冗余性。

=== 互信息 ===
对多变量系统而言，例如源变量组<math>X_1,X_2,\dots X_n</math>和一个目标变量<math>Y</math>之间构成的多变量系统<math>\{X_1,X_2,\dots,X_n,Y\}</math>，多变量的互信息<math>I(X_1,X_2,\dots,X_n;Y)</math>被用于描述源变量组<math>{X_1,X_2,\dots,X_n}</math>对一个目标变量<math>Y</math>之间传输的信息量<math>I(X_1,X_2,\dots,X_n \rightarrow Y)</math>。

其定义如下:

<math>I(X_1,X_2,\dots,X_n \rightarrow Y) = I(X_1,X_2,\dots,X_n;Y) = H(X_1,X_2,\dots,X_n)-H(X_1,X_2,\dots,X_n|Y)</math>

这种源变量组对接受变量传输的信息量正是PID框架要分解的对象。

在单一源的情形下，两个随机变量的互信息是两个随机变量的相互关联中包含的信息量,其被用于刻画两个随机变量间的关联关系，不论是总相关性、McGill互信息，抑或是PID框架，都需要使用信息熵、互信息及条件互信息出发去刻画随机变量间的关联。

设<math>X,Y</math>为两个离散型随机变量，此情形下两个变量的互信息的定义及计算式为:

<math>I(X;Y)
=\sum_{i,j}p_{XY}(x_i,y_j)\log_2\left(\frac{p_{XY}(x_i,y_j)}{p_X(x_i)p_{Y}(y_j)}\right)</math>

<math>=\sum_{i,j}p_{XY}(x_i,y_j)\left(\log_2 p_{XY}(x_i,y_j) - \log_2p_{X}(x_i) - \log_2p_{Y}(y_j)\right)</math>

<math>= H_X+H_Y - H_{XY}</math>

两个变量的互信息仅涉及到两个随机变量联合分布相对于它们完全独立时产生的联合分布之间的信息熵差值，并不涉及两个随机变量构成整体同其它随机变量构成整体之间的信息熵关系。

=== 条件互信息 ===
对照互信息的意义，可类似地定义条件互信息，条件互信息刻画了有第三方变量的约束情况时，两个变量的关联情况，其定义如下：

设<math>X,Y,Z</math>为离散型随机变量，条件互信息<math>I(X;Y|Z)</math>定义为：

<math>I(X;Y|Z) = H(X|Z) - H(X|Y,Z)</math>

在PID框架的两源变量情形中，条件互信息将协同信息与独特信息联系了起来。

== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图量化多变量传输信息，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。

=== 总相关性 ===
对于给定的<math>n</math>个随机变量集合

<math>\{X_1,X_2,\dots,X_n\}</math>

其总相关性<math>C(X_1,X_2,\dots,X_n)</math>的定义如下：

<math>C(X_1,X_2,\dots,X_n) = \sum_{i=1}^{n}H(X_i) - H(X_1,X_2,\dots X_n)</math>

其中<math>H(X_i)</math>是变量的信息熵<math>X_i</math> ;<math>H(X_1,X_2,\dots,X_n)</math>为随机变量集合<math>H(X_1,X_2,\dots,X_n)</math>是变量集<math>\{ X_1,X_2,\dots, X_n\}</math>的联合熵。

总相关性量化了给定变量集中存在的绝对冗余的总量。但多元随机变量间冗余的关联亦构成了这一概念的局限，因为总相关性中未包含对冗余结构的细致分析——比如下文例子中所展示的高阶冗余交互的情形

'''例：三变量情形的高阶交互冗余'''

设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。

[[File:无标题 1.png|描述|链接=Special:FilePath/无标题_1.png]]

一个实例为：令<math>X_1,X_2,X_3</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。

当<math>X_1,X_2,X_3</math>是否损坏为独立事件，但<math>\{X_1,X_2\}</math>构成的整体，即后轮组<math>\{X_1,X_2\}</math>损坏了，或是<math>X_3</math>构成的前轮组<math>X_3</math>损坏了，都能提供”车无法运行“的信息。

高阶交互冗余的存在启发了PID框架重新严格定义冗余信息并对传输信息的来源进行分解。

=== McGill 交互信息(多重互信息、共信息、协同) ===
设<math>\mathcal{V}= \{X_1,X_2,\dots,X_n\}</math>为一组离散型随机变量构成的集合，它们的McGill交互信息可以用互信息和条件互信息组成的递归式定义：

<math>I(X_1;X_2;\dots;X_{n+1}) = I(X_1;\dots;X_n) -I(X_1;\dots;X_n|X_{n+1})</math>

当<math>I(X_1,X_2,\dots,X_n)</math>以随机变量的信息熵和联合熵表达时,可以写成如下形式：

<math>I(\mathcal{V}) = \sum_{\tau \subseteq \mathcal{V}} (-1)^{|\tau|-1}H(\tau)</math>

对三元随机变量集合<math>\{X,Y,Z\}</math>而言，相应的McGill交互信息为下图中的灰色部分:<math>I(X;Y;Z)</math>

[[File:Pasted image 20251104135250.png|描述|链接=Special:FilePath/Pasted_image_20251104135250.png]]

'''负交互信息问题'''

对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。

如下例子展示了McGill交互信息框架中的负信息问题。

设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。

其中，电池能否正常工作与燃油泵能否正常工作独立,而当且仅当电池和燃油泵同时工作时，车的动力系统<math>\{Y,Z\}</math>正常运作，车才可以运行，从而<math>I(Y;Z) = 0</math>

但车无法启动,电池工作良好，则可推出发动机故障，从而

<math>I(Y;Z|X) > 0</math>

此时

<math>I(X;Y;Z) = I(Y;Z) - I(Y;Z|X) <0</math>

McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
== 部分信息分解（PID）框架 ==

=== 冗余信息的定义 ===
（为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节第二段）
令 <math>\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}</math>为 <math>\mathbf{R}</math>的非空且允许重叠的子集，我们称之为源。每个<math>\mathbf{A}_{i}</math>所提供的信息由互信息<math>I(S;\mathbf{A}_{i})</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>S</math>的不同结果提供信息。源<math>\mathbf{A}</math>所提供的信息可写为
\begin{equation}
I(S;\mathbf{A})=\sum_{s}p(s)\,I(S=s;\mathbf{A}),
\end{equation}
其中特定信息<math>I(S=s;\mathbf{A})</math>量化了与<math>S</math>的某一特定结果 <math>s</math>相关联的信息。下面需要给出其定义：
\begin{equation}
I(S=s;\mathbf{A})=
\sum_{\mathbf{a}}p(\mathbf{a}|s)
\left[\log\frac{1}{p(s)}-\log\frac{1}{p(s|\mathbf{a})}\right].
\end{equation}
项<math>1/p(s)</math>称为<math>s</math>的不确定度（surprise），项<math>log1/p(s)</math>即<math>s</math>的香农熵。因此 <math>I(S=s;\mathbf{A})</math>表示已知<math>\mathbf{A}</math>中的每个<math>\mathbf{a}</math>后以s为条件下a发生的概率为权重的<math>s</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>s</math>发生的条件下<math>\mathbf{A}</math>以百分之五十概率取<math>\mathbf{a}_{1}</math>，以百分之五十的概率取<math>\mathbf{a}_{2}</math>，那显然可以用这两个取值对<math>s</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(S=s;\mathbf{A})</math>）。总之，<math>I(S=s;\mathbf{A})</math> 量化 <math>\mathbf{A}</math>关于每个特定结果 <math>s\in S</math>所提供的信息，而<math>I(S;\mathbf{A})</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值}的期望，即
\begin{equation}
I_{\min}(S;\{\mathbf{A}_{1},\mathbf{A}_{2},\dots ,\mathbf{A}_{k}\})
=\sum_{s}p(s)\min_{\mathbf{A}_{i}}I(S=s;\mathbf{A}_{i}).
\end{equation}
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>S</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>S</math>的不同结果提供信息。
==== 冗余信息公理 ====
根据上述定义可以得到如下关于冗余信息的性质：

非负性：要证明冗余信息是非负的，只需要证明<math>I(S=s;\mathbf{A})</math>是非负的。我们有<math>I(S=s;\mathbf{A})
=\sum_{\mathbf{a}}p(\mathbf{a}|s)
\left[\log\frac{1}{p(s)}-\log\frac{1 {p(s|\mathbf{a})}\right]=D\!\bigl(p(\mathbf{a}|s)\bigm\|p(\mathbf{a})\bigr)
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。

上界性：
对所有 <math>\mathbf{A}_{i}</math>都有 <math>I_{\min}\le I(S;\mathbf{A}_{i})</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>s\in S</math>都有 <math>I(S=s;\mathbf{A}_{i})=I(S=s;\mathbf{A}_{j})</math>时等号成立。

自冗余性:
根据上界性，我们可知冗余信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>\mathbf{A}</math>，与<math> \mathbf{A}</math>冗余的信息量最大为<math>I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A})</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于互信息在自信息 <math>I(S;S)=H(S)</math> 最大化的性质。

全局非负性：<math>I_\cap(X_1,\dots,X_n:Y)\ge 0</math>。

等价类不变性：对任意 <math>i=1,\dots,n</math> 或 <math>Y </math>替换为信息等价随机变量，<math>I_\cap(X_1,\dots,X_n:Y)</math>保持不变。

目标单调性：若 <math>Y\preceq Z</math>，则
\[
I_\cap(X_1,\dots,X_n:Y)\le I_\cap(X_1,\dots,X_n:Z).
\]

弱单调性：对任意额外变量 <math>W</math>，
\[
I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y),
\]
且若存在 <math>Z\in\{X_1,\dots,X_n\} </math>使得 <math>Z\preceq W</math>，则等号成立。

弱对称性：<math>I_\cap(X_1,\dots,X_n:Y)</math> 对 <math>X_1,\dots,X_n </math>的排列顺序不变。
\end{itemize}

以下性质将交集信息与所选信息度量 <math>\mathcal{I}(X:Y)</math> 联系起来：

下界：若随机变量 <math>Q</math> 满足 <math>Q\preceq X_i</math> 对所有 <math>i=1,\dots,n </math>成立，则
\[
I_\cap(X_1,\dots,X_n:Y)\ge \mathcal{I}(Q:Y).
\]
特别地，<math>Q=X_1\wedge\cdots\wedge X_n</math> 是一个合法选择。由 <math>I_\cap(X:Y)=\mathcal{I}(X:Y)</math> 及弱单调性可推出下界。

恒等性：
\[
I_\cap(X,Y:X\vee Y)=\mathcal{I}(X:Y).
\]

弱局部非负性：当 <math>n=2</math>时，由 \cite{Williams:2010} 定义的「部分信息」非负。若全局非负性、弱单调性及
\[
I_\cap(X_1,X_2:Y)\ge I(X_1:Y)+I(X_2:Y)-I(X_1\vee X_2:Y)
\]
同时成立，则本性质自动满足。

最后，更强的性质如下：

强单调性：对任意额外变量 <math>W</math>，
\[
I_\cap(X_1,\dots,X_n,W:Y)\le I_\cap(X_1,\dots,X_n:Y),
\]
且若存在 <math>Z\in\{X_1,\dots,X_n,Y\}</math>使得 <math>Z\preceq W</math>，则等号成立。

强对称性：<math>I_\cap(X_1,\dots,X_n:Y)</math> 对 <math>X_1,\dots,X_n,Y </math>的排列顺序不变。

强局部非负性：对任意 <math>n</math>，由 \cite{Williams:2010} 定义的「部分信息」均非负。

=== 两源变量框架与部分信息原子 ===
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。

两源变量框架的基本构成如下：

设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的接受变量,<math>S_1,S_2</math>为信道中的信源变量

记<math>S_1,S_2</math>整体构成了随机变量组:

<math>\mathbf{S} = \{S_1,S_2\}</math>

PID框架要分解的是<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>.

如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：

[[File:1762497522923 1.png|描述|链接=Special:FilePath/1762497522923_1.png]]

部分信息原子包括如下三个部分:

'''独特(Un)''':<math>S_1,S_2</math>其中一个可以向<math>T</math>提供,而另一个无法提供的信息

<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>

'''冗余(Red)''': <math>R_1,R_2</math>均可提供的重复信息（冗余信息）

<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>

'''协同(Syn)''':<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息

<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>

从而有

<math>I(\mathbf{S};T)=I((S_1,S_2);T) = \mathrm{Syn}(S_1,S_2 \rightarrow T)+ \mathrm{Un}(S_1 \rightarrow T | S_2)+\mathrm{Un}(S_2 \rightarrow T| S_1)+\mathrm{Red}(S_1,S_2\rightarrow T) </math>

从维恩图中显而易见的还有如下两组等式等式成立：

1. 某一源向接收变量传递的信息由其独特和冗余构成

<math>I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2)</math>

<math>I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1)</math>

这意味着可以通过互信息-冗余去计算独特。

2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成

<math>I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2)</math>

<math>I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1)</math>

这意味着，在通过'''互信息-冗余'''计算完独特后，可以用'''条件互信息-独特'''计算协同。

为此我们可以先以两源变量框架为例，展示信息原子的计算，为此我们先介绍两源变量情形下，冗余信息的定义，依照一般定义，容易给出冗余信息在两源变量框架中的定义式为：

<math>
\mathrm{Red}(S_1,S_2 \rightarrow T) =I_{min}(\{S_1,S_2\};T) = \sum_{t} p(t) \min_{S_i}I(T = t; S_i)
</math>

其中

<math>
I(T = t; S_i) = \sum_{\mathbf{s}}p(\mathbf{\mathbf{s}}|t)\log_2\frac{p(t|\mathbf{s})}{p(\mathbf{s})}
</math>

'''例'''：

<math>X,Y,Z</math>三元变量组中，设<math>X,Y</math>独立,<math>Z =X \oplus Y</math>

本例中，当按照下面的列表取<math>X,Y,Z</math>的分布及相应的联合分布时，可以相应的计算出随机变量的熵、条件熵、相应的条件互信息，从而获得这组随机变量的总相关性、McGill交互信息。

又由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,又由异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。
{| class="wikitable"
|-
| <math>X</math> || <math> 0</math> ||<math> 1</math>
|-
| <math>p_{X}</math> || <math>\frac{1}{3}</math> || <math>\frac{2}{3}</math>
|-
| <math>Y</math> || <math>0</math> || <math>1</math>
|-
| <math>p_Y</math> || <math>\frac{1}{2}</math> || <math>\frac{1}{2}</math>
|-
| <math>Z=X \oplus Y</math> || <math> 0 </math> || <math> 1 </math>
|-
| <math>p_{Z}</math> || <math>\frac{1}{2}</math> || <math>\frac{1}{2}</math>
|}

{| class="wikitable"
|-
| <math>(X,Y)</math> || <math>p_{XY}</math> || <math>p_Xp_Y</math>
|-
| <math>(0,0)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(0,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(1,0)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|-
| <math>(1,1)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|-
| <math>(Y,Z)</math> || <math>p_{YZ}</math> || <math>p_Yp_Z</math>
|-
| <math>(0,0)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(0,1)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(1,0)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(1,1)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(X,Z)</math> || <math>p_{XZ}</math> || <math>p_Xp_Z</math>
|-
| <math>(0,0)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(0,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(1,0)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|-
| <math>(1,1)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|}

{| class="wikitable"
|-
| <math>(X,Y,Z)</math> || <math>p_{XYZ}</math> || <math>p_Xp_Yp_Z</math>
|-
| <math>(0,0,0;)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
|-
| <math>(0,1,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
|-
| <math>(1,0,1)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{6}</math>
|-
| <math>(1,1,0)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{6}</math>
|}

{| class="wikitable"
|-
| 可能的子集类型 || 集合基数 || 符号 || 熵
|-
| <math>\{X\}</math> || <math> 1 </math> || + || <math>\frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2}</math>
|-
| <math>\{Y\}</math> || <math> 1 </math> || + || <math> 1 </math>
|-
| <math>\{Z\}</math> || <math> 1 </math> || + || <math> 1 </math>
|-
| <math>\{X,Y\}</math> || <math> 2 </math>|| - || <math>\frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3}</math>
|-
| <math>\{Y,Z\}</math> || <math> 2 </math>|| - || <math> 2 </math>
|-
| <math>\{X,Z\}</math> || <math> 2 </math> || - || <math>\frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3}</math>
|-
| <math>\{X,Y,Z\}</math> || <math> 3 </math>|| + || <math>\frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3}</math>
|}

{| class="wikitable"
|-
| 总相关性<math>C(X,Y,Z)</math> || McGill交互信息<math>I(X;Y;Z)</math>
|-
| <math>2 </math> || <math> -1 </math>
|}

{| class="wikitable"
|-
| 事件 || 条件熵 || 条件互信息
|-
| <math>(X\vert Y)</math> || <math>\frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2}</math> || <math>I(X;Z\vert Y)</math>
|-
| <math>(X\vert Y,Z)</math> || <math>\frac{1}{3}\log_2 \frac{3}{2} + \frac{2}{3}\log_2\frac{3}{4}</math> || <math> 1 </math>
|-
| <math>(Y\vert X)</math> || <math> 1 </math>|| <math>I(Y;Z\vert X)</math>
|-
| <math>(Y\vert X,Z)</math> ||<math>0 </math> || <math> 1 </math>
|}

其中，依定义易求得:

<math>
\mathrm{Red}(S_1,S_2 \rightarrow T) = 0
</math>

而可进一步计算:计算PID框架下相应的独特<math>\mathrm{Un}(X\rightarrow Z|Y),\mathrm{Un}(Y\rightarrow Z|X)</math>与协同<math>\mathrm{Syn}(X,Y \rightarrow Z)</math>这两种信息原子。

<math>\mathrm{Un}(X\rightarrow Z|Y) = \mathrm{Un}(Y\rightarrow Z|X) = -\mathrm{Red}(X,Y \rightarrow Z) =0</math>

<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>

此时容易验证这一命题：三变量系统分解所得的冗余-协同<math>=0-1 =-1</math>，即是McGill交互信息的值。

从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。

=== 冗余晶格 ===
在两源变量的维恩图里我们可以观察到：<math>I(S;R_{1})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})</math>,<math>
I(S;R_{1},R_{2})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})+Unq(S;R_{2})+Syn(S;R_{1},R_{2});\{1\})</math>。由于<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>都是已知的，则我们给定冗余信息，协同信息，特有信息中任何一个的定义都可以唯一确定这个系统，这篇文章选了冗余信息。基于下述三大冗余信息公理可以得到冗余信息的定义。

但对于多源变量的情况，其协同信息，特有信息，冗余信息（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用冗余晶格来重塑系统的结构以产生一个偏序关系使其可以通过莫比乌斯反演得到类似上一段里的两源变量部分信息分解的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍冗余晶格如何产生。

在维恩图中，冗余度可以视为<math>I（S;\mathbf{A}_{i})</math>之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念
举例而言，考虑两个源<math>\mathbf{A}</math>与<math>\mathbf{B}</math>，且 <math>\mathbf{A}\subseteq\mathbf{B}</math>。
显然，<math>\mathbf{A}</math> 提供的任何信息也被<math> \mathbf{B}</math>提供，因此 <math>\mathbf{A}</math>与<math>\mathbf{B}</math>之间的冗余退化为<math>\mathbf{A}</math>的自冗余：
\begin{equation}
I_{\min}(S;\{\mathbf{A},\mathbf{B}\})
=I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}).
\end{equation}
进一步，对任意源<math>\mathbf{C}</math>，有<math>I_{\min}(S;\{\mathbf{A},\mathbf{B},\mathbf{C}\})
=I_{\min}(S;\{\mathbf{A},\mathbf{C}\})</math>。
推广之，对于任何源集合，若其中某些源是其他源的超集（即这个源包含其他源），则该集合的冗余等价于去掉所有超集后的冗余。因此，<math>I_{\min}</math>的定义域可简化为无源是其他源的超集的那些集合。即：
\begin{equation}
\mathcal{A}(\mathbf{R})=
\bigl\{\alpha\in\mathcal{P}_{1}(\mathcal{P}_{1}(\mathbf{R}))
\mid \forall\mathbf{A}_{i},\mathbf{A}_{j}\in\alpha,\;
\mathbf{A}_{i}\not\subset\mathbf{A}_{j}\bigr\},
\end{equation}
其中 <math>\mathcal{P}_{1}(\mathbf{R})=\mathcal{P}(\mathbf{R})\setminus\{\emptyset\}</math>为<math>\mathbf{R}</math>的所有非空子集的集合。
此后，我们将用带括号的索引简记<math>\mathcal{A}(\mathbf{R})</math>的元素，例如：
<math>\{\{R_{1},R_{2}\}\}</math>记为<math>\{12\}</math>，<math>\{R_{1},\{R_{2}，R_{3}\}\}</math>记为<math>\{1\}\{23\}</math>
通过将上述思路进一步延伸，可在<math>\mathcal{A}(\mathbf{R})</math>的元素上定义一个偏序<math>\preccurlyeq</math>。
考虑两个源集合 <math>\alpha,\beta\in\mathcal{A}(\mathbf{R})</math>，若对每个源
<math>\mathbf{B}\in\beta</math> 都存在源<math>\mathbf{A}\in\alpha</math>使得
<math>\mathbf{A}\subseteq\mathbf{B}</math>，则意味着 <math>\beta</math>中所有源所共享的冗余信息至少包含<math>\alpha</math>中所有源所共享的冗余信息。
于是，我们可定义偏序：
\begin{equation}
\forall\alpha,\beta\in\mathcal{A}(\mathbf{R}),\quad
\alpha\preccurlyeq\beta
\;\Longleftrightarrow\;
\forall\mathbf{B}\in\beta,\;
\exists\mathbf{A}\in\alpha,\;
\mathbf{A}\subseteq\mathbf{B}.
\end{equation}
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到冗余晶格（redundancy lattice）(见下图展示了三源变量的冗余晶格结构和其对应的韦恩图)，其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。

下面介绍具体如何构建三源变量的冗余晶格：

首先图中的节点含义如下：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的协同信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的冗余信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的冗余信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息：<math>\{12\}\{13\}\{23\}</math> ；变量12的协同信息和变量23的协同信息间存在的冗余信息：<math>\{12\}\{23\}</math>。

然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的冗余信息放在最下层开始，比这个区域多一些信息的区域是两变量间的冗余信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量冗余晶格。
[[文件:24234234224.png|缩略图|三源变量冗余晶格]]
[[文件:674776478.png|缩略图|三源变量韦恩图]]

这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余晶格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。

==== 其余信息原子计算 ====
冗余晶格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余晶格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用<math>I_{\min}</math>的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式定义：
\begin{equation}
I_{\min}(S;\alpha)
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
形式上，<math>\Pi_{\mathbf{R}}</math> 对应于<math>I_{\min}</math>的莫比乌斯反演。由该关系可递归计算<math>\Pi_{\mathbf{R}}</math>：
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
=I_{\min}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
换言之，<math>\Pi_{\mathbf{R}}(S;\alpha) </math>量化的是：<math>\alpha</math>中所有源共同提供的冗余信息中，未被任何比 <math>\alpha</math>更低的源集合 <math>\beta</math>所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
I(S;\mathbf{A})
=I_{\min}(S;\{\mathbf{A}\})
=\sum_{\beta\preccurlyeq\{\mathbf{A}\}}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
==== 其余信息原子计算实例 ====
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：

<math>I(S;R_1) = I(S;R_2) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3}</math>

(但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于不同结果的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以完全确定结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。)

另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：

<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的特有信息；

冗余信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从3个减少到2个；

协同信息为 <math>\Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math>联合起来可以唯一确定 <math>S=0</math> 是否发生，而单独任意一个都无法做到这一点。

（需要注意的是，与互信息或交互信息不同，部分信息是不对称的。例如，<math>R_1</math> 和 <math>R_2</math> 关于 <math>S</math> 的协同信息，通常不等于 <math>S</math> 和 <math>R_2</math> 关于 <math>R_1</math> 的协同信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>S</math> 的值，就可以唯一确定 <math>R_1</math> 和 <math>R_2</math> 的结果，因此不可能存在 <math>S</math> 和 <math>R_2</math> 联合提供关于 <math>R_1</math> 的协同信息，因为 <math>R_1</math> 的不确定性已经被 <math>S </math>完全消除了。相反，如前所述，<math>R_1</math> 和 <math>R_2</math> 却提供了关于 <math>S</math> 的协同信息。这种不对称性也解释了为什么我们始终聚焦于关于某个特定变量 <math>S</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）

== 冗余信息计算方法 ==
以下是一些有代表性的定量方法：
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
=== Griffith===
原论文构建冗余晶格的方式，给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个预测变量 <math>X_1,\dots,X_n</math>的函数:<math>
I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
\max_{\Pr(Q|Y)}I^0(Q:Y)\quad\text{subject to}\quad Q\preceq X_i\;
\forall i\in\{1,\dots,n\}.
</math>
上式可简化为：<math>
I_{\cap}^0(X_1,\dots,X_n:Y)
=I^0(X_1\wedge\cdots\wedge X_n:Y)
=H(X_1\wedge\cdots\wedge X_n\wedge Y).
</math>
与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为<math>
I_{\cap}(X_1,\dots,X_n:Y)
=I(X_1\wedge\cdots\wedge X_n:Y).
</math>

===Aobo===
为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：

<math>
\operatorname{Pr}(S_1' = s_1, S_2 = s_2 | T = t) \triangleq \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t).</math>

这意味着，对于每一个<math> s_1 \in \mathcal{S}_1 </math>，
<math>
\operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t).</math>
变量 <math> S_1' </math>是良定义的，因为所有概率都是非负的，并且可以很容易地证明：
<math>
\sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1.
</math>
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。

从 <math> S_1 </math>到 <math>T</math>给定<math> S_2</math>的独特信息为

<math>\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).</math>

基于定义3，我们定义冗余和协同信息如下。

从<math> S_1 </math>和 <math>S_2 </math>到 <math>T </math>的冗余信息为
<math>\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).</math>

从 <math> S_1 </math>和<math> S_2 </math>到<math> T </math>的协同信息定义为
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>

此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。冗余信息可以另写为<math> \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)</math>。协同信息可以另写为 <math>\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)</math>。

===kolchinsky===
作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为互信息<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：

<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>

其中优化是在所有具有有限数量结果的随机变量上进行的。因此，冗余<math> I_{\cap}</math>是任何比所有源都“不那么有信息量”的随机变量中关于 <math>Y </math>的最大信息量。类比于方程 (6)，我们定义联合信息为：

<math>
I_{\cup}(X_1; \ldots; X_n \to Y) := \inf_Q I(Q; Y) \quad \text{使得} \quad \forall i \; X_i \sqsubset Q</math>

因此，联合信息<math> I_{\cup} </math>是任何比所有源都“更有信息量”的随机变量中关于 <math>Y </math>的最小信息量。注意 <math>I_{\cap}</math> 和 <math>I_{\cup} </math>依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。

===Barrett===
设 <math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为

如果 <math>X \oplus Y </math>是多变量高斯分布的（我们用符号“<math>\oplus</math>”表示向量的垂直连接），那么偏协方差 <math>\Sigma(X|Y) </math>正是条件变量 <math>X|Y=y </math>在任意 <math>y</math> 下的协方差矩阵：

其中，

熵 <math>H</math> 表征不确定性，定义为

条件熵 <math>H(X|Y) </math>是给定 <math>Y</math> 时 <math>X</math> 的期望熵，即，

互信息 <math>I(X;Y) </math>是 <math>X</math>和 <math>Y</math>之间的平均信息，或知道 <math>Y</math> 的结果后关于 <math>X</math> 的不确定性的减少（熵）：

互信息也可以写成有用的形式

从这个式子可以得出，互信息在 <math>X</math>和 <math>Y</math> 中是对称的 [2]。两个源 <math>Y</math> 和 <math>Z</math> 与目标 <math>X</math> 之间的联合互信息满足链式法则：

对于高斯变量 <math>X</math>，
对于高斯变量 <math>X \oplus Y</math>，对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。

尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的 PID，使得冗余和独特信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个 PID，冗余由下式给出

其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。

===其他方法===
James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性和点对点冗余模糊性。随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点独特性、冗余性和互补性，得到点对点独特性、冗余性和互补性信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：唯一信息定义为可以获得的最小条件相互信息，同时保持输入-输出边际固定。

===不同方法的比较===
我们将几种 PID 度量方式进行比较：
由Aobo提出的方法<math> I_{\cap}^{\text{Exp}} </math>；由 Kolchinsky 提出的 <math>I_{\cap}^{\star}</math>，由 Williams 和 Beer 提出的 <math>I_{\cap}^{\text{WB}}</math>，由 Barrett 提出的“最小互信息” <math>I_{\cap}^{\text{MMI}}</math>，由 Griffith 等人提出的<math> I_{\cap}^{\triangle}</math>，由 Ince 提出的 <math>I_{\cap}^{\text{Ince}}</math>，由 Finn 和 Lizier 提出的 <math>I_{\cap}^{\text{FL}}</math>，由 Bertschinger 等人提出的<math> I_{\cap}^{\text{BROIA}}</math>，由 Harder 等人提出的 <math>I_{\cap}^{\text{Harder}}</math>，以及由 James 等人提出的 <math>I_{\cap}^{\text{dep}}</math>。
{| class="wikitable"
|-
| <math>各方法的定性比较</math> || <math>I_{\cap}^{*}</math> || <math>I_{\cap}^{\text{WB}}</math> ||<math>I_{\cap}^{\text{MMI}}</math>||<math>I_{\cap}^{\text{MMI}}</math>||<math>I_{\cap}^{\text{Ince}}</math>||<math>I_{\cap}^{\text{FL}}</math>||<math>I_{\cap}^{\text{BROJA}}</math>||<math>I_{\cap}^{\text{Harder}}</math>||<math>I_{\cap}^{\text{dep}}</math>||<math>I_{\cap}^{\text{Exp}}</math>
|-
| <math>三个及以上源变量</math> || <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>|| || || ||仅对协同和特有信息
|-
| <math>单调性</math> || <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>|| || || <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>
|-
| <math>可加性</math> || <math>\checkmark</math> || || ||<math>\checkmark</math>||？||？|| <math>\checkmark</math> || || ||<math>\checkmark</math>
|-
| <math>连续性</math> ||||<math>\checkmark</math>|| <math>\checkmark</math> || || ？ ||？|| <math>\checkmark</math> || || <math>\checkmark</math> ||<math>\checkmark</math>
|-
|<math>独立恒等性</math>||<math>\checkmark</math> || || ||<math>\checkmark</math>|| <math>\checkmark</math> || || <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>
|-
| <math>强独立恒等性</math> || || || || || || || <math>\checkmark</math> ||<math>\checkmark</math>|| <math>\checkmark</math> ||<math>\checkmark</math>
|}
注意：强独立恒等性公理表明，对于两个源变量系统，当目标变量等于源变量时，冗余信息等于互信息 \cite{Harder2013}。

===信息原子的数值计算程序===

部分信息分解示例和dit库
当涉及到信息理论概念时，dit是这些实验的绝佳工具。这是一个在你创建的自定义概率分布上进行测量的库（Https://Github.com/Dit/Dit）。
首先我们有两个源变量<math>X_1</math>和<math>X_2</math>(它们都是二进制的)和一个目标变量Y，Y是关于这些源变量的布尔运算。所有测量部分信息的形式都将由Williams和Beer提供，但其他作者提出的其他形式也可以在dit中进行。

1.独特信息

在这个例子中，假设目标变量Y由下表给出。请注意，输出总是等于<math>X_1</math>，这使得特征<math>X_2</math>完全无关紧要。
{| class="wikitable"
|-
|<math>X_1</math>||<math>X_2</math>||<math>Y</math>
|-
|0||0||0
|-
|0||1||0
|-
|1||0||1
|-
|1||1||1
|}
因此，<math>X_1</math>和<math>X_2</math>提供的关于Y的信息完全集中在<math>X_1</math>中，我们可以说关于Y的信息是X_1独有的。

在dit库中，我们可以创建这个：

import dit # importing dit library

from dit.pid import PID_WB # importing the PID measure we want to use

# creating a probability distribution of AND gate

dist_unique = dit.Distribution(["000", "010", "101", "111"], [1/4, 1/4, 1/4, 1/4])

print(PID_WB(dist_unique))

"""

Out:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 1.0000 | 0.0000 |

| {0} | 1.0000 | 1.0000 |

| {1} | 0.0000 | 0.0000 |

| {0}{1} | 0.0000 | 0.0000 |

+--------+--------+--------+

"""

dit对信息类型进行编码如下：

{0:1}：<math>X_1</math>和<math>X_2</math>之间的协同信息

{0}：<math>X_1</math>提供的唯一信息

{1}：<math>X_2</math>提供的唯一信息

{0}{1}：<math>X_1</math>和<math>X_2</math>提供的冗余信息

我们可以通过输出看到，提供的唯一部分信息（“pi”列）来自X_1。

2.冗余信息

下一个示例用于显示冗余信息。在这里，<math>X_1</math>、<math>X_2</math>和Y都相等，如下表所示，因此<math>X_1</math>和<math>X_2</math>提供的关于Y的冗余信息是最大的。
{| class="wikitable"
|-
|<math>X_1</math>||<math>X_2</math>||<math>Y</math>
|-
|0||0||0
|-
|1||1||1
|}

使用dit，代码如下：

import dit # importing dit library

from dit.pid import PID_WB # importing the PID measure we want to use

# creating a redundant probability distribution

dist_redundant = dit.Distribution(["000", "111"], [1/2, 1/2])

print(PID_WB(d_redundant))

"""

Out:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 1.0000 | 0.0000 |

| {0} | 1.0000 | 0.0000 |

| {1} | 1.0000 | 0.0000 |

| {0}{1} | 1.0000 | 1.0000 |

+--------+--------+--------+

"""

正如我们所看到的，X_1和X_2提供的关于Y的信息是冗余的，换句话说，两者都提供。

3.协同信息

协同信息的一个经典例子是XOR门，如下表所示。
{| class="wikitable"
|-
|<math>X_1</math>||<math>X_2</math>||<math>Y</math>
|-
|0||0||0
|-
|0||1||1
|-
|1||0||1
|-
|1||1||0
|}
通过这个分布注意到，只有当我们同时知道<math>X_1</math>和<math>X_2</math>时，我们才能知道目标变量Y。没有<math>X_1</math>和<math>X_2</math>，就不可能知道Y。因为对于<math>X_1</math>的每个值，我们都有Y的两个值；<math>X_2</math>也是如此。

代码indit是：

import dit # importing dit library

from dit.pid import PID_WB # importing the PID measure we want to use

# creating a probability distribution of XOR gate

dist_syn = dit.Distribution(["000", "011", "101", "110"], [1/4]*4)

print(dist_syn)

"""

Out:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 1.0000 | 1.0000 |

| {0} | 0.0000 | 0.0000 |

| {1} | 0.0000 | 0.0000 |

| {0}{1} | 0.0000 | 0.0000 |

+--------+--------+--------+

"""

不出所料，<math>X_1</math>和<math>X_2</math>传达的关于Y的唯一信息是{0:1}，这是协同信息。

下面介绍如何用dit库进行一次完整的部分信息分解实验：（以Williams & Beer为例，只需要更改调用的函数名称即可使用其他PID分解方法，详见https://dit.readthedocs.io/en/latest/measures/pid.html）

首先在python里导入dit.pit：In [1]: from dit.pid import *

随后给出一个分布：In [2]: d = dit.Distribution(['000', '011', '102', '113'], [1/4]*4)

用给出的分布进行PID分解（更改“PID_"后面角标即可使用其他PID分解方法）：In [3]: PID_WB(d)

输出结果：Out[13]:

+--------+--------+--------+

| I_min | I_r | pi |

+--------+--------+--------+

| {0:1} | 2.0000 | 1.0000 |

| {0} | 1.0000 | 0.0000 |

| {1} | 1.0000 | 0.0000 |

| {0}{1} | 1.0000 | 1.0000 |

+--------+--------+--------+

另外还有专门实现PID计算的pietromarchesi库：https://github.com/pietromarchesi/pidpy

== PID框架的局限 ==

讨论PID框架的局限是为了引出对PID相关框架扩展的介绍，我们主要以举例的形式介绍奥博写在大纲里面的三种框架、部分熵分解、整合信息分解对应的PID框架中的不足。

== PID框架的扩展 ==

=== 相关框架 ===

==== 部分熵分解 ====
Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. ''Proceedings of the National Academy of Sciences'', ''120''(30), e2300888120.

==== 整合信息分解 ====
Mediano, P. A., Rosas, F. E., Luppi, A. I., Carhart-Harris, R. L., Bor, D., Seth, A. K., & Barrett, A. B. (2021). Towards an extended taxonomy of information dynamics via integrated information decomposition. ''arXiv preprint arXiv:2109.13186''.

==== 系统信息分解 ====
Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System information decomposition. ''arXiv preprint arXiv:2306.08288''.

== PID框架的应用 ==
PID框架的应用很多，讨论PID框架的应用研究时。个人认为应当仅可能地遵从如下的三个原则：1.尽可能寻找直接用PID框架或变体并不是很大的PID框架，而非仅有逻辑结构和架构设计思路上与PID框架相关的框架去处理问题的研究；2.这类研究在主题的选择熵要尽可能地和集智斑图、集智学园中较为热点的读书会、课程主题产生交集——比如尽量选择PID框架在复杂系统(因果涌现)中的应用、PID框架在人工智能中的应用、PID框架在计算神经科学中/意识研究的应用（可选）——各举一个较为代表性的例子即可 3.要尽可能选择相对成熟、已经有一定影响程度，已经在学术界成为一定程度共识，被可靠的信源引用的研究。

（分解为PID框架的直接应用与变体应用）

PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域、意识研究领域中的应用。

=== PID在复杂系统科学领域的应用 ===
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246（这个重点写，因为涉及到PID与因果涌现）

=== PID框架在人工智能领域中的应用 ===
Tax, T.M.S.; Mediano, P.A.M.; Shanahan, M. The Partial Information Decomposition of Generative Neural Network Models. ''Entropy'' 2017, ''19'', 474. https://doi.org/10.3390/e19090474（可选<nowiki/>）

Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）

=== PID框架在意识研究中的应用 ===
Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>

=== PhiID框架在基因网络中的应用 ===
Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. ''Communications Biology'', ''8''(1), 1027.

=== 应用 ===
协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现

== 讨论 ==

部分信息分解

2025-10-18T03:06:35Z

吕奥博：/* 信息熵 */

== 历史 ==
从2012年Williams 和 Beer的文章开始梳理即可。

== 相关概念 ==

=== 信息熵 ===
单变量信息熵

多变量信息熵，引出互信息

=== 互信息 ===
此处包括两变量

以及多变量的多种互信息变体，比如

total corrolation，

interaction information/co-information/intersection information

并探讨这些多变量版本的不足（PID的motivation，摘要里写的）

== 部分信息分解框架 ==

=== 两源变量框架 ===
[[文件:示意图.png|无框|800x800像素]]

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

[[文件:示意图2.png|无|缩略图|800x800像素]]对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。

=== 冗余晶格 ===
之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：

[[文件:参考图3.png|无框|1035x1035像素]]

之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

有了结构和偏序关系，我们需要对函数进行约束。此时我们说一下自由度的问题（只多了一个自由度），所以只需要一个新定义，这篇文章选了最底下的格子——冗余信息。

=== 信息原子计算 ===

==== 冗余信息公理 ====
单调性（非负性为引理），对称性，self-identity，可参考：

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

==== 其余信息原子计算 ====
此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章

== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：

'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义：

每个小节内除了定义，例子

以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.

最后一小节可以放一个对照表

[[文件:Image11.png|无框|726x726像素]]

比如

== 延伸与应用 ==

=== 相关框架 ===

==== 部分熵分解 ====
Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. ''Proceedings of the National Academy of Sciences'', ''120''(30), e2300888120.

==== 整合信息分解 ====
Mediano, P. A., Rosas, F. E., Luppi, A. I., Carhart-Harris, R. L., Bor, D., Seth, A. K., & Barrett, A. B. (2021). Towards an extended taxonomy of information dynamics via integrated information decomposition. ''arXiv preprint arXiv:2109.13186''.

==== 系统信息分解 ====
Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System information decomposition. ''arXiv preprint arXiv:2306.08288''.

=== 应用 ===
协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现

== 讨论 ==

文件:Image11.png

2025-10-18T03:02:40Z

吕奥博：

。

部分信息分解

2025-08-14T02:13:19Z

吕奥博：/

== 历史 ==
从2012年Williams 和 Beer的文章开始梳理即可。

== 相关概念 ==

=== 信息熵 ===

=== 互信息 ===
此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）

== 部分信息分解框架 ==

=== 两源变量框架 ===
[[文件:示意图.png|无框|800x800像素]]

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

[[文件:示意图2.png|无|缩略图|800x800像素]]

=== 冗余晶格 ===
之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：

[[文件:参考图3.png|无框|1035x1035像素]]

之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

=== 信息原子计算 ===

==== 冗余信息公理 ====
单调性（非负性为引理），对称性，self-identity，可参考：

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

==== 其余信息原子计算 ====
此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章

== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：

'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。

以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.

== 延伸与应用 ==

=== 相关框架 ===

==== 部分熵分解 ====

=== 应用 ===
协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

== 讨论 ==

部分信息分解

2025-08-09T21:11:25Z

吕奥博：/* 信息原子计算 */

== 历史 ==
从2012年Williams 和 Beer的文章开始梳理即可。

== 相关概念 ==

=== 信息熵 ===

=== 互信息 ===
此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）

== 部分信息分解框架 ==

=== 两源变量框架 ===
[[文件:示意图.png|无框|800x800像素]]

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

[[文件:示意图2.png|无|缩略图|800x800像素]]

=== 冗余晶格 ===
之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：

[[文件:参考图3.png|无框|1035x1035像素]]

之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

=== 信息原子计算 ===

==== 冗余信息公理 ====
单调性（非负性为引理），对称性，self-identity，可参考：

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

==== 其余信息原子计算 ====
此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章

== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：

'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。

以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.

== 延伸与应用 ==

=== 相关框架 ===

==== 部分熵分解 ====

==== 整合信息分解 ====

=== 应用 ===
协同信息披露，

多元因果分析，

是否要介绍部分熵分解的应用？

== 讨论 ==

部分信息分解

2025-08-03T15:38:37Z

吕奥博：。

== 历史 ==
从2012年Williams 和 Beer的文章开始梳理即可。

== 相关概念 ==

=== 信息熵 ===

=== 互信息 ===
此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）

== 部分信息分解框架 ==

=== 两源变量框架 ===
[[文件:示意图.png|无框|800x800像素]]

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

[[文件:示意图2.png|无|缩略图|800x800像素]]

=== 冗余晶格 ===
之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：

[[文件:参考图3.png|无框|1035x1035像素]]

之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

=== 信息原子计算 ===
此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：

'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。

以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.

== 应用 ==
协同信息披露，多元因果分析，是否要介绍部分熵分解的应用？

== 讨论 ==

部分信息分解

2025-08-03T00:00:37Z

吕奥博：。

== 历史 ==
从2012年Williams 和 Beer的文章开始梳理即可。

== 相关概念 ==

=== 信息熵 ===

=== 互信息 ===
此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）

== 部分信息分解框架 ==

=== 两源变量框架 ===
[[文件:示意图.png|无框|800x800像素]]

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

[[文件:示意图2.png|无|缩略图|800x800像素]]

=== 冗余晶格 ===
之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：

[[文件:参考图3.png|无框|1035x1035像素]]

之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

=== 信息原子计算 ===
此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：

'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。

以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.

== 讨论 ==

部分信息分解

2025-08-02T23:58:48Z

吕奥博：。

== 历史 ==
从2012年Williams 和 Beer的文章开始梳理即可。

== 相关概念 ==

=== 信息熵 ===

=== 互信息 ===
此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）

== 部分信息分解框架 ==

=== 两源变量框架 ===
[[文件:示意图.png|无框|800x800像素]]
此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：
[[文件:示意图2.png|无|缩略图|800x800像素]]

=== 冗余晶格 ===
之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：
[[文件:参考图3.png|无框|1035x1035像素]]
之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

=== 信息原子计算 ===
此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

== 冗余信息计算方法 ==
此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并在最后提供几个对比表，包括性质以及定量

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.

== 讨论 ==

文件:参考图3.png

2025-08-02T23:54:22Z

吕奥博：

。

文件:示意图2.png

2025-08-02T23:51:57Z

吕奥博：

文件:示意图.png

2025-08-02T23:48:54Z

吕奥博：

。

文件:大致内容.png

2025-07-29T17:07:42Z

吕奥博：

。

文件:2 sources PID.png

2025-07-29T16:57:50Z

吕奥博：

示例

部分信息分解

2025-07-29T16:32:33Z

吕奥博：大纲

部分信息分解

== 历史 ==

== 相关概念 ==

=== 信息熵 ===

=== 互信息 ===

== 部分信息分解框架 ==

=== 两源变量框架 ===

=== 冗余晶格 ===

=== 信息原子计算 ===

== 冗余信息计算方法 ==