216
个编辑
更改
→冗余信息的定义
=== [[冗余信息原子|冗余信息]]的定义 ===
=== [[冗余信息原子|冗余信息]]的定义 ===
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个<math>S_i</math>所提供的信息由[[互信息]]<math>I(T;S_i)</math>给出。然而，关键在于互信息实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
令 <math>S_1,S_2,\dots ,S_n</math>为 <math>\mathbf{S}</math>的非空且允许重叠的子集，我们称之为源。每个源<math>S_i</math>所提供的信息由[[互信息]]<math>I(T;S_i)</math>给出。然而，关键在于[[互信息]]实际上是对随机变量的所有可能结果取的平均或期望信息。因此，两个源可能提供相同的平均信息量，同时却关于<math>T</math>的不同结果提供信息。源<math>S</math>所提供的信息可写为
\begin{equation}
\begin{equation}
I(T;S)=\sum_{t}p(t)\,I(T=t;S)
I(T;S)=\sum_{t}p(t)\,I(T=t;S)
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]
\end{equation}
\end{equation}
项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的冗余度量是每个源关于每个结果所提供信息的最小值的期望，即
项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]度量是每个源关于每个结果所提供信息的最小值的期望，即
\begin{equation}
\begin{equation}
I_{\min}(T;\{S_1,S_2,\dots ,S_n\})
I_{\min}(T;\{S_1,S_2,\dots ,S_n\})
=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).
=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).
\end{equation}
\end{equation}
<math>I_{\min}</math>满足了“冗余是所有源共有的信息”这一直觉。同时，特定源的互信息的定义涉及到先对这个源的所有取值求平均再对<math>T</math>的所有结果求平均两个平均过程，而冗余度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同源可能关于<math>T</math>的不同结果提供信息。
<math>I_{\min}</math>满足了“[[冗余]]是所有源共有的信息”这一直觉。同时，特定源的[[互信息]]的定义涉及到先对这个源的所有取值求平均再对<math>T</math>的所有结果求平均两个平均过程，而[[冗余]]度的定义中将取最小值这个过程放在第一次平均之后，第二次平均之前是因为不同[[源]]可能关于<math>T</math>的不同结果提供信息。
注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节第二段。
===冗余函数/交集信息的若干公理化性质===
===冗余函数/交集信息的若干公理化性质===
根据上述定义可以得到如下关于[[冗余]]信息的性质：
非负性：要证明[[冗余]]信息是非负的，只需要证明<math>I(T=t;S)</math>是非负的。我们有<math>I(T=t;S)=D(p(s|t)||p(s))\ge 0
\</math>
\</math>
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
其中 <math>D</math>为 Kullback-Leibler 散度。而显然KL散度是非负的。
对所有 <math>S_i</math>都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有 <math>I(T=t;S_i)=I(T=t;S_j)</math>时等号成立。
对所有 <math>S_i</math>都有 <math>I_{\min}\le I(T;S_i)</math>，且当且仅当对所有 <math>i,j</math>和所有 <math>t\in T</math>都有 <math>I(T=t;S_i)=I(T=t;S_j)</math>时等号成立。
自[[冗余]]性:
根据上界性，我们可知
信息量自然地被每个源所提供的信息量上界约束，且当所有源提供完全相同信息时达到该界。此时对给定源 <math>S</math>，与<math>S</math>[[冗余]]的信息量最大为<math>I_{\min}(T;\{S\})=I(T;S)</math>。换言之，冗余信息在“自冗余”时候有最大值，这类似于[[互信息]]在自信息 <math>I(T;T)=H(T)</math> 最大化的性质。
下面是交集信息具有的性质（Griffith 2014）<ref name="Griffith_intersection_CR" />:
下面是交集信息具有的性质（Griffith 2014）<ref name="Griffith_intersection_CR" />:
强局部非负性：对任意 <math>n</math>，由Williams和beer(2010)<ref name="Paul" />定义的部分信息均非负。
强局部非负性：对任意 <math>n</math>，由Williams和beer(2010)<ref name="Paul" />定义的部分信息均非负。
=== 两源变量PID框架与部分信息原子 ===
=== 两源变量[[PID框架]]与部分信息原子 ===
这里,集智百科先以两源变量的情形向各位读者展示部分信息分解（PID）框架中所涉及的核心概念。
这里,集智百科先以两源变量的情形向各位读者展示部分信息分解（PID）框架中所涉及的核心概念。
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的目标变量,<math>S_1,S_2</math>为信道中的源变量
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的目标变量,<math>S_1,S_2</math>为信道中的源变量
[[PID框架]]要分解的是<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>.
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
部分信息原子包括如下三个部分:
部分信息原子包括如下三个部分:
'''特有信息(Un)''':仅源变量<math>S_1,S_2</math>中的一个自身可以向<math>T</math>目标提供,而另一个无法提供的信息。
'''[[特有]]信息(Un)''':仅源变量<math>S_1,S_2</math>中的一个自身可以向<math>T</math>目标提供,而另一个无法提供的信息。
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
'''冗余信息(Red)''': <math>R_1,R_2</math>均可提供的重复信息（冗余信息）
'''[[冗余]]信息(Red)''': <math>R_1,R_2</math>均可提供的重复信息（冗余信息）
<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>
<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>
'''协同信息(Syn)''':<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息
'''[[协同]]信息(Syn)''':<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
从维恩图中显而易见的还有如下两组等式等式成立：
从维恩图中显而易见的还有如下两组等式等式成立：
1. 某一源向目标变量传递的信息由其特有和冗余构成
1. 某一源向目标变量传递的信息由其[[特有]]和[[冗余]]构成
<math>I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2)</math>
<math>I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2)</math>
<math>I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1)</math>
<math>I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1)</math>
这意味着，我们可以通过[[互信息]]-[[冗余]]去计算特有信息。
2. 某一源向和目标变量组（整体）传递的信息由特有和协同构成
2. 某一源向和目标变量组（整体）传递的信息由[[特有]]和[[协同]]构成
<math>I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2)</math>
<math>I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2)</math>
<math>I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1)</math>
这意味着，在通过'''互信息-冗余'''计算完特有后，我们可以用'''条件互信息-特有'''计算协同。
这意味着，在通过'''[[互信息]]-[[冗余]]'''计算完[[特有]]后，我们可以用'''[[条件互信息]]-[[特有]]'''计算协同。
在此，集智百科将先以两源变量框架为例，展示信息原子的计算过程，为了在后面的例子中进行计算，这里先给出两源变量情形下冗余信息的计算式。依照Paul L. Williams和Randall D. Beer在论文中给出一般定义，容易得到[[冗余]]信息在两源变量框架中的计算式：
在此，集智百科将先以两源变量框架为例，展示信息原子的计算过程，为了在后面的例子中进行计算，这里先给出两源变量情形下冗余信息的计算式。依照Paul L. Williams和Randall D. Beer在论文中给出一般定义，容易得到冗余信息在两源变量框架中的计算式：
<math>
<math>
在给出两源情形下的[[冗余]]信息原子的定义后，集智百科将以经典的异或目标变量情形为例展示PID的计算过程，并同时计算[[总相关性]]与[[McGill交互信息]]，讨论PID框架如何解释[[McGill交互信息]]的负值问题。
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中熵、条件熵、相应的条件互信息，从而获得这组随机变量的总相关性、McGill交互信息。
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。
</math>
</math>
而可进一步计算:计算PID框架下相应的特有<math>\mathrm{Un}(X\rightarrow Z|Y),\mathrm{Un}(Y\rightarrow Z|X)</math>与协同<math>\mathrm{Syn}(X,Y \rightarrow Z)</math>这两种信息原子。
而可进一步计算:计算PID框架下相应的[[特有]]<math>\mathrm{Un}(X\rightarrow Z|Y),\mathrm{Un}(Y\rightarrow Z|X)</math>与[[协同]]<math>\mathrm{Syn}(X,Y \rightarrow Z)</math>这两种[[信息原子]]。
<math>\mathrm{Un}(X\rightarrow Z|Y) = \mathrm{Un}(Y\rightarrow Z|X) = -\mathrm{Red}(X,Y \rightarrow Z) =0</math>
<math>\mathrm{Un}(X\rightarrow Z|Y) = \mathrm{Un}(Y\rightarrow Z|X) = -\mathrm{Red}(X,Y \rightarrow Z) =0</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
容易验证，此时，该三变量系统分解所得的[[冗余-协同]]<math>=0-1 =-1</math>，即是[[McGill交互信息]]的值。
从PID的两源变量框架的算例中可知，若想清楚地分解源变量组与目标变量间的传输信息结构，需要先分析清楚[[冗余]];对于[[冗余]]结构更为复杂的多元变量情形，PID框架的作者发展出了相应的[[冗余晶格]]理论。
=== 冗余晶格 ===
=== [[冗余晶格]] ===
在上面的两源变量的维恩图里我们可以观察到：
<math>I(T;S_{1})=Unq(T;S_{1})+Rdn(T;S_{1},S_{2})</math>
<math>I(T;S_{1})=Unq(T;S_{1})+Rdn(T;S_{1},S_{2})</math>
<math>I(T;S_{1},S_{2})=Unq(T;S_{1})+Rdn(T;S_{1},S_{2})+Unq(T;S_{2})+Syn(T;S_{1},S_{2})</math>
<math>I(T;S_{1},S_{2})=Unq(T;S_{1})+Rdn(T;S_{1},S_{2})+Unq(T;S_{2})+Syn(T;S_{1},S_{2})</math>
由于<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>都是已知的，则我们给定冗余信息，协同信息，特有信息中任何一个的定义都可以唯一确定这个两源变量的系统，这篇文章选了冗余信息。基于下述三大冗余信息公理可以得到冗余信息的定义。
由于<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>都是已知的，则我们给定[[冗余]]信息，[[协同]]信息，[[特有]]信息中任何一个的定义都可以唯一确定这个两源变量的系统，PID框架的原始论文中选了[[冗余]]信息。基于下述三大[[冗余]]信息公理可以得到[[冗余]]信息的定义。
但对于多源变量的情况，其[[协同信息]]，[[特有信息]]，[[冗余信息]]（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用[[冗余晶格]]来重塑系统的结构以产生一个偏序关系使其可以通过[[莫比乌斯反演]]得到类似上一段里的两源变量[[部分信息分解]]的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍[[冗余晶格]]如何产生。
在维恩图中，[[冗余度]]可以视为<math>I（T;S_i)</math>之间的交集。因此通过集合之间的包含关系，我们可以大大简化[[冗余度]]的概念
举例而言，考虑两个源<math>\mathbf{A}</math>与<math>\mathbf{B}</math>，且 <math>\mathbf{A}\subseteq\mathbf{B}</math>。
举例而言，考虑两个源<math>\mathbf{A}</math>与<math>\mathbf{B}</math>，且 <math>\mathbf{A}\subseteq\mathbf{B}</math>。
显然，<math>\mathbf{A}</math> 提供的任何信息也被<math> \mathbf{B}</math>提供，因此 <math>\mathbf{A}</math>与<math>\mathbf{B}</math>之间的冗余退化为<math>\mathbf{A}</math>的自冗余：
显然，<math>\mathbf{A}</math> 提供的任何信息也被<math> \mathbf{B}</math>提供，因此 <math>\mathbf{A}</math>与<math>\mathbf{B}</math>之间的冗余退化为<math>\mathbf{A}</math>的自冗余：
\mathbf{A}\subseteq\mathbf{B}.
\mathbf{A}\subseteq\mathbf{B}.
\end{equation}
\end{equation}
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到冗余晶格（redundancy lattice）(见下图展示了三源变量的冗余晶格结构和其对应的韦恩图)，该偏序给出了不同反链之间的包含关系；冗余函数在该偏序上是单调的，进而可通过莫比乌斯反演定义部分信息原子。
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到[[冗余晶格]]（redundancy lattice）(见下图展示了三源变量的[[冗余晶格]]结构和其对应的韦恩图)，该偏序给出了不同反链之间的包含关系；[[冗余函数]]在该偏序上是单调的，进而可通过[[莫比乌斯反演]]定义[[部分信息原子]]。
[[文件:674776478.png|替代=|居中|600x600像素|三源变量的信息结构，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]
[[文件:674776478.png|替代=|居中|600x600像素|三源变量的信息结构，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]
下面，集智百科将介绍构建三源变量的冗余晶格的思路：
首先图中的节点含义类比两源变量系统可做如下近似理解（注：这些节点可在两源变量系统中直观对应[[特有]]、[[冗余]]、[[协同]]成分，但在三源以上不能简单逐字解释为某一种日常意义上的信息类型）：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的[[协同]]信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的[[冗余]]信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的[[冗余]]信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的[[协同]]信息和变量23的[[协同]]信息间存在的[[冗余]]信息：<math>\{12\}\{23\}</math>。
[[文件:24234234224.png|替代=|居中|771x771像素|三源变量冗余晶格，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]
[[文件:24234234224.png|替代=|居中|771x771像素|三源变量冗余晶格，<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>，<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2}，R_{3}\}\}</math>，以此类推，引自<ref name="Paul" />]]
然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的[[冗余]]信息放在最下层开始，比这个区域多一些信息的区域是两变量间的[[冗余]]信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量[[冗余]]晶格。
这里我们可以发现，这个偏序关系实际上找到了一个基于[[冗余]]的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自[[冗余]]将<math>I(S;R_{1},R_{2})</math>理解为其的自[[冗余]]，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成[[冗余]]晶格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
===其余信息原子计算===
===其余信息原子计算===
[[冗余晶格]]中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余晶格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即[[特有]]，[[冗余]]，[[协同]]三部分）并计算出其具体值，但对多个源变量我们需要使用<math>I_{\min}</math>的一个逆函数，称为[[部分信息函数]]（PI-function）来找到基本信息原子。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式定义：
\begin{equation}
\begin{equation}
I_{\min}(S;\alpha)
I_{\min}(S;\alpha)
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
=\sum_{\beta\preccurlyeq\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
\end{equation}
形式上，<math>\Pi_{\mathbf{R}}</math> 对应于<math>I_{\min}</math>的莫比乌斯反演。由该关系可递归计算<math>\Pi_{\mathbf{R}}</math>：
形式上，<math>\Pi_{\mathbf{R}}</math> 对应于<math>I_{\min}</math>的[[莫比乌斯反演]]。由该关系可递归计算<math>\Pi_{\mathbf{R}}</math>：
\begin{equation}
\begin{equation}
\Pi_{\mathbf{R}}(S;\alpha)
\Pi_{\mathbf{R}}(S;\alpha)
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
-\sum_{\beta\prec\alpha}\Pi_{\mathbf{R}}(S;\beta).
\end{equation}
\end{equation}
换言之，<math>\Pi_{\mathbf{R}}(S;\alpha) </math>量化的是：<math>\alpha</math>中所有源共同提供的冗余信息中，未被任何比 <math>\alpha</math>更低的源集合 <math>\beta</math>所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出：
换言之，<math>\Pi_{\mathbf{R}}(S;\alpha) </math>量化的是：<math>\alpha</math>中所有源共同提供的[[冗余]]信息中，未被任何比 <math>\alpha</math>更低的源集合 <math>\beta</math>所提供的那部分信息。互信息分解为部分信息项之和的关系由下式给出：
\begin{equation}
\begin{equation}
I(S;\mathbf{A})
I(S;\mathbf{A})
\end{equation}
\end{equation}
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：[[冗余]]信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。[[特有]]信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去[[冗余]]部分；对 <math>R_{2}</math>同理。[[协同]]信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即[[协同]]。
===其余信息原子计算实例===
===其余信息原子计算实例===
[[文件:图片3476.png|替代=|居中|600x600像素|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果,引自<ref name="Paul" />]]
[[文件:图片3476.png|替代=|居中|600x600像素|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布，黑色方格表示等概率的结果，白色方格表示零概率的结果,引自<ref name="Paul" />]]
另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：
另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的特有信息；
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的[[特有]]信息；
[[冗余]]信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从3个减少到2个；
[[协同]]信息为 <math>\Pi_{\mathbf{R}}(S;\{12\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math>联合起来可以唯一确定 <math>S=0</math> 是否发生，而单独任意一个都无法做到这一点。
（需要注意的是，与互信息或交互信息不同，[[部分信息分解]]是相对于选定目标变量的分解，因此交换源变量与目标变量一般会得到不同分解，例如，<math>R_1</math> 和 <math>R_2</math> 关于 <math>S</math> 的[[协同]]信息，通常不等于 <math>S</math> 和 <math>R_2</math> 关于 <math>R_1</math> 的[[协同]]信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>S</math> 的值，就可以唯一确定 <math>R_1</math> 和 <math>R_2</math> 的结果，因此不可能存在 <math>S</math> 和 <math>R_2</math> 联合提供关于 <math>R_1</math> 的[[协同]]信息，因为 <math>R_1</math> 的不确定性已经被 <math>S </math>完全消除了。相反，如前所述，<math>R_1</math> 和 <math>R_2</math> 却提供了关于 <math>S</math> 的[[协同]]信息。这种不对称性也解释了为什么[[部分信息分解]]始终聚焦于关于某个特定变量 <math>S</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）
== 冗余信息计算方法 ==
== 冗余信息计算方法 ==
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
===Griffith 基于共同随机变量的交集信息===
===Griffith 基于共同随机变量的交集信息===
Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建冗余晶格的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个源变量 <math>X_1,\dots,X_n</math>的函数:
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，研究者们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个源变量 <math>X_1,\dots,X_n</math>的函数:
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
</math>
</math>
与[[克劳德·香农|香农]][[互信息]]不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为
<math>
<math>
===Lyu–Clark–Raviv 显式两源 PID 公式===
===Lyu–Clark–Raviv 显式两源 PID 公式===
Lyu 等（2024）<ref name="Lyu_do_PID">{{cite journal|author1=Lyu A.|author2=Clark A.|author3=Raviv N.|title=Explicit formula for partial information decomposition|journal=2024 IEEE International Symposium on Information Theory (ISIT)|publisher=IEEE|year=2024|pages=2329–2334|url=https://doi.org/10.1109/ISIT57864.2024.10619369}}</ref>受 Pearl do-calculus 启发引入 do-operation（固定某边际的同时最小化对其他条件分布的扰动），首次给出满足 Williams–Beer公理及后续性质的两源部分信息分解的显式公式，而不是任意多源部分信息分解的完整封闭形式冗余晶格解。为了给出信息原子的定义，我们构造了一个新的分布（以下所有包含<math> S_1' </math>的信息量均在该构造分布下计算），如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，我们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：
Lyu 等（2024）<ref name="Lyu_do_PID">{{cite journal|author1=Lyu A.|author2=Clark A.|author3=Raviv N.|title=Explicit formula for partial information decomposition|journal=2024 IEEE International Symposium on Information Theory (ISIT)|publisher=IEEE|year=2024|pages=2329–2334|url=https://doi.org/10.1109/ISIT57864.2024.10619369}}</ref>受 Pearl do-calculus 启发引入 do-operation（固定某边际的同时最小化对其他条件分布的扰动），首次给出满足 Williams–Beer公理及后续性质的两源[[部分信息分解]]的显式公式，而不是任意多源[[部分信息分解]]的完整封闭形式[[冗余晶格]]解。为了给出信息原子的定义，研究者们构造了一个新的分布（以下所有包含<math> S_1' </math>的信息量均在该构造分布下计算），如下所示。给定一个包含源变量 <math>S_1, S_2 </math> 和目标变量 <math> T </math> 的系统，其相应的字母表分别为 <math> \mathcal{S}_1, \mathcal{S}_2 </math>和 <math>\mathcal{T} </math>，研究者们定义一个新的随机变量<math> S_1' </math> 在<math>\mathcal{S}_1 </math> 上，通过其条件联合分布如下：
<math>
<math>
</math>
</math>
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，研究者们对信息原子的定义如下。
从 <math> S_1 </math>到 <math>T</math>给定<math> S_2</math>的特有信息为
从 <math> S_1 </math>到 <math>T</math>给定<math> S_2</math>的特有信息为
<math>\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).</math>
<math>\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).</math>
基于定义3，研究者们定义了如下的[[冗余]]信息和[[协同]]信息。
从<math> S_1 </math>和 <math>S_2 </math>到 <math>T </math>的冗余信息为
从<math> S_1 </math>和 <math>S_2 </math>到 <math>T </math>的[[冗余]]信息为
<math>\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).</math>
<math>\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).</math>
从 <math> S_1 </math>和<math> S_2 </math>到<math> T </math>的协同信息定义为
从 <math> S_1 </math>和<math> S_2 </math>到<math> T </math>的[[协同]]信息定义为
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>
此外，除了使用[[特有]]信息和公理1来获得[[冗余]]和[[协同]]信息的定义外，我们还可以直接从上式中给出等价形式，如下所示。[[冗余]]信息可以另写为<math> \operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)</math>。[[协同]]信息可以另写为 <math>\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)</math>。
===Kolchinsky 多元 PID 通用框架===
===Kolchinsky 多元 PID 通用框架===
Kolchinsky （2022）<ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>基于 Blackwell 序与集合论交/并类比给出多元 PID 通用框架，实例化后得到具操作意义的 PID 度量。作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为互信息<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：
Kolchinsky （2022）<ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>基于 Blackwell 序与集合论交/并类比给出多元 PID 通用框架，实例化后得到具操作意义的 PID 度量。作者认为只定义[[冗余]]信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为[[互信息]]<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：
<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>
<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>
===Barrett 高斯型PID===
===Barrett 高斯型PID===
Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察协同与冗余信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。下面分两部分介绍，先介绍高斯变量的信息量公式作为背景知识：
Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察[[协同]]与[[冗余]]信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。下面分两部分介绍，先介绍高斯变量的信息量公式作为背景知识：
====高斯变量的信息量公式====
====高斯变量的信息量公式====
设<math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为:
设<math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为: