部分信息分解 - 版本历史

王亦理：/* 两源变量PID框架与部分信息原子 */

2026-10-29T10:32:49Z

两源变量PID框架与部分信息原子

王亦理：/* PED 与 PID 的关系 */

2026-10-29T10:14:16Z

PED 与 PID 的关系

王亦理：/* 部分熵分解 */

2026-10-29T10:13:05Z

部分熵分解

王亦理：/* 相关框架 */

2026-10-29T10:03:07Z

王亦理：/* 两源变量PID框架与部分信息原子 */

2026-10-29T09:26:42Z

两源变量PID框架与部分信息原子

王亦理：/* 冗余信息的公理与具体度量I_{\min}的性质 */

2026-10-29T02:43:02Z

冗余信息的公理与具体度量I_{\min}的性质

王亦理：/* [math]\displaystyle{ I_{\min} }[/math] 的特殊性质 */

2026-10-29T02:13:31Z

[math]\displaystyle{ I_{\min} }[/math] 的特殊性质

王亦理：/* I_{\min} 的特殊性质 */

2026-10-22T10:42:35Z

I_{\min} 的特殊性质

王亦理：/* 冗余信息的公理 */

2026-10-22T10:39:40Z

冗余信息的公理

王亦理：/* 冗余信息的公理与具体度量I_{\min}性质 */

2026-10-22T10:28:16Z

冗余信息的公理与具体度量I_{\min}性质

@@ 第351行： / 第351行： @@
 '''[[特有]]信息（Un）'''：仅由源变量<math>S_1,S_2</math>中的一个向目标<math>T</math>提供，而另一个源变量单独无法提供的信息。其中，<math>\mathrm{Un}(S_1 \rightarrow T \mid S_2)</math>表示<math>S_1</math>关于<math>T</math>所提供的、已排除与<math>S_2</math>重复部分后的特有信息；<math>\mathrm{Un}(S_2 \rightarrow T \mid S_1)</math>同理。
-<math>\mathrm{Un}(S_1 \rightarrow T \mid S_2),\quad \mathrm{Un}(S_2 \rightarrow T \mid S_1)</math>
+'''[[冗余]]信息（Red）'''：<math>S_1,S_2</math>均可向<math>T</math>提供的重复信息，记为<math>\mathrm{Red}(S_1,S_2\rightarrow T)</math>
-'''[[冗余]]信息（Red）'''：<math>S_1,S_2</math>均可向<math>T</math>提供的重复信息。
+'''[[协同]]信息（Syn）'''：<math>S_1,S_2</math>的组合能够向<math>T</math>提供、但任一源变量单独均无法提供的信息，记为<math>\mathrm{Syn}(S_1,S_2\rightarrow T)</math>
 从而

@@ 第1,006行： / 第1,006行： @@
 二者的关键差异在于：PID 是关于“信息如何指向目标变量”的定向分解；PED 是关于“变量集合整体不确定性如何组织”的无向分解。因而，PED 中的冗余熵、单变量熵和协同熵原子，不能在一般情况下直接等同于 PID 中的冗余、特有和协同信息原子。
-不过，PED 能够揭示 PID 所依赖的一些基本结构。对于两个变量，PED 给出：
+不过，PED 能够揭示 PID 所依赖的一些基本结构。对于两个变量，PED 给出分解式：
 <math>

@@ 第921行： / 第921行： @@
 === [[部分熵分解]] ===
-[[部分熵分解]]（Partial Entropy Decomposition，PED）是受 [[部分信息分解]]（PID）启发的信息论框架。与 PID 分解“信源变量组关于目标变量的互信息”不同，PED 直接分解一组随机变量的[[联合熵]]，因此无需预先指定哪些变量是信源、哪些变量是目标。
+[[部分熵分解]]（Partial Entropy Decomposition，PED）是一类借鉴[[部分信息分解]]（PID）数学结构的信息分解方法。
-PED 的基本思想是:若能够定义满足相应要求的冗余熵函数，则可在由变量子集构成的冗余熵晶格上，通过 Möbius 反演得到部分熵原子。<ref>[https://arxiv.org/abs/1702.01591 Ince, R. A. A. (2017). “The Partial Entropy Decomposition: Decomposing Multivariate Entropy and Mutual Information via Pointwise Common Surprisal.”]</ref>
+PED 继承了 PID 的基本思路：先选定一个可局部化的冗余熵函数，再在由变量子集构成的冗余熵晶格上通过 Möbius 反演定义部分熵原子。PED 的原子描述的是变量集合中不同方式的熵共享结构，而非某些信源向特定目标提供的信息。
-在两个变量 <math>X_1,X_2</math> 的情形下，联合熵可分解为四个部分熵原子：
+对于两个变量 <math>X_1,X_2</math>，其联合熵可写为：
 <math>
@@ 第937行： / 第937行： @@
 </math>
-上标 <math>12</math> 表示该原子在变量集合 <math>\{X_1,X_2\}</math> 的整体语境下定义。其中：
+其中，上标 <math>12</math> 表示原子在完整变量集合 <math>\{X_1,X_2\}</math> 的语境下定义：
-* <math>H_{\partial}^{12}(\{1\}\{2\})</math> 表示可由观察 <math>X_1</math> 或 <math>X_2</math> 任一变量获得的冗余熵；
+* <math>H_{\partial}^{12}(\{1\}\{2\})</math> 是可由 <math>X_1</math> 或 <math>X_2</math> 任一变量获得的冗余熵；
-* <math>H_{\partial}^{12}(\{1\})</math> 与 <math>H_{\partial}^{12}(\{2\})</math> 分别表示只能由 <math>X_1</math> 或 <math>X_2</math> 单独获得的熵成分；
+* <math>H_{\partial}^{12}(\{1\})</math> 与 <math>H_{\partial}^{12}(\{2\})</math> 分别是只能由 <math>X_1</math> 或 <math>X_2</math> 单独获得的熵成分；
-* <math>H_{\partial}^{12}(\{1,2\})</math> 表示只有联合观察 <math>X_1</math> 与 <math>X_2</math> 才能获得的协同熵成分。
+* <math>H_{\partial}^{12}(\{1,2\})</math> 是只有联合观察 <math>X_1</math> 与 <math>X_2</math> 才能获得的协同熵成分。
-相应地，两个边缘熵可写为：
+相应的边缘熵为：
 <math>
@@ 第953行： / 第953行： @@
 </math>
-将上述分解代入互信息 <math>I(X_1;X_2)=H(X_1)+H(X_2)-H(X_1,X_2)</math>，可得：
+因此，二元互信息可重写为：
 <math>
@@ 第963行： / 第963行： @@
 </math>
-因此，通过PED框架分解二元互信息，可以发现，二元互信息并不只对应“两个变量共享的冗余信息”，而是等于冗余熵与协同熵之差。联合状态中只能通过同时观察 <math>X_1</math> 和 <math>X_2</math> 才能获得的熵成分，会以负号出现在二元互信息中。
+这表明，互信息并不只是两个变量共享的冗余熵；它同时受到只能从联合状态中获得的协同熵影响。PED 因而揭示了 PID 中冗余与协同概念和传统互信息之间的联系。
-==== 三变量系统中的二元互信息 ====
+当系统包含三个变量 <math>X_1,X_2,X_3</math> 时，二元互信息 <math>I(X_1;X_2)</math> 可进一步展开为：
 <math>
@@ 第982行： / 第980行： @@
 </math>
-其中，上标 <math>123</math> 表示这些原子是在完整三变量系统 <math>\{X_1,X_2,X_3\}</math> 的语境下定义的。
+其中，<math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 是三个变量共同拥有的冗余熵，它会正向贡献于 <math>I(X_1;X_2)</math>；而包含 <math>\{1,2\}</math> 联合状态的负号项，则反映需要联合观察变量才能获得的高阶熵结构。
-这一展开式说明，<math>I(X_1;X_2)</math> 并不只描述 <math>X_1</math> 与 <math>X_2</math> 之间独有的依赖：
+二者的关键差异在于：PID 是关于“信息如何指向目标变量”的定向分解；PED 是关于“变量集合整体不确定性如何组织”的无向分解。因而，PED 中的冗余熵、单变量熵和协同熵原子，不能在一般情况下直接等同于 PID 中的冗余、特有和协同信息原子。
-* <math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 是三个变量共同拥有的冗余熵，它会正向贡献于任意一对变量的互信息；
+不过，PED 能够揭示 PID 所依赖的一些基本结构。对于两个变量，PED 给出：
-因此，二元互信息是一个正确的两变量依赖度量，但未必能被解释为“仅属于这两个变量”的依赖。它可能受到第三个变量参与的高阶冗余影响，也可能被涉及联合状态的协同熵所减弱。
+<math>
-若分别计算并加总 <math>I(X_1;X_2)</math>、<math>I(X_1;X_3)</math> 和 <math>I(X_2;X_3)</math>，三变量共同冗余项 <math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 将在三个边中各出现一次，从而被重复计入。PED 的作用正是在于揭示这种高阶冗余与协同结构，使研究者能够更谨慎地解释由多个二元互信息构成的网络或系统依赖图。
+说明互信息可理解为冗余熵与协同熵之差。这与 PID 中“冗余和协同是不同信息结构”的思想一致，但 PED 不会回答“这些信息是由哪些信源提供给哪个目标”的问题。
 === [[广义信息分解]] ===

@@ 第344行： / 第344行： @@
 [[PID框架]]要分解的是<math>\mathbf{S}</math>对<math>T</math>的互信息<math>I(\mathbf{S};T)</math>.
-如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的互信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
+如图3中的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的互信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
 [[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中|图3:以韦恩图展示的两源变量情形下的部分信息分解框架的分解对象，分解构成。|缩略图|440x440像素]]
-部分信息原子包括如下三个部分:
+部分信息原子包括如下三个部分：
-'''[[特有]]信息(Un)'''：仅源变量<math>S_1,S_2</math>中的一个自身可以向<math>T</math>目标提供,而另一个无法提供的信息。
+'''[[特有]]信息（Un）'''：仅由源变量<math>S_1,S_2</math>中的一个向目标<math>T</math>提供，而另一个源变量单独无法提供的信息。其中，<math>\mathrm{Un}(S_1 \rightarrow T \mid S_2)</math>表示<math>S_1</math>关于<math>T</math>所提供的、已排除与<math>S_2</math>重复部分后的特有信息；<math>\mathrm{Un}(S_2 \rightarrow T \mid S_1)</math>同理。
-<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
+<math>\mathrm{Un}(S_1 \rightarrow T \mid S_2),\quad \mathrm{Un}(S_2 \rightarrow T \mid S_1)</math>
-'''[[冗余]]信息(Red)'''：<math>R_1,R_2</math>均可提供的重复信息（冗余信息）
+'''[[冗余]]信息（Red）'''：<math>S_1,S_2</math>均可向<math>T</math>提供的重复信息。
-<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>
+<math>\mathrm{Red}(S_1,S_2\rightarrow T)</math>
-'''[[协同]]信息(Syn)'''：<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息
+'''[[协同]]信息（Syn）'''：<math>S_1,S_2</math>的组合能够向<math>T</math>提供、但任一源变量单独均无法提供的信息。
-<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
+<math>\mathrm{Syn}(S_1,S_2\rightarrow T)</math>
 从而

@@ 第221行： / 第221行： @@
 '''对称性'''：
 冗余信息不依赖于信源的排列顺序。对任意置换 <math>\sigma</math>，有：
@@ 第228行： / 第227行： @@
 '''自冗余性'''：
 当只包含一个信源时，冗余信息等于该信源与目标变量的互信息：
 <math>I_{\cap}(T;\{S\})=I(T;S).</math>
@@ 第234行： / 第232行： @@
 '''单调性'''：
 加入额外信源不会增加所有信源共同提供的信息：
 <math>I_{\cap}(T;\{S_1,\ldots,S_{k-1},S_k\})\leq I_{\cap}(T;\{S_1,\ldots,S_{k-1}\}).</math>
@@ 第243行： / 第240行： @@
 '''上界性'''
 由对称性、单调性和自冗余性可得，对任一信源 <math>S_i</math> 都有：
@@ 第263行： / 第259行： @@
 '''反链格上的单调关系'''
 在冗余晶格中，若 <math>\alpha\preccurlyeq\beta</math>，则：
@@ 第274行： / 第269行： @@
 '''子集关系下的退化'''
 若一个源 <math>A</math> 包含于另一源 <math>B</math>，即 <math>A\subseteq B</math>，则 <math>A</math> 提供的所有信息均可由 <math>B</math> 获得。根据单调性公理中的等号条件，有：
@@ 第333行： / 第327行： @@
 这说明 <math>I_{\min}</math> 在所有信源逐结果提供相同信息时达到其上界；
-而单信源情形
+而单信源情形中
 <math>
-I_{\min}(T;\{S\})=I(T;S)
+I_{\min}(T;\{S\})=I(T;S)</math>则是自冗余性公理在 <math>I_{\min}</math> 中的具体实现。
 === 两源变量[[PID框架]]与部分信息原子 ===

@@ 第219行： / 第219行： @@
 设 <math>I_{\cap}(T;\{S_1,\ldots,S_k\})</math> 表示关于目标变量 <math>T</math> 的一般冗余度量，则定义冗余信息时应满足以下三条公理。
- '''对称性'''：冗余信息不依赖于信源的排列顺序。对任意置换 <math>\sigma</math>，有：
 <math>I_{\cap}(T;\{S_1,\ldots,S_k\})=I_{\cap}(T;\{S_{\sigma(1)},\ldots,S_{\sigma(k)}\}).</math>
- '''单调性'''：加入额外信源不会增加所有信源共同提供的信息：
+'''自冗余性'''：
- <math>I_{\cap}(T;\{S_1,\ldots,S_{k-1},S_k\})\leq I_{\cap}(T;\{S_1,\ldots,S_{k-1}\}).</math>
- 若新加入的源 <math>S_k</math> 包含已有源之一，则加入该源不改变冗余量。
+当只包含一个信源时，冗余信息等于该信源与目标变量的互信息：
 上述三条是对一般冗余度量 <math>I_{\cap}</math> 的公理性要求；下列结论则可由这些公理推出
 '''上界性'''
@@ 第249行： / 第260行： @@
 也就是说，冗余信息不超过任何一个单独信源提供的目标信息。
 '''反链格上的单调关系'''
@@ 第259行： / 第271行： @@
 这一关系是“加入信源不会增加共同信息”的单调性公理在冗余晶格偏序上的表达，并非独立于单调性的第四条公理。需要注意的是，晶格中“更高”的节点表示不同的源集合关系，不应简单解释为“包含更多信息”。
 '''子集关系下的退化'''
@@ 第308行： / 第321行： @@
 </math>
-此时：
+此时，对所有i均成立：
 <math>
@@ 第315行： / 第328行： @@
 I(T;S_i)
 \quad
-\text{对所有 }i\text{ 成立}.
 </math>
@@ 第323行： / 第336行： @@
 <math>
 I_{\min}(T;\{S\})=I(T;S)
-</math>
+</math>则是自冗余性公理在 <math>I_{\min}</math> 中的具体实现。
 === 两源变量[[PID框架]]与部分信息原子 ===

@@ 第275行： / 第275行： @@
 ==== <math>I_{\min}</math> 的特殊性质 ====
 Williams 和 Beer 提出的具体冗余度量为：
@@ 第319行： / 第318行： @@
 </math>
-这说明 <math>I_{\min}</math> 在所有信源逐结果提供相同信息时达到其上界；而单信源情形
+这说明 <math>I_{\min}</math> 在所有信源逐结果提供相同信息时达到其上界；
 <math>
 I_{\min}(T;\{S\})=I(T;S)

@@ 第214行： / 第214行： @@
 注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节开头。
-===冗余信息的公理与具体度量<math>I_{\min}</math>性质===
+===冗余信息的公理与具体度量<math>I_{\min}</math>的性质===
 在引入了上面关于冗余的定义后，Williams 和 Beer<ref name="Paul" /> 给出了冗余信息度量的一般公理与其所提出的具体度量 <math>I_{\min}</math> 的性质。
 ==== 冗余信息的公理 ====