216
个编辑
更改
跳到导航
跳到搜索
第921行：
第921行： − + − + − 在两个变量 <math>X_1,X_2</math> 的情形下，联合熵可分解为四个部分熵原子：+ 第937行：
第937行： − 上标 <math>12</math> 表示该原子在变量集合 <math>\{X_1,X_2\}</math> 的整体语境下定义。其中：+ − + − + − + − 相应地，两个边缘熵可写为：+ 第953行：
第953行： − 将上述分解代入互信息 <math>I(X_1;X_2)=H(X_1)+H(X_2)-H(X_1,X_2)</math>，可得：+ 第963行：
第963行： − 因此，通过PED框架分解二元互信息，可以发现，二元互信息并不只对应“两个变量共享的冗余信息”，而是等于冗余熵与协同熵之差。联合状态中只能通过同时观察 <math>X_1</math> 和 <math>X_2</math> 才能获得的熵成分，会以负号出现在二元互信息中。+ − ==== 三变量系统中的二元互信息 ====+ − − 当系统包含 <math>X_1,X_2,X_3</math> 三个变量时，二元互信息 <math>I(X_1;X_2)</math> 可进一步写为： 第982行：
第980行： − 其中，上标 <math>123</math> 表示这些原子是在完整三变量系统 <math>\{X_1,X_2,X_3\}</math> 的语境下定义的。+ + + + + + + + + + + + + + + + + + + + + + + − 这一展开式说明，<math>I(X_1;X_2)</math> 并不只描述 <math>X_1</math> 与 <math>X_2</math> 之间独有的依赖：+ − * <math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 是三个变量共同拥有的冗余熵，它会正向贡献于任意一对变量的互信息；+ − * <math>H_{\partial}^{123}(\{1\}\{2\})</math> 是仅由 <math>X_1</math> 与 <math>X_2</math> 共享的冗余熵； − * 其余负号项均涉及 <math>X_1</math> 与 <math>X_2</math> 的联合状态，或同时涉及第三个变量 <math>X_3</math> 的高阶结构。 − 因此，二元互信息是一个正确的两变量依赖度量，但未必能被解释为“仅属于这两个变量”的依赖。它可能受到第三个变量参与的高阶冗余影响，也可能被涉及联合状态的协同熵所减弱。+ + + + + + + − 若分别计算并加总 <math>I(X_1;X_2)</math>、<math>I(X_1;X_3)</math> 和 <math>I(X_2;X_3)</math>，三变量共同冗余项 <math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 将在三个边中各出现一次，从而被重复计入。PED 的作用正是在于揭示这种高阶冗余与协同结构，使研究者能够更谨慎地解释由多个二元互信息构成的网络或系统依赖图。+
→部分熵分解
=== [[部分熵分解]] ===
=== [[部分熵分解]] ===
[[部分熵分解]]（Partial Entropy Decomposition，PED）是受 [[部分信息分解]]（PID）启发的信息论框架。与 PID 分解“信源变量组关于目标变量的互信息”不同，PED 直接分解一组随机变量的[[联合熵]]，因此无需预先指定哪些变量是信源、哪些变量是目标。
[[部分熵分解]]（Partial Entropy Decomposition，PED）是一类借鉴[[部分信息分解]]（PID）数学结构的信息分解方法。
PED 的基本思想是:若能够定义满足相应要求的冗余熵函数，则可在由变量子集构成的冗余熵晶格上，通过 Möbius 反演得到部分熵原子。<ref>[https://arxiv.org/abs/1702.01591 Ince, R. A. A. (2017). “The Partial Entropy Decomposition: Decomposing Multivariate Entropy and Mutual Information via Pointwise Common Surprisal.”]</ref>
PED 继承了 PID 的基本思路：先选定一个可局部化的冗余熵函数，再在由变量子集构成的冗余熵晶格上通过 Möbius 反演定义部分熵原子。PED 的原子描述的是变量集合中不同方式的熵共享结构，而非某些信源向特定目标提供的信息。
对于两个变量 <math>X_1,X_2</math>，其联合熵可写为：
<math>
<math>
</math>
</math>
其中，上标 <math>12</math> 表示原子在完整变量集合 <math>\{X_1,X_2\}</math> 的语境下定义：
* <math>H_{\partial}^{12}(\{1\}\{2\})</math> 表示可由观察 <math>X_1</math> 或 <math>X_2</math> 任一变量获得的冗余熵；
* <math>H_{\partial}^{12}(\{1\}\{2\})</math> 是可由 <math>X_1</math> 或 <math>X_2</math> 任一变量获得的冗余熵；
* <math>H_{\partial}^{12}(\{1\})</math> 与 <math>H_{\partial}^{12}(\{2\})</math> 分别表示只能由 <math>X_1</math> 或 <math>X_2</math> 单独获得的熵成分；
* <math>H_{\partial}^{12}(\{1\})</math> 与 <math>H_{\partial}^{12}(\{2\})</math> 分别是只能由 <math>X_1</math> 或 <math>X_2</math> 单独获得的熵成分；
* <math>H_{\partial}^{12}(\{1,2\})</math> 表示只有联合观察 <math>X_1</math> 与 <math>X_2</math> 才能获得的协同熵成分。
* <math>H_{\partial}^{12}(\{1,2\})</math> 是只有联合观察 <math>X_1</math> 与 <math>X_2</math> 才能获得的协同熵成分。
相应的边缘熵为：
<math>
<math>
</math>
</math>
因此，二元互信息可重写为：
<math>
<math>
</math>
</math>
这表明，互信息并不只是两个变量共享的冗余熵；它同时受到只能从联合状态中获得的协同熵影响。PED 因而揭示了 PID 中冗余与协同概念和传统互信息之间的联系。
当系统包含三个变量 <math>X_1,X_2,X_3</math> 时，二元互信息 <math>I(X_1;X_2)</math> 可进一步展开为：
<math>
<math>
</math>
</math>
其中，<math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 是三个变量共同拥有的冗余熵，它会正向贡献于 <math>I(X_1;X_2)</math>；而包含 <math>\{1,2\}</math> 联合状态的负号项，则反映需要联合观察变量才能获得的高阶熵结构。
因此，<math>I(X_1;X_2)</math> 虽然是正确的两变量依赖度量，却未必只反映 <math>X_1</math> 与 <math>X_2</math> 独有的关系：其数值还可能受到第三个变量参与的高阶冗余或协同结构影响。若将三个两两互信息相加，三变量共同冗余项会在每一条边中各出现一次，因而被重复计入。PED 的价值在于将这些高阶结构显式区分出来，从而帮助研究者更谨慎地解释两两互信息网络。
==== PED 与 PID 的关系 ====
PED 与 PID 共享“冗余函数—晶格—Möbius 反演—原子分解”的数学结构，但二者回答的问题不同。
PID 需要预先区分信源与目标，并分解信源组关于目标变量的互信息：
<math>
I(S_1,\ldots,S_n;T).
</math>
因此，PID 原子描述的是不同信源以冗余、特有或协同方式提供关于目标变量 <math>T</math> 的信息。
PED 则不指定目标变量，而是分解变量组的联合熵：
<math>
H(X_1,\ldots,X_n).
</math>
PED 原子描述的是变量组内部熵结构的不同共享方式，包括可由单个变量获得的熵、由多个变量重复获得的熵，以及只有联合观察变量时才能获得的熵。
二者的关键差异在于：PID 是关于“信息如何指向目标变量”的定向分解；PED 是关于“变量集合整体不确定性如何组织”的无向分解。因而，PED 中的冗余熵、单变量熵和协同熵原子，不能在一般情况下直接等同于 PID 中的冗余、特有和协同信息原子。
不过，PED 能够揭示 PID 所依赖的一些基本结构。对于两个变量，PED 给出：
<math>
I(X_1;X_2)
=
H_{\partial}^{12}(\{1\}\{2\})
-
H_{\partial}^{12}(\{1,2\}),
</math>
说明互信息可理解为冗余熵与协同熵之差。这与 PID 中“冗余和协同是不同信息结构”的思想一致，但 PED 不会回答“这些信息是由哪些信源提供给哪个目标”的问题。
=== [[广义信息分解]] ===
=== [[广义信息分解]] ===