216
个编辑
更改
→相关框架
=== [[部分熵分解]] ===
=== [[部分熵分解]] ===
[[部分熵分解]]（Partial Entropy Decomposition，PED）是受 [[部分信息分解]]（PID）启发的信息论框架。与 PID 分解“信源变量组关于目标变量的互信息”不同，PED 直接分解一组随机变量的[[联合熵]]，因此无需预先指定哪些变量是信源、哪些变量是目标。
PED 的基本思想是:若能够定义满足相应要求的冗余熵函数，则可在由变量子集构成的冗余熵晶格上，通过 Möbius 反演得到部分熵原子。<ref>[https://arxiv.org/abs/1702.01591 Ince, R. A. A. (2017). “The Partial Entropy Decomposition: Decomposing Multivariate Entropy and Mutual Information via Pointwise Common Surprisal.”]</ref>
<math>H(X_1,X_2) = H_{\partial}(\{{X}_1\},\{{X}_2\}) + H_{\partial}{\{X_1\}} + H_{\partial}(\{X_2\}) + H_{\partial}(\{X_1,X_2\})</math>
在两个变量 <math>X_1,X_2</math> 的情形下，联合熵可分解为四个部分熵原子：
<math>H(X_1) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_1\})</math>
<math>
\begin{aligned}
H(X_1,X_2)
={}&H_{\partial}^{12}(\{1\}\{2\})
+H_{\partial}^{12}(\{1\})\\
&+H_{\partial}^{12}(\{2\})
+H_{\partial}^{12}(\{1,2\}).
\end{aligned}
</math>
上标 <math>12</math> 表示该原子在变量集合 <math>\{X_1,X_2\}</math> 的整体语境下定义。其中：
* <math>H_{\partial}^{12}(\{1\}\{2\})</math> 表示可由观察 <math>X_1</math> 或 <math>X_2</math> 任一变量获得的冗余熵；
* <math>H_{\partial}^{12}(\{1\})</math> 与 <math>H_{\partial}^{12}(\{2\})</math> 分别表示只能由 <math>X_1</math> 或 <math>X_2</math> 单独获得的熵成分；
* <math>H_{\partial}^{12}(\{1,2\})</math> 表示只有联合观察 <math>X_1</math> 与 <math>X_2</math> 才能获得的协同熵成分。
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
相应地，两个边缘熵可写为：
<math>
H(X_1)=H_{\partial}^{12}(\{1\}\{2\})+H_{\partial}^{12}(\{1\}),
</math>
<math>
H(X_2)=H_{\partial}^{12}(\{1\}\{2\})+H_{\partial}^{12}(\{2\}).
</math>
将上述分解代入互信息 <math>I(X_1;X_2)=H(X_1)+H(X_2)-H(X_1,X_2)</math>，可得：
<math>I(X_1;X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
<math>
I(X_1;X_2)
=
H_{\partial}^{12}(\{1\}\{2\})
-
H_{\partial}^{12}(\{1,2\}).
</math>
</math>
因此，通过PED框架分解二元互信息，可以发现，二元互信息并不只对应“两个变量共享的冗余信息”，而是等于冗余熵与协同熵之差。联合状态中只能通过同时观察 <math>X_1</math> 和 <math>X_2</math> 才能获得的熵成分，会以负号出现在二元互信息中。
==== 三变量系统中的二元互信息 ====
当系统包含 <math>X_1,X_2,X_3</math> 三个变量时，二元互信息 <math>I(X_1;X_2)</math> 可进一步写为：
<math>
\begin{aligned}
I(X_1;X_2)
={}&H_{\partial}^{123}(\{1\}\{2\}\{3\})
+H_{\partial}^{123}(\{1\}\{2\})\\
&-H_{\partial}^{123}(\{3\}\{1,2\})\\
&-H_{\partial}^{123}(\{1,2\}\{1,3\}\{2,3\})\\
&-H_{\partial}^{123}(\{1,2\}\{1,3\})\\
&-H_{\partial}^{123}(\{1,2\}\{2,3\})\\
&-H_{\partial}^{123}(\{1,2\}).
\end{aligned}
</math>
<math>I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}\{X_3\})+H_{\partial}(\{X_1\}\{X_2\})</math>
其中，上标 <math>123</math> 表示这些原子是在完整三变量系统 <math>\{X_1,X_2,X_3\}</math> 的语境下定义的。
<math>-H_{\partial}(\{X_3\}\{X_1,X_2\})-H_{\partial}(\{X_1,X_2\}\{X_1,X_3\}\{X_2,X_3\})</math>
这一展开式说明，<math>I(X_1;X_2)</math> 并不只描述 <math>X_1</math> 与 <math>X_2</math> 之间独有的依赖：
<math>-H_{\partial}(\{X_1,X_2\})</math>
* <math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 是三个变量共同拥有的冗余熵，它会正向贡献于任意一对变量的互信息；
* <math>H_{\partial}^{123}(\{1\}\{2\})</math> 是仅由 <math>X_1</math> 与 <math>X_2</math> 共享的冗余熵；
* 其余负号项均涉及 <math>X_1</math> 与 <math>X_2</math> 的联合状态，或同时涉及第三个变量 <math>X_3</math> 的高阶结构。
因此，二元互信息是一个正确的两变量依赖度量，但未必能被解释为“仅属于这两个变量”的依赖。它可能受到第三个变量参与的高阶冗余影响，也可能被涉及联合状态的协同熵所减弱。
若分别计算并加总 <math>I(X_1;X_2)</math>、<math>I(X_1;X_3)</math> 和 <math>I(X_2;X_3)</math>，三变量共同冗余项 <math>H_{\partial}^{123}(\{1\}\{2\}\{3\})</math> 将在三个边中各出现一次，从而被重复计入。PED 的作用正是在于揭示这种高阶冗余与协同结构，使研究者能够更谨慎地解释由多个二元互信息构成的网络或系统依赖图。
=== [[广义信息分解]] ===
=== [[广义信息分解]] ===
[[广义信息分解]]（Generalized Information Decomposition，GID）是基于[[Kullback-Leibler 散度]]的信息分解框架。它放宽了标准 [[部分信息分解]]（PID）中“信源—目标”的预先划分：GID 可直接比较定义在同一变量组上的任意两个概率分布，并将二者之间的信息差异分解为不同的部分结构。
<math>[D_{KL}(P||Q)=\mathbb{E}_{P(X)}[h^{Q}(x)−h^{P}(x)]</math>
设 <math>\mathbf{X}=(X_1,\ldots,X_n)</math> 为随机变量组，<math>P(\mathbf{x})</math> 和 <math>Q(\mathbf{x})</math> 分别表示两个概率分布。若将 <math>Q</math> 视为先验分布、<math>P</math> 视为后验分布，则二者之间的信息增益由 KL 散度表示：
<math>
D_{\mathrm{KL}}(P\parallel Q)
=
\sum_{\mathbf{x}}P(\mathbf{x})
\log\frac{P(\mathbf{x})}{Q(\mathbf{x})}.
</math>
记相对于分布 <math>P</math> 的局部熵为 <math>h^{P}(\mathbf{x})=-\log P(\mathbf{x})</math>，则 KL 散度可写为两种局部熵之差在 <math>P</math> 下的期望：
<math>
D_{\mathrm{KL}}(P\parallel Q)
=
\mathbb{E}_{P(\mathbf{X})}
\left[
h^{Q}(\mathbf{x})-h^{P}(\mathbf{x})
\right].
</math>
若采用可局部化的[[部分熵分解]]（PED），局部熵可进一步分解为部分熵原子 <math>h_{\partial}^{P}(\alpha)</math>。对于每个原子 <math>\alpha\in\mathfrak{A}</math>，可定义相应的部分 KL 散度：
<math>
D_{\partial}^{P\parallel Q}(\alpha)
=
\mathbb{E}_{P(\mathbf{X})}
\left[
h_{\partial}^{Q}(\alpha)
-
h_{\partial}^{P}(\alpha)
\right].
</math>
于是，总 KL 散度可分解为所有部分 KL 散度之和：
<math>
D_{\mathrm{KL}}(P\parallel Q)
=
\sum_{\alpha\in\mathfrak{A}}
D_{\partial}^{P\parallel Q}(\alpha).
</math>
GID 原子本身不一定非负。某个原子为负，表示从 <math>Q</math> 更新为 <math>P</math> 后，该原子对应的局部结构在平均意义上变得更令人意外；但所有原子之和仍为非负的 KL 散度。为使这一解释成立，所选局部部分熵原子通常应具有明确的非负性解释。
==== GID 与 PID 的关系 ====
GID 建立在局部 PED 之上：PED 将单个分布的联合熵分解为部分熵原子；GID 则比较两个分布中对应原子的差异，并由此分解从一个分布更新到另一个分布所获得的信息。
当指定 <math>T</math> 为目标变量、<math>\mathbf{S}=(S_1,\ldots,S_n)</math> 为信源变量组时，互信息可写为：
<math>
I(\mathbf{S};T)
=
\sum_t P(t)\,
D_{\mathrm{KL}}
\left(
P(\mathbf{S}\mid t)
\parallel
P(\mathbf{S})
\right).
</math>
也就是说，对每个目标取值 <math>t</math>，可将 <math>P(\mathbf{S})</math> 视为观察 <math>T=t</math> 前关于信源的先验分布，将 <math>P(\mathbf{S}\mid t)</math> 视为观察后的后验分布；再对相应的 KL 散度进行 GID，并按照 <math>P(t)</math> 求期望。
<math>D_{KL}^{P||Q}(\mathbf{\alpha}) = \mathbb{E}_{P(X)}[h_{\partial}^{Q}(\mathbf{\alpha}) - h_{\partial}^{P}(\mathbf{\alpha})]</math>
在这一特定构造下，GID 可恢复单目标 PID 的分解形式：冗余、特有和协同信息原子对应于不同的部分 KL 散度成分。具体对应关系取决于所采用的局部冗余熵函数；例如，采用 <math>h_{\cap}^{sx}</math> 可导出与 <math>I_{\cap}^{sx}</math> 相对应的 PID，采用 <math>h_{\cap}^{\min}</math> 则对应另一类 PID 构造。
因此，PID 可视为 GID 的一个定向特例:PID 预先指定信源与目标，并分解“观察目标后关于信源获得的信息”；GID 则允许比较任意先验分布与后验分布，并可进一步用于分解互信息、总相关性、负熵等能够表示为 KL 散度或 KL 散度线性组合的信息论量。
<math>D_{KL}(P||Q) = \sum_{\alpha \in \mathfrak(A)}D_{KL}^{P|||Q}(\alpha)</math>
使用 GID 时还需满足 KL 散度的基本条件：若存在 <math>P(\mathbf{x})>0</math> 而 <math>Q(\mathbf{x})=0</math> 的取值，则 <math>D_{\mathrm{KL}}(P\parallel Q)</math> 发散，相关分解不再是有限值。
=== [[整合信息分解|整合信息分解(ΦID)]] ===
=== [[整合信息分解|整合信息分解(ΦID)]] ===