175
个编辑
更改
→冗余信息计算方法
\]
\]
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
James：我们现在提出一种基于独特信息的分解方法。我们首先讨论依赖关系的概念以及如何量化它们对信息度量的影响。然后，我们将这种量化方法应用于源 - 目标依赖关系，以量化源 - 目标依赖关系如何影响源 - 目标互信息。我们的度量将独特信息 \(\operatorname{I}_{\partial}[i \to Y]\) 定义为 \(X_i Y\) 依赖关系对共享信息 \(\operatorname{I}[X_{0:n} : Y]\) 的最小影响。
我们首先定义约束格 \(\mathcal{L}(\Sigma)\)，这是一个变量子集的集合格。这些变量子集是反链，类似于部分信息格中的反链，但受到进一步的约束，并且具有不同的排序。具体来说，给定一组变量 \(\Sigma = \{X_0, X_1, \ldots\}\)，一个约束 \(\gamma\) 是 \(\Sigma\) 的一个非空子集。一个约束集 \(\sigma\) 是一个在 \(\Sigma\) 上形成反链的约束集合，其并集覆盖 \(\Sigma\)；它们是反链覆盖 [9]。具体来说，\(\sigma \in \mathcal{P}^+(\mathcal{P}^+(\Sigma))\)，使得对于所有 \(\gamma_1, \gamma_2 \in \sigma\)，有 \(\gamma_1 \nsubseteq \gamma_2\) 且 \(\bigcup \sigma = \Sigma\)。约束集被要求是覆盖，因为我们关心的是变量之间的关系，而不是每个单独变量的分布。我们称这些变量集合为约束，因为我们处理的是边际分布固定的分布族。
约束集之间存在一个自然的部分序 \(\sigma_1 \preceq \sigma_2\)：
\[
\sigma_1 \preceq \sigma_2 \iff \forall \gamma_1 \in \sigma_1, \exists \gamma_2 \in \sigma_2, \gamma_1 \subseteq \gamma_2.
\]
注意，这种关系与 PID 中的关系有些对偶，并且反链覆盖的集合是所有反链的一个子集。由 \(\Sigma = \{X, Y, Z\}\) 上的部分序诱导的格 \(\mathcal{L}(\Sigma)\) 如图 2 所示。接下来的直觉是，格中的每个节点（反链）代表一组边际分布的约束，而一个层次上的约束意味着格中较低层次上的约束。
为了量化每个约束集如何影响一个分布 \(p\)，我们将每个约束集 \(\sigma\) 在格中与一个最大熵分布相关联。具体来说，考虑与 \(\sigma\) 匹配边际分布的分布集合 \(\Delta_p(\sigma)\)：
\[
\Delta_p(\sigma) = \{ q : p(\gamma) = q(\gamma), \gamma \in \sigma \}.
\]
对于每个约束集 \(\sigma\)，我们关联 \(\Delta_p(\sigma)\) 中具有最大香农熵的分布：
\[
p_{\sigma} = \operatorname{arg max} \{ \mathrm{H}[q] : q \in \Delta_p(\sigma) \}.
\]
这个分布除了由 \(\sigma\) 约束的统计结构外，不包含任何额外的统计结构 [33]。
当相对于最大熵分布 \(p_{\sigma}\) 计算信息度量（如互信息）时，我们在信息度量上使用约束 \(\sigma\) 作为下标。例如，相对于满足约束 \(X Y : Y Z\) 的最大熵分布，联合变量 \(X Y\) 和变量 \(Z\) 之间的互信息表示为 \(\operatorname{I}_{X Y : Y Z}[X Y : Z]\)。
给定这个最大熵分布的格，我们就可以计算这些分布上的任何多变量信息度量，并分析其值在格上的变化。这里的移动对应于添加或删除依赖关系。我们将应用于最大熵分布的信息度量格称为分布 \(p\) 的依赖结构。
分布的依赖结构是一种广泛适用且稳健的方法，用于分析分布的结构如何影响其信息内容。它实际上是一个与 \(p\) 相关的多宇宙的偏序关系：考虑每一个可能的替代宇宙，在这些宇宙中，从 \(p\) 中移除了某些选择的统计依赖关系。它允许在其他依赖关系的背景下研究每个依赖关系，从而对 \(p\) 的变量之间的相互作用提供更加细致入微的视角。我们相信，它将成为未来各种信息论依赖性分析的基础。
我们注意到，这种依赖结构在我们发布预印本（arxiv.org:1609.01233）之后独立地被宣布 [34]。在那里，依赖结构最小化 Kullback-Leibler 散度，这已知与我们的最大熵方法等价 [35]。与总相关性的格分解不同，这里的主要贡献是将任何期望的信息度量应用于依赖结构的每个节点。这导致了大量可能的分析。
例如，考虑确定网络中的“因果路径”的问题 [37,38]。给定两个网络节点之间的两条路径，比如 \(A \to B \to C\) 和 \(A \to B' \to C\)，我们希望确定哪条路径上 \(A\) 的行为对 \(C\) 的影响最强。这条路径被称为因果路径。直观上，人们可能会认为最强的链接路径或最大化多变量信息度量的路径是更具影响力的路径。然而，考虑 \(A\) 强烈影响 \(B\) 的一个方面，而 \(B\) 的另一个独立方面强烈影响 \(C\) 的情况。在这种情况下，尽管各个链接都很强，但 \(A\) 对 \(C\) 并没有任何影响。相比之下，我们的依赖结构将很容易通过 \(\operatorname{I}_{A B : B C}[A : C] = 0\) 检测到这一点，这精确地量化了 \(A\) 和 \(C\) 通过路径 \(A \to B \to C\) 的相关性。
以这种方式，确定网络中的因果路径变得简单：对于每条潜在路径，考虑包含其所有链接的约束，并评估所选影响度量（时间延迟互信息、转移熵或类似度量）在路径起点和终点之间的值。该值表示由所选度量量化的路径强度（其解释取决于所选度量）。尽管这个例子没有使用完整的依赖结构，但它确实展示了在仅考虑特定依赖关系时考虑信息度量的有用性。此外，还有其他基于信息的方法可以确定因果路径 [37]，但这种方法提供了一种新颖且独立的方法。
另一个应用是确定药物相互作用。给定一组对各种药物的反应数据，我们希望确定哪些药物子集相互作用。一种方法是构建依赖结构，用熵来量化每个节点。然后，格中熵“足够接近”（由上下文决定）真实分布的最低节点包含产生真实分布完整结构的最小约束集合。这个最小约束集合决定了必然相互作用的变量子集。值得注意的是，这是重构分析 [25] 的一个应用，并且没有使用在格上应用各种信息度量的灵活性。
为了衡量一个源（比如 \(X_0\)）关于目标 \(Y\) 的独特信息，我们使用从源 - 目标互信息构建的依赖分解。进一步考虑对应于添加特定约束 \(F\) 的格边：
\[
E(\gamma) = \{ (\sigma_1, \sigma_2) \in \mathcal{L} : \gamma \in \sigma_1, \gamma \notin \sigma_2 \}.
\]
我们的独特信息度量 \(\operatorname{I}_{\operatorname{dep}}[i \to Y]\) 定义如下：
\[
\begin{aligned}
\operatorname{I}_{\operatorname{dep}}[i \to Y] &= \min_{(\sigma_1, \sigma_2) \in E(X_i
finn：作者将互信息里的冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：
和点对点冗余模糊性：
随后，有两种方式组合这两个定义，一种是直接求期望：
一种是从点对点特异性和模糊性中减去点对点独特性、冗余性和互补性，得到点对点独特性、冗余性和互补性信息：