175
个编辑
更改
跳到导航
跳到搜索
第513行：
第513行： − − 给定这个最大熵分布的格，我们就可以计算这些分布上的任何多变量信息度量，并分析其值在格上的变化。这里的移动对应于添加或删除依赖关系。我们将应用于最大熵分布的信息度量格称为分布 \(p\) 的依赖结构。 − − 分布的依赖结构是一种广泛适用且稳健的方法，用于分析分布的结构如何影响其信息内容。它实际上是一个与 \(p\) 相关的多宇宙的偏序关系：考虑每一个可能的替代宇宙，在这些宇宙中，从 \(p\) 中移除了某些选择的统计依赖关系。它允许在其他依赖关系的背景下研究每个依赖关系，从而对 \(p\) 的变量之间的相互作用提供更加细致入微的视角。我们相信，它将成为未来各种信息论依赖性分析的基础。 − − 我们注意到，这种依赖结构在我们发布预印本（arxiv.org:1609.01233）之后独立地被宣布 [34]。在那里，依赖结构最小化 Kullback-Leibler 散度，这已知与我们的最大熵方法等价 [35]。与总相关性的格分解不同，这里的主要贡献是将任何期望的信息度量应用于依赖结构的每个节点。这导致了大量可能的分析。 − − 例如，考虑确定网络中的“因果路径”的问题 [37,38]。给定两个网络节点之间的两条路径，比如 \(A \to B \to C\) 和 \(A \to B' \to C\)，我们希望确定哪条路径上 \(A\) 的行为对 \(C\) 的影响最强。这条路径被称为因果路径。直观上，人们可能会认为最强的链接路径或最大化多变量信息度量的路径是更具影响力的路径。然而，考虑 \(A\) 强烈影响 \(B\) 的一个方面，而 \(B\) 的另一个独立方面强烈影响 \(C\) 的情况。在这种情况下，尽管各个链接都很强，但 \(A\) 对 \(C\) 并没有任何影响。相比之下，我们的依赖结构将很容易通过 \(\operatorname{I}_{A B : B C}[A : C] = 0\) 检测到这一点，这精确地量化了 \(A\) 和 \(C\) 通过路径 \(A \to B \to C\) 的相关性。 − − 以这种方式，确定网络中的因果路径变得简单：对于每条潜在路径，考虑包含其所有链接的约束，并评估所选影响度量（时间延迟互信息、转移熵或类似度量）在路径起点和终点之间的值。该值表示由所选度量量化的路径强度（其解释取决于所选度量）。尽管这个例子没有使用完整的依赖结构，但它确实展示了在仅考虑特定依赖关系时考虑信息度量的有用性。此外，还有其他基于信息的方法可以确定因果路径 [37]，但这种方法提供了一种新颖且独立的方法。 − − 另一个应用是确定药物相互作用。给定一组对各种药物的反应数据，我们希望确定哪些药物子集相互作用。一种方法是构建依赖结构，用熵来量化每个节点。然后，格中熵“足够接近”（由上下文决定）真实分布的最低节点包含产生真实分布完整结构的最小约束集合。这个最小约束集合决定了必然相互作用的变量子集。值得注意的是，这是重构分析 [25] 的一个应用，并且没有使用在格上应用各种信息度量的灵活性。
→冗余信息计算方法
当相对于最大熵分布 \(p_{\sigma}\) 计算信息度量（如互信息）时，我们在信息度量上使用约束 \(\sigma\) 作为下标。例如，相对于满足约束 \(X Y : Y Z\) 的最大熵分布，联合变量 \(X Y\) 和变量 \(Z\) 之间的互信息表示为 \(\operatorname{I}_{X Y : Y Z}[X Y : Z]\)。
当相对于最大熵分布 \(p_{\sigma}\) 计算信息度量（如互信息）时，我们在信息度量上使用约束 \(\sigma\) 作为下标。例如，相对于满足约束 \(X Y : Y Z\) 的最大熵分布，联合变量 \(X Y\) 和变量 \(Z\) 之间的互信息表示为 \(\operatorname{I}_{X Y : Y Z}[X Y : Z]\)。