175
个编辑
更改
跳到导航
跳到搜索
第473行：
第473行： − Barrett：尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 \( (X,Y) \) 和 \( (X,Z) \) 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 \( X, Y \) 和 \( Z \) 是联合多变量高斯分布的，其中 \( X \) 是单变量的，而 \( Y \) 和 \( Z \) 的维度分别为 \( n \) 和 \( p \)。那么存在一个唯一的 PID，使得冗余和独特信息 \( R(X;Y,Z) \)、 \( U(X;Y|Z) \) 和 \( U(X;Z|Y) \) 仅依赖于 \( (X,Y) \) 和 \( (X,Z) \) 的边缘分布。根据这个 PID，冗余由下式给出+ − − 我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。 第487行：
第485行： − + − James：我们现在提出一种基于独特信息的分解方法。我们首先讨论依赖关系的概念以及如何量化它们对信息度量的影响。然后，我们将这种量化方法应用于源 - 目标依赖关系，以量化源 - 目标依赖关系如何影响源 - 目标互信息。我们的度量将独特信息 \(\operatorname{I}_{\partial}[i \to Y]\) 定义为 \(X_i Y\) 依赖关系对共享信息 \(\operatorname{I}[X_{0:n} : Y]\) 的最小影响。+ − − 我们首先定义约束格 \(\mathcal{L}(\Sigma)\)，这是一个变量子集的集合格。这些变量子集是反链，类似于部分信息格中的反链，但受到进一步的约束，并且具有不同的排序。具体来说，给定一组变量 \(\Sigma = \{X_0, X_1, \ldots\}\)，一个约束 \(\gamma\) 是 \(\Sigma\) 的一个非空子集。一个约束集 \(\sigma\) 是一个在 \(\Sigma\) 上形成反链的约束集合，其并集覆盖 \(\Sigma\)；它们是反链覆盖 [9]。具体来说，\(\sigma \in \mathcal{P}^+(\mathcal{P}^+(\Sigma))\)，使得对于所有 \(\gamma_1, \gamma_2 \in \sigma\)，有 \(\gamma_1 \nsubseteq \gamma_2\) 且 \(\bigcup \sigma = \Sigma\)。约束集被要求是覆盖，因为我们关心的是变量之间的关系，而不是每个单独变量的分布。我们称这些变量集合为约束，因为我们处理的是边际分布固定的分布族。 − 约束集之间存在一个自然的部分序 \(\sigma_1 \preceq \sigma_2\)： − \[ − \sigma_1 \preceq \sigma_2 \iff \forall \gamma_1 \in \sigma_1, \exists \gamma_2 \in \sigma_2, \gamma_1 \subseteq \gamma_2. − \] − − 注意，这种关系与 PID 中的关系有些对偶，并且反链覆盖的集合是所有反链的一个子集。由 \(\Sigma = \{X, Y, Z\}\) 上的部分序诱导的格 \(\mathcal{L}(\Sigma)\) 如图 2 所示。接下来的直觉是，格中的每个节点（反链）代表一组边际分布的约束，而一个层次上的约束意味着格中较低层次上的约束。 − − 为了量化每个约束集如何影响一个分布 \(p\)，我们将每个约束集 \(\sigma\) 在格中与一个最大熵分布相关联。具体来说，考虑与 \(\sigma\) 匹配边际分布的分布集合 \(\Delta_p(\sigma)\)： − − \[ − \Delta_p(\sigma) = \{ q : p(\gamma) = q(\gamma), \gamma \in \sigma \}. − \] − − 对于每个约束集 \(\sigma\)，我们关联 \(\Delta_p(\sigma)\) 中具有最大香农熵的分布： − − \[ − p_{\sigma} = \operatorname{arg max} \{ \mathrm{H}[q] : q \in \Delta_p(\sigma) \}. − \] − − 这个分布除了由 \(\sigma\) 约束的统计结构外，不包含任何额外的统计结构 [33]。 − − 当相对于最大熵分布 \(p_{\sigma}\) 计算信息度量（如互信息）时，我们在信息度量上使用约束 \(\sigma\) 作为下标。例如，相对于满足约束 \(X Y : Y Z\) 的最大熵分布，联合变量 \(X Y\) 和变量 \(Z\) 之间的互信息表示为 \(\operatorname{I}_{X Y : Y Z}[X Y : Z]\)。 − − − 为了衡量一个源（比如 \(X_0\)）关于目标 \(Y\) 的独特信息，我们使用从源 - 目标互信息构建的依赖分解。进一步考虑对应于添加特定约束 \(F\) 的格边： − − \[ − E(\gamma) = \{ (\sigma_1, \sigma_2) \in \mathcal{L} : \gamma \in \sigma_1, \gamma \notin \sigma_2 \}. − \] − − 我们的独特信息度量 \(\operatorname{I}_{\operatorname{dep}}[i \to Y]\) 定义如下： − − \[ − \begin{aligned} − \operatorname{I}_{\operatorname{dep}}[i \to Y] &= \min_{(\sigma_1, \sigma_2) \in E(X_i − − − − finn：作者将点对点互信息拆分成了正的信息分量  将被称为特异性，而负的信息分量  将被称为模糊性。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性： 第535行：
第492行： − + − + − R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017). − − N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014). −
→冗余信息计算方法
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
Barrett：所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。
kolchinsky：作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 \(A\)，它提供了关于目标 \(Y\) 的信息，将“集合大小”的类比视为互信息 \(I(A; Y)\)，并假设存在某种排序关系 \(\sqsubset\)，类似于集合包含 \(\subseteq\)。给定这样的关系，表达式 \(A \sqsubset B\) 表示随机变量 \(B\) 比 \(A\)“更有信息量”，即 \(A\) 提供的关于 \(Y\) 的信息包含在 \(B\) 提供的关于 \(Y\) 的信息中。我们定义冗余为：
kolchinsky：作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 \(A\)，它提供了关于目标 \(Y\) 的信息，将“集合大小”的类比视为互信息 \(I(A; Y)\)，并假设存在某种排序关系 \(\sqsubset\)，类似于集合包含 \(\subseteq\)。给定这样的关系，表达式 \(A \sqsubset B\) 表示随机变量 \(B\) 比 \(A\)“更有信息量”，即 \(A\) 提供的关于 \(Y\) 的信息包含在 \(B\) 提供的关于 \(Y\) 的信息中。我们定义冗余为：
\]
\]
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
James：将冗余信息改为了独特信息
finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：
和点对点冗余模糊性：
和点对点冗余模糊性：
一种是从点对点特异性和模糊性中减去点对点独特性、冗余性和互补性，得到点对点独特性、冗余性和互补性信息：
一种是从点对点特异性和模糊性中减去点对点独特性、冗余性和互补性，得到点对点独特性、冗余性和互补性信息：
Ince：
Bertschinger：