175
个编辑
更改
跳到导航
跳到搜索
第535行：
第535行： − 所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID+ + + + + + + + + + +
无编辑摘要
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
===Barrett===
===Barrett===
设 $X$ 为维度为 $m$ 的连续随机变量。我们用 $P_X(x)$ 表示其概率密度函数，用 $\bar{x}$ 表示均值，用 $m \times m$ 的协方差矩阵 $\Sigma(X)$ 表示协方差 $\operatorname{cov}(X^i, X^j)$。设 $Y$ 为另一个维度为 $n$ 的随机变量。我们用 $m \times n$ 的矩阵 $\Sigma(X, Y)$ 表示交叉协方差 $\operatorname{cov}(X^i, Y^j)$。我们定义 $X$ 关于 $Y$ 的“偏协方差”为
如果 $X \oplus Y$ 是多变量高斯分布的（我们用符号“$\oplus$”表示向量的垂直连接），那么偏协方差 $\Sigma(X|Y)$ 正是条件变量 $X|Y=y$ 在任意 $y$ 下的协方差矩阵：
其中，熵 $H$ 表征不确定性，定义为条件熵 $H(X|Y)$ 是给定 $Y$ 时 $X$ 的期望熵，即，
互信息 $I(X;Y)$ 是 $X$ 和 $Y$ 之间的平均信息，或知道 $Y$ 的结果后关于 $X$ 的不确定性的减少（熵）：信息也可以写成有用的形式
从这个式子可以得出，互信息在 $X$ 和 $Y$ 中是对称的 [2]。两个源 $Y$ 和 $Z$ 与目标 $X$ 之间的联合互信息满足链式法则：
对于高斯变量 $X$，对于高斯变量 $X \oplus Y$，对于随离散时间演化的动态变量 $X$，我们用 $X_t$ 表示时间 $t$ 时的状态，用 $\mathbf{X}_{t^-}$ 表示相对于时间 $t$ 的无限过去，即 $\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots$。相对于时间 $t$ 的 $p$ 个过去状态记作 $X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}$。尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 $(X,Y)$ 和 $(X,Z)$ 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 $X, Y$ 和 $Z$ 是联合多变量高斯分布的，其中 $X$ 是单变量的，而 $Y$ 和 $Z$ 的维度分别为 $n$ 和 $p$。那么存在一个唯一的 PID，使得冗余和独特信息 $R(X;Y,Z)$、 $U(X;Y|Z)$ 和 $U(X;Z|Y)$ 仅依赖于 $(X,Y)$ 和 $(X,Z)$ 的边缘分布。根据这个 PID，冗余由下式给出
其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。
===其他方法===
===其他方法===
James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：
James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：