更改

===Barrett===

===Barrett===

设 $X$ 为维度为 $m$ 的连续随机变量。我们用 $P_X(x)$ 表示其概率密度函数，用 $\bar{x}$ 表示均值，用 $m \times m$ 的协方差矩阵 $\Sigma(X)$ 表示协方差 $\operatorname{cov}(X^i, X^j)$。设 $Y$ 为另一个维度为 $n$ 的随机变量。我们用 $m \times n$ 的矩阵 $\Sigma(X, Y)$ 表示交叉协方差 $\operatorname{cov}(X^i, Y^j)$。我们定义 $X$ 关于 $Y$ 的“偏协方差”为

设 <math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为

如果 $X \oplus Y$ 是多变量高斯分布的（我们用符号“$\oplus$”表示向量的垂直连接），那么偏协方差 $\Sigma(X|Y)$ 正是条件变量 $X|Y=y$ 在任意 $y$ 下的协方差矩阵：

如果 <math>X \oplus Y </math>是多变量高斯分布的（我们用符号“<math>\oplus</math>”表示向量的垂直连接），那么偏协方差 <math>\Sigma(X|Y) </math>正是条件变量 <math>X|Y=y </math>在任意 <math>y</math> 下的协方差矩阵：

互信息 $I(X;Y)$ 是 $X$ 和 $Y$ 之间的平均信息，或知道 $Y$ 的结果后关于 $X$ 的不确定性的减少（熵）：信息也可以写成有用的形式

从这个式子可以得出，互信息在 $X$ 和 $Y$ 中是对称的 [2]。两个源 $Y$ 和 $Z$ 与目标 $X$ 之间的联合互信息满足链式法则：

 

对于高斯变量 $X$，对于高斯变量 $X \oplus Y$，对于随离散时间演化的动态变量 $X$，我们用 $X_t$ 表示时间 $t$ 时的状态，用 $\mathbf{X}_{t^-}$ 表示相对于时间 $t$ 的无限过去，即 $\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots$。相对于时间 $t$ 的 $p$ 个过去状态记作 $X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}$。尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 $(X,Y)$ 和 $(X,Z)$ 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 $X, Y$ 和 $Z$ 是联合多变量高斯分布的，其中 $X$ 是单变量的，而 $Y$ 和 $Z$ 的维度分别为 $n$ 和 $p$。那么存在一个唯一的 PID，使得冗余和独特信息 $R(X;Y,Z)$、 $U(X;Y|Z)$ 和 $U(X;Z|Y)$ 仅依赖于 $(X,Y)$ 和 $(X,Z)$ 的边缘分布。根据这个 PID，冗余由下式给出

 

 

互信息 <math>I(X;Y) </math>是 <math>X</math>和 <math>Y</math>之间的平均信息，或知道 <math>Y</math> 的结果后关于 <math>X</math> 的不确定性的减少（熵）：

 

 

从这个式子可以得出，互信息在 <math>X</math>和 <math>Y</math> 中是对称的 [2]。两个源 <math>Y</math> 和 <math>Z</math> 与目标 <math>X</math> 之间的联合互信息满足链式法则：

 

对于高斯变量 <math>X</math>，

对于高斯变量 <math>X \oplus Y</math>，对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。

 

 

尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的 PID，使得冗余和独特信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个 PID，冗余由下式给出

其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。

其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。