更改

===Barrett===

===Barrett===

设 <math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为

设 <math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为:

 

如果 <math>X \oplus Y </math>是多变量高斯分布的（我们用符号“<math>\oplus</math>”表示向量的垂直连接），那么偏协方差 <math>\Sigma(X|Y) </math>正是条件变量 <math>X|Y=y </math>在任意 <math>y</math> 下的协方差矩阵：

如果 <math>X \oplus Y </math>是多变量高斯分布的（我们用符号“<math>\oplus</math>”表示向量的垂直连接），那么偏协方差 <math>\Sigma(X|Y) </math>正是条件变量 <math>X|Y=y </math>在任意 <math>y</math> 下的协方差矩阵：

其中，

 

其中，<math>\mu_{X\mid Y=y}=\overline{x}+\Sigma(X, Y)\Sigma(Y)^{-1}(y-\overline{y})</math>

 

 

 

 

熵 <math>H</math> 表征不确定性，定义为

互信息也可以写成联合熵形式：<math>I(X; Y)=H(X)+H(Y)-H(X, Y)</math>

条件熵 <math>H(X|Y) </math>是给定 <math>Y</math> 时 <math>X</math> 的期望熵，即，

从这个式子可以得出，互信息在 <math>X</math>和 <math>Y</math> 中是对称的 [2]。两个源 <math>Y</math> 和 <math>Z</math> 与目标 <math>X</math> 之间的联合互信息满足链式法则：<math>I(X; Y, Z)=I(X; Y\mid Z)+I(X; Z)</math>

互信息 <math>I(X;Y) </math>是 <math>X</math>和 <math>Y</math>之间的平均信息，或知道 <math>Y</math> 的结果后关于 <math>X</math> 的不确定性的减少（熵）：

对于高斯变量 <math>X</math>，<math>H(X)=\frac{1}{2}\log[\operatorname{det}\Sigma(X)]+\frac{1}{2} m\log(2\pi e)</math>

从这个式子可以得出，互信息在 <math>X</math>和 <math>Y</math> 中是对称的 [2]。两个源 <math>Y</math> 和 <math>Z</math> 与目标 <math>X</math> 之间的联合互信息满足链式法则：

<math>I(X; Y)=\frac{1}{2}\log\left[\frac{\operatorname{det}\Sigma(X)}{\operatorname{det}\Sigma(X\mid Y)}\right]</math>

对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。

对于高斯变量 <math>X \oplus Y</math>，对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。

尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的 PID，使得冗余和独特信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个 PID，冗余由下式给出

尽管先前提出的各种PID的一般定义相当不同，但可以注意到，对于所有这些PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的PID，使得冗余和独特信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个PID，冗余由下式给出

其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。

其他量则从（1）–（3）中得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的PID为最小互信息（MMI）PID。由此可知，所有先前提出的PID在这种高斯情况下都简化为MMI PID。

===其他方法===

===其他方法===