175
个编辑
更改
→Barrett
尽管先前提出的各种PID的一般定义相当不同，但可以注意到，对于所有这些PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的PID，使得冗余和独特信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个PID，冗余由下式给出
尽管先前提出的各种PID的一般定义相当不同，但可以注意到，对于所有这些PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的PID，使得冗余和独特信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个PID，冗余由下式给出
<math>R_{MMI}(X; Y, Z)=:\min{I(X; Y), I(X; Z)}.</math>
其他量（协同信息、独特信息）则类似Williams（2010）中的公式（见）得出，将提供较少关于目标信息的源分配为零独特信息，协同作用则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的PID为最小互信息（MMI）PID。由此可知，所有先前提出的PID在这种高斯情况下都简化为MMI PID。
===其他方法===
===其他方法===