175
个编辑
更改
→Barrett 高斯型PID
===Barrett 高斯型PID===
===Barrett 高斯型PID===
Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察协同与冗余信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。设<math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为:
Barrett（2015）<ref name="Barrett_Gaussian">{{cite journal|author1=Barrett A. B.|title=Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems|journal=Physical Review E|year=2015|volume=91|issue=5|page=052802|url=https://doi.org/10.1103/PhysRevE.91.052802}}</ref>在静态与动态高斯系统中系统考察协同与冗余信息共享，用高斯假设下的解析表达式揭示 PID 原子在线性/非线性耦合中的表现。下面分两部分介绍，先介绍高斯变量的信息量公式作为背景知识：
====高斯变量的信息量公式====
设<math>X </math>为维度为 <math>m</math> 的连续随机变量。我们用 <math>P_X(x) </math>表示其概率密度函数，用<math> \bar{x} </math>表示均值，用 <math>m \times m</math> 的协方差矩阵 <math>\Sigma(X)</math> 表示协方差 <math>\operatorname{cov}(X^i, X^j)</math>。设 <math>Y</math> 为另一个维度为 <math>n</math> 的随机变量。我们用 <math>m \times n</math> 的矩阵 <math>\Sigma(X, Y)</math> 表示交叉协方差 <math>\operatorname{cov}(X^i, Y^j)</math>。我们定义 <math>X</math> 关于 <math>Y</math> 的“偏协方差”为:
<math>\Sigma(X\mid Y)=:\Sigma(X)-\Sigma(X, Y)\Sigma(Y)^{-1}\Sigma(Y, X).</math>
<math>\Sigma(X\mid Y)=:\Sigma(X)-\Sigma(X, Y)\Sigma(Y)^{-1}\Sigma(Y, X).</math>
对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。
对于随离散时间演化的动态变量 <math>X</math>，我们用 <math>X_t</math> 表示时间 <math>t</math> 时的状态，用 <math>\mathbf{X}_{t^-} </math>表示相对于时间<math> t </math>的无限过去，即 <math>\mathbf{X}_{t^-} := X_{t-1} \oplus X_{t-2} \oplus \cdots</math>。相对于时间 <math>t</math>的 <math>p</math>个过去状态记作 <math>X_t^{(p)} := X_{t-1} \oplus X_{t-2} \oplus \cdots \oplus X_{t-p}</math>。
====Barrett 的 MMI PID 结论====
尽管先前提出的各种PID的一般定义相当不同，但可以注意到，对于所有这些PID，冗余和特有信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的PID，使得冗余和特有信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个PID，冗余由下式给出
尽管先前提出的各种PID的一般定义相当不同，但可以注意到，对于所有这些PID，冗余和特有信息仅依赖于每个单独源与目标的成对边缘分布，即 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 <math>X, Y</math> 和 <math>Z</math> 是联合多变量高斯分布的，其中 <math>X</math> 是单变量的，而 <math>Y</math> 和 <math>Z</math> 的维度分别为 <math>n</math> 和 <math>p</math>。那么存在一个唯一的PID，使得冗余和特有信息 <math>R(X;Y,Z)</math>、 <math>U(X;Y|Z)</math> 和 <math>U(X;Z|Y)</math>仅依赖于 <math>(X,Y)</math> 和 <math>(X,Z)</math> 的边缘分布。根据这个PID，冗余信息由下式给出
<math>R_{MMI}(X; Y, Z)=:\min{I(X; Y), I(X; Z)}.</math>
<math>R_{MMI}(X; Y, Z)=:\min{I(X; Y), I(X; Z)}.</math>
其他量（协同信息、特有信息）则类似Williams（2010）中的公式（见前述）得出，将提供较少关于目标信息的源分配为零特有信息，协同信息则是当已知较强源时，较弱源所贡献的额外信息。我们称这种共同的PID为最小互信息（MMI）PID。由此可知，一类此前提出的PID定义在Barrett考察的高斯条件下退化为MMI PID。
===其他方法===
===其他方法===