175
个编辑
更改
→冗余信息计算方法
此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从（10）中给出等价形式，如下所示。
此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从（10）中给出等价形式，如下所示。
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。 V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
Barrett：尽管先前提出的 PID 的一般定义相当不同，但可以注意到，对于所有这些 PID，冗余和独特信息仅依赖于每个单独源与目标的成对边缘分布，即 \( (X,Y) \) 和 \( (X,Z) \) 的分布。在这里，我们推导出我们的关键结果，即以下内容。设 \( X, Y \) 和 \( Z \) 是联合多变量高斯分布的，其中 \( X \) 是单变量的，而 \( Y \) 和 \( Z \) 的维度分别为 \( n \) 和 \( p \)。那么存在一个唯一的 PID，使得冗余和独特信息 \( R(X;Y,Z) \)、 \( U(X;Y|Z) \) 和 \( U(X;Z|Y) \) 仅依赖于 \( (X,Y) \) 和 \( (X,Z) \) 的边缘分布。根据这个 PID，冗余由下式给出
我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).
R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).