175
个编辑
更改
→冗余信息计算方法
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
kolchinsky：作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 \(A\)，它提供了关于目标 \(Y\) 的信息，将“集合大小”的类比视为互信息 \(I(A; Y)\)，并假设存在某种排序关系 \(\sqsubset\)，类似于集合包含 \(\subseteq\)。给定这样的关系，表达式 \(A \sqsubset B\) 表示随机变量 \(B\) 比 \(A\)“更有信息量”，即 \(A\) 提供的关于 \(Y\) 的信息包含在 \(B\) 提供的关于 \(Y\) 的信息中。我们定义冗余为：
kolchinsky：作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 \(A\)，它提供了关于目标 \(Y\) 的信息，将“集合大小”的类比视为互信息 \(I(A; Y)\)，并假设存在某种排序关系 \(\sqsubset\)，类似于集合包含 \(\subseteq\)。给定这样的关系，表达式 \(A \sqsubset B\) 表示随机变量 \(B\) 比 \(A\)“更有信息量”，即 \(A\) 提供的关于 \(Y\) 的信息包含在 \(B\) 提供的关于 \(Y\) 的信息中。我们定义冗余为：
\]
\]
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
此外还有其他方法：Barrett：所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。James：将冗余信息改为了特有信息finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：
和点对点冗余模糊性：随后，有两种方式组合这两个定义，一种是直接求期望，一种是从点对点特异性和模糊性中减去点对点独特性、冗余性和互补性，得到点对点独特性、冗余性和互补性信息。Ince：基于点wise共同变化不确定度度量冗余信息。Bertschinger：将 $MI(X:(Y,Z))$ 分解为共享信息、独特信息和协同信息。作者定义了新的度量方法 $\widetilde{UI}$、$\widetilde{SI}$ 和 $\widetilde{CI}$，这些方法基于独特信息的操作性概念，即独特和共享信息应仅依赖于 $(X,Y)$ 和 $(X,Z)$ 的成对边缘分布。文章通过定义一个特定的集合 $\Delta_P$，即所有具有相同 $(X,Y)$ 和 $(X,Z)$ 边缘分布的联合分布的集合，来构建这些度量方法。
最后一小节可以放一个对照表
最后一小节可以放一个对照表