175
个编辑
更改
→冗余信息计算方法
我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。
我们称这种共同的 PID 为最小互信息（MMI）PID。由此可知，所有先前提出的 PID 在这种高斯情况下都简化为 MMI PID。
kolchinsky：作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 \(A\)，它提供了关于目标 \(Y\) 的信息，将“集合大小”的类比视为互信息 \(I(A; Y)\)，并假设存在某种排序关系 \(\sqsubset\)，类似于集合包含 \(\subseteq\)。给定这样的关系，表达式 \(A \sqsubset B\) 表示随机变量 \(B\) 比 \(A\)“更有信息量”，即 \(A\) 提供的关于 \(Y\) 的信息包含在 \(B\) 提供的关于 \(Y\) 的信息中。我们定义冗余为：
\[
I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i
\]
其中优化是在所有具有有限数量结果的随机变量上进行的。因此，冗余 \(I_{\cap}\) 是任何比所有源都“不那么有信息量”的随机变量中关于 \(Y\) 的最大信息量。我们定义联合信息为：
\[
I_{\cup}(X_1; \ldots; X_n \to Y) := \inf_Q I(Q; Y) \quad \text{使得} \quad \forall i \; X_i \sqsubset Q
\]
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).
R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).
N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).
N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).
C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).
C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).
R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).
R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).
最后一小节可以放一个对照表
最后一小节可以放一个对照表