175
个编辑
更改
跳到导航
跳到搜索
第430行：
第430行： − + + + + + +
→冗余信息计算方法
首先是在冗余信息计算方法小节提到过的这篇论文给的方法。
首先是在冗余信息计算方法小节提到过的这篇论文给的方法。
以下是一些有代表性的定量方法：
以下是一些有代表性的定量方法：
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
类似原论文构建冗余格的方式，给定随机变量 X 和 Y，我们记作 ，表示存在一个可测函数 ，使得 几乎必然成立（即以概率1成立）。在这种情况下，我们称 X 在信息上“贫于”Y（informationally poorer），据此可以引入偏序关系。给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 join）为在信息上最“贫”的随机变量（即在偏序 ⪯ 下“最小”），使得 且 。类似地，给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 meet）为在信息上最“富”的随机变量（即在偏序 ⪰ 下“最大”），使得 。我们也将  称为 X 和 Y 的共同随机变量（common random variable）。共同随机变量的熵即（零误差信息）。对于零误差信息，作者提出了如下的零误差交集信息度量 \I_{\cap}^0(X_1, \ldots, X_n : Y)：它是一个随机变量 Q 关于 Y 的最大零误差信息 ，且 Q 是每个预测变量  的函数
\I_{\cap}^0(X_1, \ldots, X_n : Y) \equiv \max_{\Pr(Q|Y)} I^0(Q : Y) \quad \text{subject to} \quad Q \preceq X_i \; \forall i \in \{1, \ldots, n\}
上式可简化为：
\I_{\cap}^0(X_1, \ldots, X_n : Y) = I^0(X_1 \wedge \cdots \wedge X_n : Y) = H(X_1 \wedge \cdots \wedge X_n \wedge Y)
与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为\I_{\cap}(X_1, \ldots, X_n : Y) = I(X_1 \wedge \cdots \wedge X_n : Y)
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).