175
个编辑
更改
→kolchinsky
===kolchinsky===
===kolchinsky===
作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 \(A\)，它提供了关于目标 \(Y\) 的信息，将“集合大小”的类比视为互信息 \(I(A; Y)\)，并假设存在某种排序关系 \(\sqsubset\)，类似于集合包含 \(\subseteq\)。给定这样的关系，表达式 \(A \sqsubset B\) 表示随机变量 \(B\) 比 \(A\)“更有信息量”，即 \(A\) 提供的关于 \(Y\) 的信息包含在 \(B\) 提供的关于 \(Y\) 的信息中。我们定义冗余为：
作者认为只定义冗余信息不能通过包含排除原理推导出剩下的部分信息原子，因我们将“集合”的类比视为某个随机变量 <math>A</math>，它提供了关于目标 <math>Y</math> 的信息，将“集合大小”的类比视为互信息<math> I(A; Y)</math>，并假设存在某种排序关系 <math>\sqsubset</math>，类似于集合包含 <math>\subseteq</math>。给定这样的关系，表达式 <math>A \sqsubset B</math>表示随机变量 <math>B</math>比 <math>A</math>“更有信息量”，即 <math>A</math> 提供的关于 <math>Y </math>的信息包含在 <math>B</math>提供的关于 <math>Y</math>的信息中。我们定义冗余为：
I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i
<math>I_{\cap}(X_1; \ldots; X_n \to Y) := \sup_Q I(Q; Y) \quad \text{使得} \quad \forall i \; Q \sqsubset X_i</math>
其中优化是在所有具有有限数量结果的随机变量上进行的。因此，冗余 \(I_{\cap}\) 是任何比所有源都“不那么有信息量”的随机变量中关于 \(Y\) 的最大信息量。我们定义联合信息为：
其中优化是在所有具有有限数量结果的随机变量上进行的。因此，冗余<math> I_{\cap}</math>是任何比所有源都“不那么有信息量”的随机变量中关于 <math>Y </math>的最大信息量。类比于方程 (6)，我们定义联合信息为：
<math>
I_{\cup}(X_1; \ldots; X_n \to Y) := \inf_Q I(Q; Y) \quad \text{使得} \quad \forall i \; X_i \sqsubset Q</math>
因此，联合信息<math> I_{\cup} </math>是任何比所有源都“更有信息量”的随机变量中关于 <math>Y </math>的最小信息量。注意 <math>I_{\cap}</math> 和 <math>I_{\cup} </math>依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
===Barrett===
===Barrett===
设 $X$ 为维度为 $m$ 的连续随机变量。我们用 $P_X(x)$ 表示其概率密度函数，用 $\bar{x}$ 表示均值，用 $m \times m$ 的协方差矩阵 $\Sigma(X)$ 表示协方差 $\operatorname{cov}(X^i, X^j)$。设 $Y$ 为另一个维度为 $n$ 的随机变量。我们用 $m \times n$ 的矩阵 $\Sigma(X, Y)$ 表示交叉协方差 $\operatorname{cov}(X^i, Y^j)$。我们定义 $X$ 关于 $Y$ 的“偏协方差”为
设 $X$ 为维度为 $m$ 的连续随机变量。我们用 $P_X(x)$ 表示其概率密度函数，用 $\bar{x}$ 表示均值，用 $m \times m$ 的协方差矩阵 $\Sigma(X)$ 表示协方差 $\operatorname{cov}(X^i, X^j)$。设 $Y$ 为另一个维度为 $n$ 的随机变量。我们用 $m \times n$ 的矩阵 $\Sigma(X, Y)$ 表示交叉协方差 $\operatorname{cov}(X^i, Y^j)$。我们定义 $X$ 关于 $Y$ 的“偏协方差”为