175
个编辑
更改
跳到导航
跳到搜索
第432行：
第432行： − Griffith：原论文构建冗余格的方式，给定随机变量 X 和 Y，我们记作 ，表示存在一个可测函数 ，使得 几乎必然成立（即以概率1成立）。在这种情况下，我们称 X 在信息上“贫于”Y（informationally poorer），据此可以引入偏序关系。给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 join）为在信息上最“贫”的随机变量（即在偏序 ⪯ 下“最小”），使得 且 。类似地，给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 meet）为在信息上最“富”的随机变量（即在偏序 ⪰ 下“最大”），使得 。我们也将  称为 X 和 Y 的共同随机变量（common random variable）。共同随机变量的熵即（零误差信息）。对于零误差信息，作者提出了如下的零误差交集信息度量 \I_{\cap}^0(X_1, \ldots, X_n : Y)：它是一个随机变量 Q 关于 Y 的最大零误差信息 ，且 Q 是每个预测变量  的函数+ 第453行：
第453行： − + 第485行：
第485行： − James：将冗余信息改为了独特信息+
→冗余信息计算方法
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
Griffith：原论文构建冗余晶格的方式，给定随机变量 X 和 Y，我们记作 ，表示存在一个可测函数 ，使得 几乎必然成立（即以概率1成立）。在这种情况下，我们称 X 在信息上“贫于”Y（informationally poorer），据此可以引入偏序关系。给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 join）为在信息上最“贫”的随机变量（即在偏序 ⪯ 下“最小”），使得 且 。类似地，给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 meet）为在信息上最“富”的随机变量（即在偏序 ⪰ 下“最大”），使得 。我们也将  称为 X 和 Y 的共同随机变量（common random variable）。共同随机变量的熵即（零误差信息）。对于零误差信息，作者提出了如下的零误差交集信息度量 \I_{\cap}^0(X_1, \ldots, X_n : Y)：它是一个随机变量 Q 关于 Y 的最大零误差信息 ，且 Q 是每个预测变量  的函数
\I_{\cap}^0(X_1, \ldots, X_n : Y) \equiv \max_{\Pr(Q|Y)} I^0(Q : Y) \quad \text{subject to} \quad Q \preceq X_i \; \forall i \in \{1, \ldots, n\}
\I_{\cap}^0(X_1, \ldots, X_n : Y) \equiv \max_{\Pr(Q|Y)} I^0(Q : Y) \quad \text{subject to} \quad Q \preceq X_i \; \forall i \in \{1, \ldots, n\}
上式可简化为：
上式可简化为：
公式（10）直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 \( (S_1, T) \) 和 \( (S_2, T) \)），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
公式（10）直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 \( (S_1, T) \) 和 \( (S_2, T) \)），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
从 \( S_1 \) 到 \( T \) 给定 \( S_2 \) 的独特信息为
从 \( S_1 \) 到 \( T \) 给定 \( S_2 \) 的特有信息为
\[
\[
\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).
\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).
\]
\]
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
因此，联合信息 \(I_{\cup}\) 是任何比所有源都“更有信息量”的随机变量中关于 \(Y\) 的最小信息量。注意 \(I_{\cap}\) 和 \(I_{\cup}\) 依赖于排序关系 \(\sqsubset\) 的选择，而作者认为不同的应用领域有不同的排序定义。
James：将冗余信息改为了特有信息
finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：
finn：作者将点对点互信息拆分成了正的信息分量（特异性）负的信息分量（模糊性）。与此对应，冗余格拆分为了特异性格和模糊性格并据此定义了点对点冗余特异性：
和点对点冗余模糊性：
和点对点冗余模糊性：