175
个编辑
更改
跳到导航
跳到搜索
第431行：
第431行： − 类似原论文构建冗余格的方式，给定随机变量 X 和 Y，我们记作 ，表示存在一个可测函数 ，使得 几乎必然成立（即以概率1成立）。在这种情况下，我们称 X 在信息上“贫于”Y（informationally poorer），据此可以引入偏序关系。给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 join）为在信息上最“贫”的随机变量（即在偏序 ⪯ 下“最小”），使得 且 。类似地，给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 meet）为在信息上最“富”的随机变量（即在偏序 ⪰ 下“最大”），使得 。我们也将  称为 X 和 Y 的共同随机变量（common random variable）。共同随机变量的熵即（零误差信息）。对于零误差信息，作者提出了如下的零误差交集信息度量 \I_{\cap}^0(X_1, \ldots, X_n : Y)：它是一个随机变量 Q 关于 Y 的最大零误差信息 ，且 Q 是每个预测变量  的函数+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
以下是一些有代表性的定量方法：
以下是一些有代表性的定量方法：
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。
Griffith：原论文构建冗余格的方式，给定随机变量 X 和 Y，我们记作 ，表示存在一个可测函数 ，使得 几乎必然成立（即以概率1成立）。在这种情况下，我们称 X 在信息上“贫于”Y（informationally poorer），据此可以引入偏序关系。给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 join）为在信息上最“贫”的随机变量（即在偏序 ⪯ 下“最小”），使得 且 。类似地，给定随机变量 X 和 Y，我们定义 （称为 X 和 Y 的 meet）为在信息上最“富”的随机变量（即在偏序 ⪰ 下“最大”），使得 。我们也将  称为 X 和 Y 的共同随机变量（common random variable）。共同随机变量的熵即（零误差信息）。对于零误差信息，作者提出了如下的零误差交集信息度量 \I_{\cap}^0(X_1, \ldots, X_n : Y)：它是一个随机变量 Q 关于 Y 的最大零误差信息 ，且 Q 是每个预测变量  的函数
\I_{\cap}^0(X_1, \ldots, X_n : Y) \equiv \max_{\Pr(Q|Y)} I^0(Q : Y) \quad \text{subject to} \quad Q \preceq X_i \; \forall i \in \{1, \ldots, n\}
\I_{\cap}^0(X_1, \ldots, X_n : Y) \equiv \max_{\Pr(Q|Y)} I^0(Q : Y) \quad \text{subject to} \quad Q \preceq X_i \; \forall i \in \{1, \ldots, n\}
上式可简化为：
上式可简化为：
\I_{\cap}^0(X_1, \ldots, X_n : Y) = I^0(X_1 \wedge \cdots \wedge X_n : Y) = H(X_1 \wedge \cdots \wedge X_n \wedge Y)
\I_{\cap}^0(X_1, \ldots, X_n : Y) = I^0(X_1 \wedge \cdots \wedge X_n : Y) = H(X_1 \wedge \cdots \wedge X_n \wedge Y)
与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为\I_{\cap}(X_1, \ldots, X_n : Y) = I(X_1 \wedge \cdots \wedge X_n : Y)
与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为\I_{\cap}(X_1, \ldots, X_n : Y) = I(X_1 \wedge \cdots \wedge X_n : Y)
Aobo：为了给出信息原子的定义，我们构造了一个新的分布，如下所示。给定一个包含源变量 \( S_1, S_2 \) 和目标变量 \( T \) 的系统，其相应的字母表分别为 \( \mathcal{S}_1, \mathcal{S}_2 \) 和 \( \mathcal{T} \)，我们定义一个新的随机变量 \( S_1' \) 在 \( \mathcal{S}_1 \) 上，通过其条件联合分布如下：
\[
\operatorname{Pr}(S_1' = s_1, S_2 = s_2 | T = t) \triangleq \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t).
\]
这意味着，对于每一个 \( s_1 \in \mathcal{S}_1 \)，
\[
\operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t).
\]
变量 \( S_1' \) 是良定义的，因为所有概率都是非负的，并且可以很容易地证明：
\[
\sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1.
\]
公式（10）直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 \( (S_1, T) \) 和 \( (S_2, T) \)），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
\begin{definition}[双源系统中的独特信息]
从 \( S_1 \) 到 \( T \) 给定 \( S_2 \) 的独特信息为
\[
\operatorname{Un}(S_1 \to T | S_2) = I(S_1'; T | S_2).
\]
\end{definition}
从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的冗余信息为
\[
\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).
\]
\end{definition}
从 \( S_1 \) 和 \( S_2 \) 到 \( T \) 的协同信息定义为
\[
\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).
\]
\end{definition}
此外，除了使用独特信息和公理1来获得冗余和协同信息的定义外，我们还可以直接从（10）中给出等价形式，如下所示，其证明在附录B中给出。
\begin{lemma}
冗余信息（定义4）可以另写为 \(\operatorname{Red}(S_1, S_2 \to T) = I(S_1'; S_2)\)。协同信息（定义5）可以另写为 \(\operatorname{Syn}(S_1, S_2 \to T) = H(T | S_1', S_2) - H(T | S_1, S_2)\)。
\end{lemma}
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).