175
个编辑
更改
跳到导航
跳到搜索
第484行：
第484行： − + − + + + − + − + − + + + − + + + + 第506行：
第513行： + + + + 第521行：
第532行： + +
→冗余信息计算方法
=== Griffith===
=== Griffith===
原论文构建冗余晶格的方式，给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
原论文构建冗余晶格的方式，给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。我们称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个预测变量 <math>X_1,\dots,X_n</math>的函数:<math>
I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
共同随机变量的熵即<math>\mathcal{I}=I^0</math>（零误差信息）。对于零误差信息 <math>\mathcal{I}=I^0</math>，我们提出零误差交集信息<math>I_{\cap}^0(X_1,\dots,X_n:Y)</math>：它是一个随机变量<math> Q </math>关于<math>Y </math>的最大零误差信息 <math>I^0(Q:Y)</math>，且 Q 是每个预测变量 <math>X_1,\dots,X_n</math>的函数:
<math>I_{\cap}^0(X_1,\dots,X_n:Y)\triangleq
\max_{\Pr(Q|Y)}I^0(Q:Y)\quad\text{subject to}\quad Q\preceq X_i\;
\max_{\Pr(Q|Y)}I^0(Q:Y)\quad\text{subject to}\quad Q\preceq X_i\;
\forall i\in\{1,\dots,n\}.
\forall i\in\{1,\dots,n\}.</math>
</math>
上式可简化为：<math>
上式可简化为：
<math>
I_{\cap}^0(X_1,\dots,X_n:Y)
I_{\cap}^0(X_1,\dots,X_n:Y)
=I^0(X_1\wedge\cdots\wedge X_n:Y)
=I^0(X_1\wedge\cdots\wedge X_n:Y)
=H(X_1\wedge\cdots\wedge X_n\wedge Y).
=H(X_1\wedge\cdots\wedge X_n\wedge Y).
</math>
</math>
与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为<math>
与香浓互信息不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为
<math>
I_{\cap}(X_1,\dots,X_n:Y)
I_{\cap}(X_1,\dots,X_n:Y)
=I(X_1\wedge\cdots\wedge X_n:Y).
=I(X_1\wedge\cdots\wedge X_n:Y).
这意味着，对于每一个<math> s_1 \in \mathcal{S}_1 </math>，
这意味着，对于每一个<math> s_1 \in \mathcal{S}_1 </math>，
<math>
<math>
\operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t).</math>
\operatorname{Pr}(S_1' = s_1) = \sum_{(s_2, t) \in \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t).</math>
变量 <math> S_1' </math>是良定义的，因为所有概率都是非负的，并且可以很容易地证明：
变量 <math> S_1' </math>是良定义的，因为所有概率都是非负的，并且可以很容易地证明：
<math>
<math>
\sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1.
\sum_{s_1 \in \mathcal{S}_1} \operatorname{Pr}(S_1' = s_1) = \sum_{(s_1, s_2, t) \in \mathcal{S}_1 \times \mathcal{S}_2 \times \mathcal{T}} \operatorname{Pr}(S_1 = s_1 | T = t) \operatorname{Pr}(S_2 = s_2 | T = t) \operatorname{Pr}(T = t) = 1.
</math>
</math>
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
上式直观地说明了构造新联合概率分布的原理。它保留了每个源变量与目标变量之间的原始成对联合概率分布（即 <math> (S_1, T) </math>和 <math>(S_2, T) </math>），同时确保源变量在给定目标变量的条件下是条件独立的。这种操作的目的是在保留每个源变量与目标变量之间的成对关系的同时，消除原始联合概率分布中的高阶关系。基于这一逻辑，我们对信息原子的定义如下。
从<math> S_1 </math>和 <math>S_2 </math>到 <math>T </math>的冗余信息为
从<math> S_1 </math>和 <math>S_2 </math>到 <math>T </math>的冗余信息为
<math>\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).</math>
<math>\operatorname{Red}(S_1, S_2 \to T) = I(S_1; T) - \operatorname{Un}(S_1 \to T | S_2).</math>
从 <math> S_1 </math>和<math> S_2 </math>到<math> T </math>的协同信息定义为
从 <math> S_1 </math>和<math> S_2 </math>到<math> T </math>的协同信息定义为
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>
<math>\operatorname{Syn}(S_1, S_2 \to T) = I(S_1; T | S_2) - \operatorname{Un}(S_1 \to T | S_2).</math>