175
个编辑
更改
→其余信息原子计算两个例子
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。唯一信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。唯一信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
==== 其余信息原子计算两个例子 ====
==== 其余信息原子计算实例 ====
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：
为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：
<math>I(S;R_1) = I(S;R_2) = \frac{1}{3} \log 3 - \frac{2}{3} \log \frac{2}{3}</math>
<math>I(S;R_1) = I(S;R_2) = \- frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3}</math>
(但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于不同结果的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以完全确定结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。)
(但也可以清楚地看到，<math>R_1</math> 和 <math>R_2</math> 提供的是关于不同结果的信息。具体来说，只要知道 <math>R_1</math> 的值，就可以完全确定结果 <math>S=2</math> 是否发生（而 <math>R_2</math> 无法做到这一点），反之亦然。)
另外我们有<math>I(S;R_1,R_2) = \frac{1}{3} \log 3 - \frac{2}{3} \log \frac{2}{3}</math>
另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的独有信息；
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的独有信息；