更改

跳到导航 跳到搜索
添加184字节 、 2026年7月2日 (星期四)
第480行: 第480行:  
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比,可立即看出每个部分信息项的含义:冗余信息:<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>,即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息:<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>,即 <math>R_{1} </math>的总信息减去冗余部分;对 <math>R_{2}</math>同理。协同信息:<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息,即协同。
 
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比,可立即看出每个部分信息项的含义:冗余信息:<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>,即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息:<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>,即 <math>R_{1} </math>的总信息减去冗余部分;对 <math>R_{2}</math>同理。协同信息:<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息,即协同。
 
===其余信息原子计算实例===
 
===其余信息原子计算实例===
−
[[文件:图片3476.png|替代=|居中|600x600像素]]
+
[[文件:图片3476.png|替代=|居中|600x600像素|<math>S\in\{0,1,2\}</math>和<math>R_1,R_2\in\{0,1\}</math>的示例概率分布,黑色方格表示等概率的结果,白色方格表示零概率的结果,引自<ref name="Paul" />]]
−
为了更具体地理解这些概念,我们来看上图A中的例子。由于该分布具有对称性,显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上,可以验证:
+
为了更具体地理解这些概念,我们来看上图中的例子。由于该分布具有对称性,显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上,可以验证:
    
<math>I(S;R_1) = I(S;R_2) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3}</math>
 
<math>I(S;R_1) = I(S;R_2) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3}</math>
175

个编辑

导航菜单