216
个编辑
更改
→两源变量PID框架与部分信息原子
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。
{| class="wikitable"
{| class="wikitable" style="text-align:center;"
|+ 变量、联合分布与独立乘积
! 类型 !! 变量/组合 !! 取值 !! 概率 !! 独立乘积
|-
|-
| <math>X</math> || <math> 0</math> ||<math> 1</math>
| rowspan="6" | 单变量
| rowspan="2" | <math>X</math>
| <math>0</math>
| <math>p_X=\frac{1}{2}</math>
| —
|-
|-
| <math>p_{X}</math> || <math>\frac{1}{2}</math>||<math>\frac{1}{2}</math>
| <math>1</math>
| <math>p_X=\frac{1}{2}</math>
| —
|-
|-
| <math>Y</math> || <math>0</math> || <math>1</math>
| rowspan="2" | <math>Y</math>
| <math>0</math>
| <math>p_Y=\frac{1}{2}</math>
| —
|-
|-
| <math>p_Y</math> || <math>\frac{1}{2}</math> || <math>\frac{1}{2}</math>
| <math>1</math>
| <math>p_Y=\frac{1}{2}</math>
| —
|-
|-
| <math>Z=X \oplus Y</math> || <math> 0 </math> || <math> 1 </math>
| rowspan="2" | <math>Z=X \oplus Y</math>
| <math>0</math>
| <math>p_Z=\frac{1}{2}</math>
| —
|-
|-
| <math>p_{Z}</math> || <math>\frac{1}{2}</math> || <math>\frac{1}{2}</math>
| <math>1</math>
|}
| <math>p_Z=\frac{1}{2}</math>
| —
{| class="wikitable"
|-
| rowspan="12" | 成对
| rowspan="4" | <math>(X,Y)</math>
| <math>(0,0)</math>
| <math>p_{XY}=\frac{1}{4}</math>
| <math>p_X p_Y=\frac{1}{4}</math>
|-
|-
| <math>(X,Y)</math> || <math>p_{XY}</math> || <math>p_Xp_Y</math>
| <math>(0,1)</math>
| <math>p_{XY}=\frac{1}{4}</math>
| <math>p_X p_Y=\frac{1}{4}</math>
|-
|-
| <math>(0,0)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| <math>(1,0)</math>
| <math>p_{XY}=\frac{1}{4}</math>
| <math>p_X p_Y=\frac{1}{4}</math>
|-
|-
| <math>(0,1)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| <math>(1,1)</math>
| <math>p_{XY}=\frac{1}{4}</math>
| <math>p_X p_Y=\frac{1}{4}</math>
|-
|-
| <math>(1,0)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| rowspan="4" | <math>(Y,Z)</math>
| <math>(0,0)</math>
| <math>p_{YZ}=\frac{1}{4}</math>
| <math>p_Y p_Z=\frac{1}{4}</math>
|-
|-
| <math>(1,1)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| <math>(0,1)</math>
| <math>p_{YZ}=\frac{1}{4}</math>
| <math>p_Y p_Z=\frac{1}{4}</math>
|-
|-
| <math>(Y,Z)</math> || <math>p_{YZ}</math> || <math>p_Yp_Z</math>
| <math>(1,0)</math>
| <math>p_{YZ}=\frac{1}{4}</math>
| <math>p_Y p_Z=\frac{1}{4}</math>
|-
|-
| <math>(0,0)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
| <math>(1,1)</math>
| <math>p_{YZ}=\frac{1}{4}</math>
| <math>p_Y p_Z=\frac{1}{4}</math>
|-
|-
| <math>(0,1)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
| rowspan="4" | <math>(X,Z)</math>
| <math>(0,0)</math>
| <math>p_{XZ}=\frac{1}{4}</math>
| <math>p_X p_Z=\frac{1}{4}</math>
|-
|-
| <math>(1,0)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
| <math>(0,1)</math>
| <math>p_{XZ}=\frac{1}{4}</math>
| <math>p_X p_Z=\frac{1}{4}</math>
|-
|-
| <math>(1,1)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
| <math>(1,0)</math>
| <math>p_{XZ}=\frac{1}{4}</math>
| <math>p_X p_Z=\frac{1}{4}</math>
|-
|-
| <math>(X,Z)</math> || <math>p_{XZ}</math> || <math>p_Xp_Z</math>
| <math>(1,1)</math>
| <math>p_{XZ}=\frac{1}{4}</math>
| <math>p_X p_Z=\frac{1}{4}</math>
|-
|-
| <math>(0,0)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| rowspan="4" | 三元
| rowspan="4" | <math>(X,Y,Z)</math>
| <math>(0,0,0)</math>
| <math>p_{XYZ}=\frac{1}{4}</math>
| <math>p_X p_Y p_Z=\frac{1}{8}</math>
|-
|-
| <math>(0,1)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| <math>(0,1,1)</math>
| <math>p_{XYZ}=\frac{1}{4}</math>
| <math>p_X p_Y p_Z=\frac{1}{8}</math>
|-
|-
| <math>(1,0)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| <math>(1,0,1)</math>
| <math>p_{XYZ}=\frac{1}{4}</math>
| <math>p_X p_Y p_Z=\frac{1}{8}</math>
|-
|-
| <math>(1,1)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{4}</math>
| <math>(1,1,0)</math>
| <math>p_{XYZ}=\frac{1}{4}</math>
| <math>p_X p_Y p_Z=\frac{1}{8}</math>
|}
|}
{| class="wikitable"
{| class="wikitable" style="text-align:center;"
|+ 子集类型、总相关性与条件信息指标
| <math>(X,Y,Z)</math> || <math>p_{XYZ}</math> || <math>p_Xp_Yp_Z</math>
! colspan="4" | 可能的子集类型
|-
|-
! 子集类型 !! 集合基数 !! 符号 !! 熵（bit）
|-
|-
| <math>(1,1,0)</math> || <math>\frac{1}{4}</math>||<math>\frac{1}{8}</math>
| <math>\{X\}</math> || <math>1</math> || + || <math>1</math>
|-
|-
| 可能的子集类型 || 集合基数 || 符号 || 熵（bit）
| <math>\{Y\}</math> || <math>1</math> || + || <math>1</math>
|-
|-
| <math>\{X\}</math> || <math> 1 </math> || + || <math>1</math>
| <math>\{Z\}</math> || <math>1</math> || + || <math>1</math>
|-
|-
| <math>\{Y\}</math> || <math> 1 </math> || + || <math> 1 </math>
| <math>\{X,Y\}</math> || <math>2</math> || - || <math>2</math>
|-
|-
| <math>\{Z\}</math> || <math> 1 </math> || + || <math> 1 </math>
| <math>\{Y,Z\}</math> || <math>2</math> || - || <math>2</math>
|-
|-
| <math>\{X,Y\}</math> || <math> 2 </math>|| - || <math>2</math>
| <math>\{X,Z\}</math> || <math>2</math> || - || <math>2</math>
|-
|-
| <math>\{Y,Z\}</math> || <math> 2 </math>|| - || <math> 2 </math>
| <math>\{X,Y,Z\}</math> || <math>3</math> || + || <math>2</math>
|-
|-
| <math>\{X,Z\}</math> || <math> 2 </math> || - || <math>2</math>
! colspan="4" | 总相关性与 McGill 交互信息
|-
|-
! 总相关性 <math>C(X,Y,Z)</math> !! colspan="3" | McGill 交互信息 <math>I(X;Y;Z)</math>
|-
|-
| 总相关性<math>C(X,Y,Z)</math> || McGill交互信息<math>I(X;Y;Z)</math>
| <math>1</math> || colspan="3" | <math>-1</math>
|-
|-
! colspan="4" | 条件熵与条件互信息
|-
|-
! 事件 !! 条件熵 !! colspan="2" | 条件互信息
|-
|-
| <math>(X\vert Y)</math> || <math>1</math>||<math>I(X;Z\vert Y)</math>
| <math>(X\vert Y)</math> || <math>1</math> || colspan="2" | <math>I(X;Z\vert Y)</math>
|-
|-
| <math>(X\vert Y,Z)</math> || <math>0</math>||<math> 1 </math>
| <math>(X\vert Y,Z)</math> || <math>0</math> || colspan="2" | <math>1</math>
|-
|-
| <math>(Y\vert X)</math> || <math> 1 </math>|| <math>I(Y;Z\vert X)</math>
| <math>(Y\vert X)</math> || <math>1</math> || colspan="2" | <math>I(Y;Z\vert X)</math>
|-
|-
| <math>(Y\vert X,Z)</math> ||<math>0 </math> || <math> 1 </math>
| <math>(Y\vert X,Z)</math> || <math>0</math> || colspan="2" | <math>1</math>
|}
|}