216
个编辑
更改
跳到导航
跳到搜索
第105行：
第105行： − + + + + + + + + + + + + + + + + + + + + − + − [[文件:示意图.png|无框|800x800像素]]+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + − 此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。+ − 也需要涉及大致的定量公式：+ − [[文件:示意图2.png|无|缩略图|800x800像素]]对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。+
→部分信息分解框架
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量协同作用的效果,启发了PID框架将协同计入信息原子。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量协同作用的效果,启发了PID框架将协同计入信息原子。
== 部分信息分解框架 ==
=== 两源变量框架 ===
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
两源变量框架的基本构成如下：
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的接受变量,<math>S_1,S_2</math>为信道中的信源变量
记<math>S_1,S_2</math>整体构成了随机向量:
<math>\mathbf{S} = \{R_1,R_2\}</math>
考虑<math>\mathbf{S}</math>对<math>T</math>传递的信息
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>传递的信息分解为如下三个部分,称其为信息原子：
[[File:1762497522923 1.png|描述]]
分别为：
'''独特(Un)''':<math>R_1,R_2</math>其中一个可以提供另一个无法提供的信息
=== 两源变量框架 ===
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
'''冗余(Red)''': <math>R_1,R_2</math>均可提供的重复信息（冗余信息）
<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>
'''协同(Syn)''':<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
从而有
<math>I(\mathbf{S};T)=I((S_1,S_2);T) = \mathrm{Syn}(S_1,S_2 \rightarrow T)+ \mathrm{Un}(S_1 \rightarrow T | S_2)+\mathrm{Un}(S_2 \rightarrow T| S_1)+\mathrm{Red}(S_1,S_2\rightarrow T) </math>
从维恩图中显而易见的还有如下两组等式等式成立：
1. 某一源向接收变量传递的信息由其独特和冗余构成
<math>I(S_1;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T| S_2)</math>
<math>I(S_2;T) = \mathrm{Red}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T|S_1)</math>
这意味着可以通过互信息-冗余去计算独特。
2. 某一源向和接收变量组（整体）传递的信息由独特和协同构成
<math>I(T;S_1 |S_2) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_1 \rightarrow T |S_2)</math>
<math>I(T;S_2 |S_1) = \mathrm{Syn}(S_1,S_2 \rightarrow T) + \mathrm{Un}(S_2 \rightarrow T| S_1)</math>
这意味着，在通过'''互信息-冗余'''计算完独特后，可以用'''条件互信息-独特'''计算协同。
==== 例：<math>X,Y,Z</math>三元变量组中，<math>X,Y</math>独立,<math>Z =X \oplus Y</math> ====
当<math>X,Y,Z</math>及相应的联合分布如下时，可计算相应的独特<math>\mathrm{Un}(X\rightarrow Z|Y),\mathrm{Un}(Y\rightarrow Z|X)</math>与协同<math>\mathrm{Syn}(X,Y \rightarrow Z)</math>
由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,又由异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>
{| class="wikitable"
|-
| <math>X</math> || 0 || 1
|-
| <math>p_{X}</math> || <math>\frac{1}{3}</math> || <math>\frac{2}{3}</math>
|-
| <math>Y</math> || 0 || 1
|-
| <math>p_Y</math> || <math>\frac{1}{2}</math> || <math>\frac{1}{2}</math>
|-
| <math>Z=X \oplus Y</math> || 0 || 1
|-
| <math>p_{Z}</math> || <math>\frac{1}{2}</math> || <math>\frac{1}{2}</math>
|}
{| class="wikitable"
|-
| <math>(X,Y)</math> || <math>p_{XY}</math> || <math>p_Xp_Y</math>
|-
| <math>(0,0)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(0,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(1,0)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|-
| <math>(1,1)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|-
| <math>(Y,Z)</math> || <math>p_{YZ}</math> || <math>p_Yp_Z</math>
|-
| <math>(0,0)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(0,1)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(1,0)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(1,1)</math> || <math>\frac{1}{4}</math> || <math>\frac{1}{4}</math>
|-
| <math>(X,Z)</math> || <math>p_{XZ}</math> || <math>p_Xp_Z</math>
|-
| <math>(0,0)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(0,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{6}</math>
|-
| <math>(1,0)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|-
| <math>(1,1)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{3}</math>
|}
{| class="wikitable"
|-
| <math>(X,Y,Z)</math> || <math>p_{XYZ}</math> || <math>p_Xp_Yp_Z</math>
|-
| <math>(0,0,0;)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
|-
| <math>(0,1,1)</math> || <math>\frac{1}{6}</math> || <math>\frac{1}{12}</math>
|-
| <math>(1,0,1)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{6}</math>
|-
| <math>(1,1,0)</math> || <math>\frac{1}{3}</math> || <math>\frac{1}{6}</math>
|}
{| class="wikitable"
|-
| Subset || 集合基数 || 符号 || 熵
|-
| <math>\{X\}</math> || 1 || + || <math>\frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2}</math>
|-
| <math>\{Y\}</math> || 1 || + || 1
|-
| <math>\{Z\}</math> || 1 || + || 1
|-
| <math>\{X,Y\}</math> || 2 || - || <math>\frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3}</math>
|-
| <math>\{Y,Z\}</math> || 2 || - || 2
|-
| <math>\{X,Z\}</math> || 2 || - || <math>\frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3}</math>
|-
| <math>\{X,Y,Z\}</math> || 3 || + || <math>\frac{1}{3}\log_2 {6}+\frac{2}{3}\log_2{3}</math>
|}
{| class="wikitable"
|-
| 总相关性<math>C(X,Y,Z)</math> || McGill交互信息<math>I(X;Y;Z)</math>
|-
| 2 || -1
|}
{| class="wikitable"
|-
| 事件 || 条件熵 || 条件互信息
|-
| <math>(X\vert Y)</math> || <math>\frac{1}{3}\log_2 3 + \frac{2}{3}\log_2\frac{3}{2}</math> || <math>I(X;Z\vert Y)</math>
|-
| <math>(X\vert Y,Z)</math> || <math>\frac{1}{3}\log_2 \frac{3}{2} + \frac{2}{3}\log_2\frac{3}{4}</math> || 1
|-
| <math>(Y\vert X)</math> || 1 || <math>I(Y;Z\vert X)</math>
|-
| <math>(Y\vert X,Z)</math> || 0 || 1
|}
从而容易计算：
<math>\mathrm{Un}(X\rightarrow Z|Y) = \mathrm{Un}(Y\rightarrow Z|X) = -\mathrm{Red}(X,Y \rightarrow Z) =0</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
协同恰好为McGill负交互信息的相反数。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余，为此，PID框架的作者发展出了冗余晶格理论。
=== 冗余格 ===
=== 冗余格 ===