216
个编辑
更改
→总相关性
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
设<math>\{X_1,X_2,X_3\}</math>为一三元随机变量组变量组，其中<math>X_1,X_2,X_3</math>两两独立，但<math>X_1,X_2</math>构成的整体与<math>X_3</math>有关联。
[[文件:无标题_1.png|链接=特殊:文件路径/无标题_1.png|替代=|居中|628x628像素]]
[[文件:高阶冗余（三两源变量）示意.png|居中|无框|600x600像素]]
一个实例：令<math>X_1,X_2,X_3</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
一个实例：令<math>X_1,X_2,X_3</math>分别为一辆三轮车三个轮胎的损坏情况，<math>\{X_1,X_2\}</math>为后轮组的损坏情况，<math>X_3</math>为前轮的损坏情况。
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
如下面的韦恩图所示,部分信息分解框架中将<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>为如下三个基本单元,PID框架中,这些基本单元被称为'''部分信息原子'''：
[[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中|531x531像素]]
[[文件:1762497522923_1.png|链接=特殊:文件路径/1762497522923_1.png|替代=|居中]]
部分信息原子包括如下三个部分:
部分信息原子包括如下三个部分:
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到冗余晶格（redundancy lattice）(见下图展示了三源变量的冗余晶格结构和其对应的韦恩图)，其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到冗余晶格（redundancy lattice）(见下图展示了三源变量的冗余晶格结构和其对应的韦恩图)，其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。
[[文件:674776478.png|替代=|居中|600x600像素]]
下面介绍具体如何构建三源变量的冗余晶格：
下面介绍具体如何构建三源变量的冗余晶格：
首先图中的节点含义如下：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的协同信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的冗余信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的冗余信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的协同信息和变量23的协同信息间存在的冗余信息：<math>\{12\}\{23\}</math>。
首先图中的节点含义如下：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的协同信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的冗余信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的冗余信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的协同信息和变量23的协同信息间存在的冗余信息：<math>\{12\}\{23\}</math>。
[[文件:24234234224.png|替代=|居中|771x771像素]]
然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的冗余信息放在最下层开始，比这个区域多一些信息的区域是两变量间的冗余信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量冗余晶格。
然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的冗余信息放在最下层开始，比这个区域多一些信息的区域是两变量间的冗余信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量冗余晶格。
这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余晶格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余晶格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
==== 其余信息原子计算实例 ====
==== 其余信息原子计算实例 ====
[[文件:图片3476.png|居左|两源变量部分信息分解例子]]
[[文件:图片3476.png|替代=|居中|600x600像素]]
为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：
为了更具体地理解这些概念，我们来看上图A中的例子。由于该分布具有对称性，显然 <math>R_1</math> 和 <math>R_2</math> 提供的信息量是相同的。实际上，可以验证：
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
[[文件:FlowPID.png|居中|1191x1191像素|替代=|无框]]
[[文件:FlowPID.png|居中|900x900px|替代=|无框]]