175
个编辑
更改
跳到导航
跳到搜索
第339行：
第339行： − + − + − 但对于多源变量的情况，其协同信息，独特信息，冗余信息（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用冗余格来重塑系统的结构以产生一个偏序关系使其可以通过莫比乌斯反演得到类似上一段里的两源变量部分信息分解的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍冗余格如何产生。+ 第377行：
第377行： − + − 下面介绍具体如何构建三源变量的冗余格：+ − 首先图中的节点含义如下：独有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的协同信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的冗余信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的冗余信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的协同信息和变量23的协同信息间存在的冗余信息：<math>\{12\}\{23\}</math>。+ − + − + − + − 冗余格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用<math>I_{\min}</math>的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式定义：+ 第408行：
第408行： − + 第419行：
第419行： − +
→冗余格
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。
=== 冗余格 ===
=== 冗余晶格 ===
在两源变量的维恩图里我们可以观察到：<math>I(S;R_{1})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})</math>,<math>
在两源变量的维恩图里我们可以观察到：<math>I(S;R_{1})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})</math>,<math>
I(S;R_{1},R_{2})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})+Unq(S;R_{2})+Syn(S;R_{1},R_{2});\{1\})</math>。由于<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>都是已知的，则我们给定冗余信息，协同信息，独特信息中任何一个的定义都可以唯一确定这个系统，这篇文章选了冗余信息。基于下述三大冗余信息公理可以得到冗余信息的定义。
I(S;R_{1},R_{2})=Unq(S;R_{1})+Rdn(S;R_{1},R_{2})+Unq(S;R_{2})+Syn(S;R_{1},R_{2});\{1\})</math>。由于<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>都是已知的，则我们给定冗余信息，协同信息，特有信息中任何一个的定义都可以唯一确定这个系统，这篇文章选了冗余信息。基于下述三大冗余信息公理可以得到冗余信息的定义。
但对于多源变量的情况，其协同信息，特有信息，冗余信息（即部分信息原子）结构十分复杂，难以直接进行分解。因此，我们需要使用冗余晶格来重塑系统的结构以产生一个偏序关系使其可以通过莫比乌斯反演得到类似上一段里的两源变量部分信息分解的关系式，再结合冗余信息的定义得到每个部分信息原子。下面介绍冗余晶格如何产生。
在维恩图中，冗余度可以视为<math>I（S;\mathbf{A}_{i})</math>之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念
在维恩图中，冗余度可以视为<math>I（S;\mathbf{A}_{i})</math>之间的交集。因此通过集合之间的包含关系，我们可以大大简化冗余度的概念
\mathbf{A}\subseteq\mathbf{B}.
\mathbf{A}\subseteq\mathbf{B}.
\end{equation}
\end{equation}
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到冗余格（redundancy lattice）(见下图展示了三源变量的冗余格结构和其对应的韦恩图)，其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素，便得到冗余晶格（redundancy lattice）(见下图展示了三源变量的冗余晶格结构和其对应的韦恩图)，其中较高元素提供的冗余信息不少于较低元素有了结构和偏序关系。
下面介绍具体如何构建三源变量的冗余晶格：
首先图中的节点含义如下：特有信息： <math>\{1\}, \{2\}, \{3\}</math> ；两变量间的冗余信息： <math>\{1\}\{2\}, \{1\}\{3\}, \{2\}\{3\}</math>）；两变量间的协同信息： <math>\{12\}, \{13\}, \{23\}</math>。所有三个变量共同提供的冗余信息： <math>\{1\}\{2\}\{3\}</math>；所有三个变量共同提供的协同信息： <math>\{123\}</math>；一个变量单独提供的信息，与另外两个变量联合提供的信息之间存在的冗余信息： <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math> 和 <math>\{3\}\{12\}</math> ；三个两两协同的信息之间存在的冗余信息 ：<math>\{12\}\{13\}\{23\}</math> ；变量12的协同信息和变量23的协同信息间存在的冗余信息：<math>\{12\}\{23\}</math>。
然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的冗余信息放在最下层开始，比这个区域多一些信息的区域是两变量间的冗余信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量冗余格。
然后，节点间的连边代表了一种邻接关系。最后，我们可以从三个变量共同提供的冗余信息放在最下层开始，比这个区域多一些信息的区域是两变量间的冗余信息，将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息（即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域），故这三个节点都与最底层的节点间有邻接关系（连边），对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量冗余晶格。
[[文件:24234234224.png|缩略图|三源变量冗余格]]
[[文件:24234234224.png|缩略图|三源变量冗余晶格]]
[[文件:674776478.png|缩略图|三源变量韦恩图]]
[[文件:674776478.png|缩略图|三源变量韦恩图]]
这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
这里我们可以发现，这个偏序关系实际上找到了一个基于冗余的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>，<math>Rdn(S;R_{1},R_{2})</math>，<math>Unq(S;R_{2})</math>，<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自冗余将<math>I(S;R_{1},R_{2})</math>理解为其的自冗余，并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基，在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>，<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>，即形成冗余晶格，其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
==== 其余信息原子计算 ====
==== 其余信息原子计算 ====
冗余晶格中每个节点所关联的冗余信息，不仅包含所有低于它的节点所提供的冗余信息，还可能包含更多。因此，沿着冗余晶格从下到上移动,<math>I_{\min}</math>可视为一种“累积信息函数”，它对越来越大，越来越包容的源集合所提供的信息进行累积。根据上述，两源变量的情况下我们很容易将交互信息分解为基本信息原子（即特有，冗余，协同三部分）并计算出其具体值，但对多个源变量我们需要使用<math>I_{\min}</math>的一个逆函数，称为部分信息函数（PI-function）来找到基本信息原子。对于源集合<math>\alpha\in\mathcal{A}(\mathbf{R})</math>，部分信息函数记为<math>\Pi_{\mathbf{R}}</math>，并由下式定义：
\begin{equation}
\begin{equation}
I_{\min}(S;\alpha)
I_{\min}(S;\alpha)
\end{equation}
\end{equation}
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
对于两源变量情形<math>\mathbf{R}=\{R_{1},R_{2}\}</math>，<math>I(S;R_{1})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})</math>,<math>
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。唯一信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
I(S;R_{1},R_{2})=\Pi_{\mathbf{R}}(S;\{1\})+\Pi_{\mathbf{R}}(S;\{2\})+\Pi_{\mathbf{R}}(S;\{1\}\{2\})+\Pi_{\mathbf{R}}(S;\{12\})</math>。与上文对比，可立即看出每个部分信息项的含义：冗余信息：<math>\Pi_{\mathbf{R}}(S;\{1\}\{2\})=I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>与 <math>R_{2} </math>的冗余。特有信息：<math>\Pi_{\mathbf{R}}(S;\{1\})=I(S;R_{1})-I_{\min}(S;\{1\}\{2\})</math>，即 <math>R_{1} </math>的总信息减去冗余部分；对 <math>R_{2}</math>同理。协同信息：<math>\Pi_{\mathbf{R}}(S;\{12\})</math> 表示 <math>R_{1}</math>与 <math>R_{2}</math>联合后多出来的那部分信息，即协同。
==== 其余信息原子计算实例 ====
==== 其余信息原子计算实例 ====
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
[[文件:图片3476.png|缩略图|左|两源变量部分信息分解例子]]
另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：
另外我们有<math>I(S;R_1,R_2) = \log 3</math>根据这两个式子及上一小节给出的关系式可以得到如下结果：
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的独有信息；
<math>\Pi_{\mathbf{R}}(S;\{1\}) = \Pi_{\mathbf{R}}(S;\{2\}) = \frac{1}{3}</math>，表示 <math>R_1</math> 和 <math>R_2</math> 各自提供了 <math>\frac{1}{3}</math> 比特的特有信息；
冗余信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从3个减少到2个；
冗余信息为 <math>\Pi_{\mathbf{R}}(S;\{1\}\{2\}) = \log 3 - \log 2</math>，表示知道 <math>R_1</math> 或 <math>R_2</math> 中的任意一个，都能将 <math>S</math> 的可能结果从3个减少到2个；