更改

跳到导航 跳到搜索
添加106字节 、 2026年9月4日 (星期五)
第448行: 第448行:  
<math>I(T;S_{1},S_{2})=Unq(T;S_{1})+Rdn(T;S_{1},S_{2})+Unq(T;S_{2})+Syn(T;S_{1},S_{2})</math>
 
<math>I(T;S_{1},S_{2})=Unq(T;S_{1})+Rdn(T;S_{1},S_{2})+Unq(T;S_{2})+Syn(T;S_{1},S_{2})</math>
   −
由于<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>都是已知的,则我们给定[[冗余]]信息,[[协同]]信息,[[特有]]信息中任何一个的定义都可以唯一确定这个两源变量的系统,PID框架的原始论文中选了[[冗余]]信息。基于下述三大[[冗余]]信息公理可以得到[[冗余]]信息的定义。
+
由于<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>都是已知的,则我们给定[[冗余]]信息,[[协同]]信息,[[特有]]信息中任何一个的定义都可以唯一确定这个两源变量的系统,William和Beer论文中选择了给出[[冗余]]信息的定义<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。
    
但对于多源变量的情况,其[[协同信息]],[[特有信息]],[[冗余信息]](即部分信息原子)结构十分复杂,难以直接进行分解。因此,我们需要使用[[冗余晶格]]来重塑系统的结构以产生一个偏序关系使其可以通过[[莫比乌斯反演]]得到类似上一段里的两源变量[[部分信息分解]]的关系式,再结合冗余信息的定义得到每个部分信息原子。下面介绍[[冗余晶格]]如何产生。
 
但对于多源变量的情况,其[[协同信息]],[[特有信息]],[[冗余信息]](即部分信息原子)结构十分复杂,难以直接进行分解。因此,我们需要使用[[冗余晶格]]来重塑系统的结构以产生一个偏序关系使其可以通过[[莫比乌斯反演]]得到类似上一段里的两源变量[[部分信息分解]]的关系式,再结合冗余信息的定义得到每个部分信息原子。下面介绍[[冗余晶格]]如何产生。
第456行: 第456行:  
显然,<math>\mathbf{A}</math> 提供的任何信息也被<math> \mathbf{B}</math>提供,因此 <math>\mathbf{A}</math>与<math>\mathbf{B}</math>之间的冗余退化为<math>\mathbf{A}</math>的自冗余:
 
显然,<math>\mathbf{A}</math> 提供的任何信息也被<math> \mathbf{B}</math>提供,因此 <math>\mathbf{A}</math>与<math>\mathbf{B}</math>之间的冗余退化为<math>\mathbf{A}</math>的自冗余:
 
\begin{equation}
 
\begin{equation}
−
I_{\min}(S;\{\mathbf{A},\mathbf{B}\})
+
I_{\min}(T;\{\mathbf{A},\mathbf{B}\})
−
=I_{\min}(S;\{\mathbf{A}\})=I(S;\mathbf{A}).
+
=I_{\min}(T;\{\mathbf{A}\})=I(T;\mathbf{A}).
 
\end{equation}
 
\end{equation}
−
进一步,对任意源<math>\mathbf{C}</math>,有<math>I_{\min}(S;\{\mathbf{A},\mathbf{B},\mathbf{C}\})
+
进一步,对任意源<math>\mathbf{C}</math>,有<math>I_{\min}(T;\{\mathbf{A},\mathbf{B},\mathbf{C}\})
−
=I_{\min}(S;\{\mathbf{A},\mathbf{C}\})</math>。
+
=I_{\min}(T;\{\mathbf{A},\mathbf{C}\})</math>。
 
推广之,对于任何源集合,若其中某些源是其他源的超集(即这个源包含其他源),则该集合的冗余等价于去掉所有超集后的冗余。因此,<math>I_{\min}</math>的定义域可简化为无源是其他源的超集的那些集合。即:
 
推广之,对于任何源集合,若其中某些源是其他源的超集(即这个源包含其他源),则该集合的冗余等价于去掉所有超集后的冗余。因此,<math>I_{\min}</math>的定义域可简化为无源是其他源的超集的那些集合。即:
 
\begin{equation}
 
\begin{equation}
第469行: 第469行:  
\end{equation}
 
\end{equation}
 
其中 <math>\mathcal{P}_{1}(S)=\mathcal{P}(S)\setminus\{\emptyset\}</math>为<math>S</math>的所有非空子集的集合。
 
其中 <math>\mathcal{P}_{1}(S)=\mathcal{P}(S)\setminus\{\emptyset\}</math>为<math>S</math>的所有非空子集的集合。
−
此后,我们将用带括号的索引简记<math>\mathcal{A}(\mathbf{R})</math>的元素,例如:
+
此后,我们将用带括号的索引简记<math>\mathcal{A}(S)</math>的元素,例如:
−
<math>\{\{R_{1},R_{2}\}\}</math>记为<math>\{12\}</math>,<math>\{\{R_{1}\},\{R_{2},R_{3}\}\}</math>记为<math>\{1\}\{23\}</math>
+
<math>\{\{S_{1},S_{2}\}\}</math>记为<math>\{12\}</math>,<math>\{\{S_{1}\},\{S_{2},S_{3}\}\}</math>记为<math>\{1\}\{23\}</math>
−
通过将上述思路进一步延伸,可在<math>\mathcal{A}(\mathbf{R})</math>的元素上定义一个偏序<math>\preccurlyeq</math>。
+
通过将上述思路进一步延伸,可在<math>\mathcal{A}(S)</math>的元素上定义一个偏序<math>\preccurlyeq</math>。
−
考虑两个源集合 <math>\alpha,\beta\in\mathcal{A}(\mathbf{R})</math>,若对每个源
+
考虑两个源集合 <math>\alpha,\beta\in\mathcal{A}(S)</math>,若对每个源
 
<math>\mathbf{B}\in\beta</math> 都存在源<math>\mathbf{A}\in\alpha</math>使得
 
<math>\mathbf{B}\in\beta</math> 都存在源<math>\mathbf{A}\in\alpha</math>使得
 
<math>\mathbf{A}\subseteq\mathbf{B}</math>,则意味着 <math>\beta</math>中所有源所共享的冗余信息至少包含<math>\alpha</math>中所有源所共享的冗余信息。
 
<math>\mathbf{A}\subseteq\mathbf{B}</math>,则意味着 <math>\beta</math>中所有源所共享的冗余信息至少包含<math>\alpha</math>中所有源所共享的冗余信息。
 
于是,我们可定义偏序:
 
于是,我们可定义偏序:
 
\begin{equation}
 
\begin{equation}
−
\forall\alpha,\beta\in\mathcal{A}(\mathbf{R}),\quad
+
\forall\alpha,\beta\in\mathcal{A}(S),\quad
 
\alpha\preccurlyeq\beta
 
\alpha\preccurlyeq\beta
 
\;\Longleftrightarrow\;
 
\;\Longleftrightarrow\;
第484行: 第484行:  
\mathbf{A}\subseteq\mathbf{B}.
 
\mathbf{A}\subseteq\mathbf{B}.
 
\end{equation}
 
\end{equation}
−
将此偏序应用于<math>\mathcal{A}(\mathbf{R})</math>的元素,便得到[[冗余晶格]](redundancy lattice)(见下图展示了三源变量的[[冗余晶格]]结构和其对应的韦恩图),该偏序给出了不同反链之间的包含关系;[[冗余函数]]在该偏序上是单调的,进而可通过[[莫比乌斯反演]]定义[[部分信息原子]]。
+
将此偏序应用于<math>\mathcal{A}(S)</math>的元素,便得到[[冗余晶格]](redundancy lattice)(见下图展示了三源变量的[[冗余晶格]]结构和其对应的韦恩图),该偏序给出了不同反链之间的包含关系;[[冗余函数]]在该偏序上是单调的,进而可通过[[莫比乌斯反演]]定义[[部分信息原子]]。
 
[[文件:674776478.png|替代=|居中|600x600像素|三源变量的信息结构,<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>,<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2},R_{3}\}\}</math>,以此类推,引自<ref name="Paul" />]]
 
[[文件:674776478.png|替代=|居中|600x600像素|三源变量的信息结构,<math>\{12\}</math>表示<math>\{\{R_{1},R_{2}\}\}</math>,<math>\{1\}\{23\}</math>表示<math>\{\{R_{1}\},\{R_{2},R_{3}\}\}</math>,以此类推,引自<ref name="Paul" />]]
 
下面,集智百科将介绍构建三源变量的冗余晶格的思路:
 
下面,集智百科将介绍构建三源变量的冗余晶格的思路:
第492行: 第492行:  
然后,节点间的连边代表了一种邻接关系。最后,我们可以从三个变量共同提供的[[冗余]]信息放在最下层开始,比这个区域多一些信息的区域是两变量间的[[冗余]]信息,将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息(即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域),故这三个节点都与最底层的节点间有邻接关系(连边),对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量[[冗余]]晶格。
 
然后,节点间的连边代表了一种邻接关系。最后,我们可以从三个变量共同提供的[[冗余]]信息放在最下层开始,比这个区域多一些信息的区域是两变量间的[[冗余]]信息,将这些节点放在上一层并且由于这些节点均来自最底层节点添加了一些信息(即按照上述偏序关系找到这个偏序里比这个区域能提供更多信息的下一个或多个区域),故这三个节点都与最底层的节点间有邻接关系(连边),对节点<math>\{12\}</math>再添加一些信息可以得到节点 <math>\{1\}\{23\}</math>、<math>\{2\}\{13\}</math>故这两个节点与节点<math>\{12\}</math>间有连边。以此类推可以得到完整的三源变量[[冗余]]晶格。
   −
这里我们可以发现,这个偏序关系实际上找到了一个基于[[冗余]]的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(S;R_{1})</math>,<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>然后通过对其的分类产生了<math>Unq(S;R_{1})</math>,<math>Rdn(S;R_{1},R_{2})</math>,<math>Unq(S;R_{2})</math>,<math>Syn(S;R_{1},R_{2});\{1\})</math>。重塑后的结构将<math>I(S;R_{1})</math>和<math>I(S;R_{2})</math>理解为其的自[[冗余]]将<math>I(S;R_{1},R_{2})</math>理解为其的自[[冗余]],并以<math>Rdn(S;R_{1},R_{2})</math>为提供最少信息的一种基,在其上逐层添加提供更多信息来产生出<math>I(S;R_{1})</math>,<math>I(S;R_{2})</math>和<math>I(S;R_{1},R_{2})</math>,即形成[[冗余]]晶格,其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
+
这里我们可以发现,这个偏序关系实际上找到了一个基于[[冗余]]的对图1中结构的重塑。原本的结构是先有两个源变量分别提供的互信息和两个源变量共同提供的互信息<math>I(T;S_{1})</math>,<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>然后通过对其的分类产生了<math>Unq(T;S_{1})</math>,<math>Rdn(T;S_{1},S_{2})</math>,<math>Unq(T;S_{2})</math>,<math>Syn(T;S_{1},S_{2});\{1\})</math>。重塑后的结构将<math>I(T;S_{1})</math>和<math>I(T;S_{2})</math>理解为其的自[[冗余]]将<math>I(T;S_{1},S_{2})</math>理解为其的自[[冗余]],并以<math>Rdn(T;S_{1},S_{2})</math>为提供最少信息的一种基,在其上逐层添加提供更多信息来产生出<math>I(T;S_{1})</math>,<math>I(T;S_{2})</math>和<math>I(T;S_{1},S_{2})</math>,即形成[[冗余]]晶格,其又构成了下文通过累积信息函数得到对交互信息的分解的基础。
    
===其余信息原子计算===
 
===其余信息原子计算===
175

个编辑

导航菜单