更改

跳到导航 跳到搜索
删除6字节 、 2026年8月31日 (星期一)
无编辑摘要
第1行: 第1行:  
部分信息分解(Partial Information Decomposition, PID)由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>,是信息论中用于刻画多个信源如何共同提供关于某个目标变量的信息的框架。经典互信息只能告诉我们信源整体提供了多少信息,却无法区分这些信息究竟是由哪个信源单独提供的、被多个信源重复提供的、还是必须依赖信源间的相互作用才能涌现出来的。PID 的核心思想是:将总互信息唯一地拆解成若干个非负的信息原子(PI-atoms),分别对应三种基本类型——
 
部分信息分解(Partial Information Decomposition, PID)由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>,是信息论中用于刻画多个信源如何共同提供关于某个目标变量的信息的框架。经典互信息只能告诉我们信源整体提供了多少信息,却无法区分这些信息究竟是由哪个信源单独提供的、被多个信源重复提供的、还是必须依赖信源间的相互作用才能涌现出来的。PID 的核心思想是:将总互信息唯一地拆解成若干个非负的信息原子(PI-atoms),分别对应三种基本类型——
   −
* ·冗余信息(Redundancy):多个信源共同提供的、可从任一信源单独获得的信息;
+
* 冗余信息(Redundancy):多个信源共同提供的、可从任一信源单独获得的信息;
   −
* ·独特信息(Unique information):仅由某一个信源提供、其他信源不具备的信息;
+
* 独特信息(Unique information):仅由某一个信源提供、其他信源不具备的信息;
   −
* ·协同信息(Synergy):必须将多个信源联合观察才能获取、任一信源单独都无法提供的信息。
+
* 协同信息(Synergy):必须将多个信源联合观察才能获取、任一信源单独都无法提供的信息。
    
为了保证分解的数学严谨性,Williams 和 Beer 提出冗余信息应满足三条公理——对称性(冗余与信源顺序无关)、自冗余性(某个信源在时与其冗余的信息量达到最大值)、单调性(加入更多信源不会增加冗余),由此给出冗余信息的一种度量 <math>I_{\min}</math>,并诱导出一个称为冗余晶格(redundancy lattice)的偏序结构,随后通过对 <math>I_{\min}</math>做 Möbius 逆变换,即可得到冗余晶格中每个节点对应的部分信息原子,且其恒定非负。
 
为了保证分解的数学严谨性,Williams 和 Beer 提出冗余信息应满足三条公理——对称性(冗余与信源顺序无关)、自冗余性(某个信源在时与其冗余的信息量达到最大值)、单调性(加入更多信源不会增加冗余),由此给出冗余信息的一种度量 <math>I_{\min}</math>,并诱导出一个称为冗余晶格(redundancy lattice)的偏序结构,随后通过对 <math>I_{\min}</math>做 Möbius 逆变换,即可得到冗余晶格中每个节点对应的部分信息原子,且其恒定非负。
175

个编辑

导航菜单