更改

部分信息分解 (查看源代码)

2026年8月31日 (一) 16:41的版本

添加5,453字节、 2026年8月31日 (星期一)

无编辑摘要

第1行：第1行： +

部分信息分解（Partial Information Decomposition, PID）由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，是信息论中用于刻画多个信源如何共同提供关于某个目标变量的信息的框架。经典互信息只能告诉我们信源整体提供了多少信息，却无法区分这些信息究竟是由哪个信源单独提供的、被多个信源重复提供的、还是必须依赖信源间的相互作用才能涌现出来的。PID 的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——

+

* 冗余信息（Redundancy）：多个信源共同提供的、可从任一信源单独获得的信息；

+

*

+

* 独特信息（Unique information）：仅由某一个信源提供、其他信源不具备的信息；

+

*

+

* 协同信息（Synergy）：必须将多个信源联合观察才能获取、任一信源单独都无法提供的信息。

+

为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（某个信源在时与其冗余的信息量达到最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。

+

PID 的目前的缺陷在于PID的冗余信息的公理化方案约束出的部分信息原子形式不唯一且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"。因此后续十年中学术界先后由 Lyu–Clark–Raviv 提出了 <math> I_{\cap}^{\text{Exp}} </math><ref name="Lyu_do_PID" />；由 Kolchinsky 提出了 <math>I_{\cap}^{\star}</math><ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>；由 Barrett 提出了 <math>I_{\cap}^{\text{MMI}}</math><ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>；由 Griffith 等人提出了<math> I_{\cap}^{∧}</math><ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>；由 Ince 提出了<math>I_{\cap}^{\text{Ince}}</math><ref name="Ince_CCT">{{cite journal|author1=Ince R. A.|title=Measuring multivariate redundant information with pointwise common change in surprisal|journal=Entropy|year=2017|volume=19|issue=7|page=318|url=https://doi.org/10.3390/e19070318}}</ref>；由 Finn 和 Lizier 提出了 <math>I_{\cap}^{\text{FL}}</math><ref name="Finn_spec_ambig">{{cite journal|author1=Finn C.|author2=Lizier J. T.|title=Pointwise partial information decomposition using the specificity and ambiguity lattices|journal=Entropy|year=2018|volume=20|issue=4|page=297|url=https://doi.org/10.3390/e20040297}}</ref>；由 Bertschinger 等人提出了<math> I_{\cap}^{\text{BROIA}}</math><ref name="Bertschinger_unique">{{cite journal|author1=Bertschinger N.|author2=Rauh J.|author3=Olbrich E.|author4=Jost J.|author5=Ay N.|title=Quantifying unique information|journal=Entropy|year=2014|volume=16|issue=4|pages=2161–2180|url=https://doi.org/10.3390/e16042161}}</ref>；由 Harder 等人提出了 <math>I_{\cap}^{\text{Harder}}</math><ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>；由 James 等人提出了 <math>I_{\cap}^{\text{dep}}</math><ref name="James_depcon">{{cite journal|author1=James R. G.|author2=Emenheiser J.|author3=Crutchfield J. P.|title=Unique information via dependency constraints|journal=Journal of Physics A: Mathematical and Theoretical|year=2018|volume=52|issue=1|page=014002|url=https://doi.org/10.1088/1751-8121/aae492}}</ref>等多种方案，各自在不同公理组合下成立。

+

尽管存在这些概念上的分歧，PID 已经成为神经科学（神经元群体编码分析）、机器学习（多模态融合、知识蒸馏）、遗传学（基因-环境交互）等领域不可或缺的工具，因为它首次提供了一种原则性的语言来回答"信息究竟是谁、以何种方式贡献给目标的"这一核心问题。

== 历史 ==

1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代[[信息论 Information theory|信息论]]研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>

王盛嘉

175

个编辑