216
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息贡献。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。+ − + 第91行：
第91行： − 对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。+ 第108行：
第108行： + + + + + + + 第280行：
第287行： − 第410行：
第416行： + + + + + + + + + + + + + + + + + − PID框架的应用很多，讨论PID框架的应用+ + + + + + + + + + + + + + + + + +
→相关框架
== 历史 ==
== 历史 ==
1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，其本质上就是冗余，独特，协同信息，因此这些原子（基本单元）能够将多变量系统中信息源对结果变量提供贡献。但在现实世界的许多场景中，了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了我们面临的是多个变量之间的相互作用。多变量信息理论应运而生，试图将信息论推广到多个变量的情况。其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随后利用这个冗余格提出了部分信息原子（Partial Information Atoms）的定义，其本质上就是冗余，独特，协同信息，因此这些原子（基本单元）能够将多变量系统中信息源对结果变量提供的信息完全分解。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同。并引入一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。随的信息完全分解。
== 相关概念 ==
== 相关概念 ==
'''负交互信息问题'''
'''负交互信息问题'''
对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。
如下例子展示了McGill交互信息框架中的负信息问题。
如下例子展示了McGill交互信息框架中的负信息问题。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
这个部分推荐看张江老师推荐的引文Thomas F. Varley,
Information theory for complex systems scientists: What, why, and how,Physics Reports,Volume 1148,2025,Pages 1-55,ISSN 0370-1573,<nowiki>https://doi.org/10.1016/j.physrep.2025.09.007</nowiki>.
(<nowiki>https://www.sciencedirect.com/science/article/pii/S037015732500256X</nowiki>)
== 部分信息分解（PID）框架 ==
== 部分信息分解（PID）框架 ==
此时，协同恰好为McGill负交互信息的相反数。
此时，协同恰好为McGill负交互信息的相反数。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。
比如
比如
== 信息原子的数值计算 ==
本部分为张江老师提供的建议：PID框架中的信息原子在数学上的定义式在百科中体现了之后，还可以考虑增加对PID框架信息原子的算法、程序包的介绍，可以引介一些算法、程序包、放上一些例子和效果。
https://towardsdatascience.com/what-is-partial-information-decomposition-and-how-features-interact-a713456a1029/<nowiki/>链接中提到了作为信息论实验的Dit库
James et al., (2018). dit: a Python package for discrete information theory. Journal of Open Source Software, 3(25), 738, <nowiki>https://doi.org/10.21105/joss.00738</nowiki>
还有专门实现PID计算的pietromarchesi库：https://github.com/pietromarchesi/pidpy
可以分别展示用这两个库进行某些多变量系统的部分信息分解实验的例子，讲解其中模块的原理。
== PID框架的应用 ==
== PID框架的应用 ==
PID框架的应用很多，讨论PID框架的应用研究时。个人认为应当仅可能地遵从如下的三个原则：1.尽可能寻找直接用PID框架或变体并不是很大的PID框架，而非仅有逻辑结构和架构设计思路上与PID框架相关的框架去处理问题的研究 ；2.这类研究在主题的选择熵要尽可能地和集智斑图、集智学园中较为热点的读书会、课程主题产生交集——比如尽量选择PID框架在复杂系统(因果涌现)中的应用、PID框架在人工智能中的应用、PID框架在计算神经科学中/意识研究的应用（可选）——各举一个较为代表性的例子即可 3.要尽可能选择相对成熟、已经有一定影响程度，已经在学术界成为一定程度共识，被可靠的信源引用的研究。
PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域 、意识研究领域中的应用。
=== PID在复杂系统科学领域的应用 ===
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246（这个重点写，因为涉及到PID与因果涌现）
=== PID框架在人工智能领域中的应用 ===
Tax, T.M.S.; Mediano, P.A.M.; Shanahan, M. The Partial Information Decomposition of Generative Neural Network Models. ''Entropy'' 2017, ''19'', 474. https://doi.org/10.3390/e19090474（可选<nowiki/>）
Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）
=== PID框架在意识研究中的应用 ===
Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>
== PID框架的局限 ==
== PID框架的局限 ==
讨论PID框架的局限是为了引出对PID相关框架扩展的介绍，我们主要以举例的形式介绍奥博写在大纲里面的三种框架、部分熵分解、整合信息分解对应的PID框架中的不足。
== PID框架的扩展 ==
== PID框架的扩展 ==