216
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − + − + 第9行：
第9行： − PID 的目前的缺陷在于PID的冗余信息的公理化方案约束出的部分信息原子形式不唯一且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"。因此后续学术界先后由 Lyu–Clark–Raviv 提出了 <math> I_{\cap}^{\text{Exp}} </math><ref name="Lyu_do_PID" />；由 Kolchinsky 提出了 <math>I_{\cap}^{\star}</math><ref name="Kolchinsky_Blackwell">{{cite journal|author1=Kolchinsky A.|title=A novel approach to the partial information decomposition|journal=Entropy|year=2022|volume=24|issue=3|page=403|url=https://doi.org/10.3390/e24030403}}</ref>；由 Barrett 提出了 <math>I_{\cap}^{\text{MMI}}</math><ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>；由 Griffith 等人提出了<math> I_{\cap}^{∧}</math><ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>；由 Ince 提出了<math>I_{\cap}^{\text{Ince}}</math><ref name="Ince_CCT">{{cite journal|author1=Ince R. A.|title=Measuring multivariate redundant information with pointwise common change in surprisal|journal=Entropy|year=2017|volume=19|issue=7|page=318|url=https://doi.org/10.3390/e19070318}}</ref>；由 Finn 和 Lizier 提出了 <math>I_{\cap}^{\text{FL}}</math><ref name="Finn_spec_ambig">{{cite journal|author1=Finn C.|author2=Lizier J. T.|title=Pointwise partial information decomposition using the specificity and ambiguity lattices|journal=Entropy|year=2018|volume=20|issue=4|page=297|url=https://doi.org/10.3390/e20040297}}</ref>；由 Bertschinger 等人提出了<math> I_{\cap}^{\text{BROIA}}</math><ref name="Bertschinger_unique">{{cite journal|author1=Bertschinger N.|author2=Rauh J.|author3=Olbrich E.|author4=Jost J.|author5=Ay N.|title=Quantifying unique information|journal=Entropy|year=2014|volume=16|issue=4|pages=2161–2180|url=https://doi.org/10.3390/e16042161}}</ref>；由 Harder 等人提出了 <math>I_{\cap}^{\text{Harder}}</math><ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>；由 James 等人提出了 <math>I_{\cap}^{\text{dep}}</math><ref name="James_depcon">{{cite journal|author1=James R. G.|author2=Emenheiser J.|author3=Crutchfield J. P.|title=Unique information via dependency constraints|journal=Journal of Physics A: Mathematical and Theoretical|year=2018|volume=52|issue=1|page=014002|url=https://doi.org/10.1088/1751-8121/aae492}}</ref>等多种方案，各自在不同公理组合下成立。 − 尽管存在这些概念上的分歧，PID 已经成为神经科学（神经元群体编码分析）、机器学习（多模态融合、知识蒸馏）、遗传学（基因-环境交互）等领域不可或缺的工具，因为它首次提供了一种原则性的语言来回答"信息究竟是谁、以何种方式贡献给目标的"这一核心问题。+ + + + + + + 第42行：
第47行： − − − 第67行：
第69行： − − 第99行：
第99行： + 第109行：
第110行： + 第242行：
第244行： − − 第303行：
第303行： − − 第549行：
第547行： − + 第676行：
第674行： − + 第707行：
第705行： − − 第732行：
第728行： + 第746行：
第743行： + 第757行：
第755行： + 第766行：
第765行： + 第784行：
第784行： + 第799行：
第800行： − − − − + 第824行：
第822行： − − 第834行：
第830行： + − 对这一方法的进一步介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由[[杨明哲]]同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。+ 第868行：
第865行： + + − − − − + − − 此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。 第893行：
第887行： + − 而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》<ref>[https://www.nature.com/articles/s41593-022-01070-0 Luppi, Andrea I., et al. "A synergistic core for human brain evolution and cognition." ''Nature neuroscience'' 25.6 (2022): 771-782.]</ref>之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。 + − 这一工作的创新点在于将[[部分信息分解|部分信息分解（PID)框架]]延申的[[整合信息分解|<math>\Phi</math> ID框架]]引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用[[整合信息分解|<math>\Phi</math> ID框架]]将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的[[互信息]]分解为[[冗余]]、[[特有]]与[[协同]]三个部分。 − 第916行：
第909行： + 第922行：
第916行： − 第933行：
第926行： − 第939行：
第931行： + 第950行：
第943行： − 第958行：
第950行： − − − − − − +
无编辑摘要
部分信息分解（Partial Information Decomposition, PID）由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，是信息论中用于刻画多个信源如何共同提供关于某个目标变量的信息的框架。经典互信息只能告诉我们信源整体提供了多少信息，却无法区分这些信息究竟是由哪个信源单独提供的、被多个信源重复提供的、还是必须依赖信源间的相互作用才能涌现出来的。PID 的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——
部分信息分解（Partial Information Decomposition, PID）是于刻画多个信源如何共同提供关于某个目标变量的信息的多变量信息论框架，由 Williams 和 Beer 于 2010 年提出<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>。PID框架的核心思想是：将总互信息唯一地拆解成若干个非负的信息原子（PI-atoms），分别对应三种基本类型——
* 冗余信息（Redundancy）：多个信源共同提供的、可从任一信源单独获得的信息；
* 冗余信息（Redundancy）：多个信源共同提供的、可从任一信源单独获得的信息；
* 独特信息（Unique information）：仅由某一个信源提供、其他信源不具备的信息；
* 特有信息（Unique information）：仅由某一个信源提供、其他信源不具备的信息；
* 协同信息（Synergy）：必须将多个信源联合观察才能获取、任一信源单独都无法提供的信息。
* 协同信息（Synergy）：必须将多个信源联合观察才能获取、任一信源单独都无法提供的信息。
为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（目标变量与某个信源自身的冗余信息量是所有包含这个信源的冗余信息中的最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。
为了保证分解的数学严谨性，Williams 和 Beer 提出冗余信息应满足三条公理——对称性（冗余与信源顺序无关）、自冗余性（目标变量与某个信源自身的冗余信息量是所有包含这个信源的冗余信息中的最大值）、单调性（加入更多信源不会增加冗余），由此给出冗余信息的一种度量 <math>I_{\min}</math>，并诱导出一个称为冗余晶格（redundancy lattice）的偏序结构，随后通过对 <math>I_{\min}</math>做 Möbius 逆变换，即可得到冗余晶格中每个节点对应的部分信息原子，且其恒定非负。
PID框架的局限集中在两点，其一是冗余信息的公理化方案约束出的部分信息原子形式不唯一，且信源数 ≥ 3 时，不存在一种冗余信息的度量能同时满足 Williams 和 Beer 三条公理、局部非负性、以及 Harder 等人<ref name="Harder_IRed">{{cite journal|author1=Harder M.|author2=Salge C.|author3=Polani D.|title=Bivariate measure of redundant information|journal=Physical Review E|year=2013|volume=87|issue=1|page=012130|url=https://doi.org/10.1103/PhysRevE.87.012130}}</ref>提出的"恒等公理"，为此，多为人员尝给出部分信息原子公理化的方案，这些PID框架各自在不同公理组合下成立；其二则是信息原子的计算可行性问题——对变量数过大规模系统，使用Williams和Beer原始PID方案对复杂系统进行PID分析会产生过高的计算成本，为此高斯型PID框架，作为提高标准PID框架可计算度的扩展方案被提出。扩展
尽管PID框架存在上述，但其独特的理论结构和优良的可扩展性，使得PID框架可以通过灵活的扩展框架或变体应用于不同场景之中。
目前PID 已经成为复杂系统、因果科学、脑与神经科学、人工智能等领域不可或缺的工具，因为它首次提供了一种原则性的语言来回答"信息究竟是谁、以何种方式贡献给目标的"这一核心问题。
== 历史 ==
== 历史 ==
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代[[信息论 Information theory|信息论]]研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
1948年，[[克劳德·艾尔伍德·香农 Claude Elwood Shannon|克劳德·艾尔伍德·香农（Claude Elwood Shannon）]]开启了现代[[信息论 Information theory|信息论]]研究，为人们提供了分析数据所蕴含信息的强大工具。香农提出的'''[[互信息|互信息 Mutual Information]]'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典[[互信息]]主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
=== [[联合熵]] ===
=== [[联合熵]] ===
对多元离散随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体,可相应地定义
对多元离散随机变量组<math>{X_1，X_2,\dots, X_n}</math>构成的整体,可相应地定义
<math>H(X_1,X_2,\dots,X_n | Y) = - \int\int\dots \int _{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n \mathrm{d}y</math>
<math>H(X_1,X_2,\dots,X_n | Y) = - \int\int\dots \int _{x_1,\dots,x_n,y} p(x_1,\dots,x_n,y)\log p(x_1,\dots,x_n | y) \mathrm{d}x_1 \mathrm{d}x_2 \dots \mathrm{d}x_n \mathrm{d}y</math>
从定义容易推出，条件熵、联合熵与信息熵之间具有如下关系：
从定义容易推出，条件熵、联合熵与信息熵之间具有如下关系：
其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。
其中<math>p_(XY)(x_i,y_i)</math>是随机变量取值为<math>X=x_i,Y =y_i</math>时的联合概率，<math>p_(X)(x_i),p_(Y)(y_i)</math>分别为<math>X=x_i</math>单独发生的概率和<math>Y=y_i</math>单独发生的概率。
<math>I(X:Y)= H_X+H_Y - H_{XY}</math>
<math>I(X:Y)= H_X+H_Y - H_{XY}</math>
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的目标变量,<math>S_1,S_2</math>为信道中的源变量
设有三个随机变量，<math>S_1,S_2,T</math>,其中<math>T</math>为信道中的目标变量,<math>S_1,S_2</math>为信道中的源变量
记<math>S_1,S_2</math>整体构成了随机变量组:
记<math>S_1,S_2</math>整体构成了随机变量组:
I(T = t; S_i) = \sum_{\mathbf{s}}p(\mathbf{\mathbf{s}}|t)\log_2\frac{p(t|\mathbf{s})}{p(\mathbf{s})}
I(T = t; S_i) = \sum_{\mathbf{s}}p(\mathbf{\mathbf{s}}|t)\log_2\frac{p(t|\mathbf{s})}{p(\mathbf{s})}
</math>
</math>
在给出两源情形下的[[冗余]]信息原子的定义后，集智百科将以经典的异或目标变量情形为例展示PID的计算过程，并同时计算[[总相关性]]与[[McGill交互信息]]，讨论PID框架如何解释[[McGill交互信息]]的负值问题。
在给出两源情形下的[[冗余]]信息原子的定义后，集智百科将以经典的异或目标变量情形为例展示PID的计算过程，并同时计算[[总相关性]]与[[McGill交互信息]]，讨论PID框架如何解释[[McGill交互信息]]的负值问题。
</math>
</math>
与[[克劳德·香农|香农]][[互信息]]不同其只适用于零误差通信故要改进以适配互信息的场景因此更改为
与[[克劳德·香农|香农]][[互信息]]不同，其只适用于零误差通信故要改进以适配互信息的场景，因此更改为：
<math>
<math>
Lyu、Clark 与 Raviv等研究者认为,基于[[冗余晶格]]结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在[[部分信息分解|PID框架]]中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整的反链格原子分解，而直接定义多源[[独特]]、(K)-阶 [[协同]]、总[[协同]]（total synergy） 等可解释量。
Lyu、Clark 与 Raviv等研究者认为,基于[[冗余晶格]]结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在[[部分信息分解|PID框架]]中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整的反链格原子分解，而直接定义多源[[独特]]、(K)-阶 [[协同]]、总[[协同]]（total synergy） 等可解释量。
=== [[部分信息分解|PID框架]]在应用层面的局限 ===
=== [[部分信息分解|PID框架]]在应用层面的局限 ===
PID 框架的在实际应用中的核心问题集中在[[冗余晶格]]中信息原子的计算可行性问题上，具体地说，是由多元情况下[[冗余晶格]]中的信息原子数目过大带来的计算困难上。
PID 框架的在实际应用中的核心问题集中在[[冗余晶格]]中信息原子的计算可行性上，具体地说，是由多元情况下[[冗余晶格]]中的信息原子数目过大带来的计算困难上。
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>M(n)-2</math>阶Dedekind数，其中,<math>M(n)
==== Thin-PID ====
==== Thin-PID ====
Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究在~G-PID的基础之上推进了一步。
Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究在~G-PID的基础之上推进了一步。
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, Wenyuan, et al. "Partial information decomposition via normalizing flows in latent Gaussian distributions." ''Advances in Neural Information Processing Systems'' 38 (2026): 4495-4530.]</ref>中提出 Thin-PID 作为 latent Gaussian distributions 中提升高斯型PID计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, Wenyuan, et al. "Partial information decomposition via normalizing flows in latent Gaussian distributions." ''Advances in Neural Information Processing Systems'' 38 (2026): 4495-4530.]</ref>中提出 Thin-PID 作为 latent Gaussian distributions 中提升高斯型PID计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
<math>I(X_1;X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
<math>I(X_1;X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})
</math>
</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
=== [[广义信息分解]] ===
=== [[广义信息分解]] ===
[[广义信息分解]]（GID）框架是一种基于[[Kullback-Leibler散度]]的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
[[广义信息分解]]（GID）框架是一种基于[[Kullback-Leibler散度]]的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
=== [[整合信息分解|整合信息分解(ΦID)]] ===
=== [[整合信息分解|整合信息分解(ΦID)]] ===
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq \alpha',\beta \preceq \beta'</math>
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq \alpha',\beta \preceq \beta'</math>
'''[[双重冗余函数]]'''：
'''[[双重冗余函数]]'''：
[[双重冗余函数]]<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对[[双重冗余晶格]]中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
[[双重冗余函数]]<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对[[双重冗余晶格]]中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
常用的[[双重冗余函数]]为[[最小互信息函数]]：
常用的[[双重冗余函数]]为[[最小互信息函数]]：
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
==== SURD上的因果分解 ====
==== SURD上的因果分解 ====
从观测数据中识别一个或多个变量是否对另一变量的未来状态有真正的因果影响，并区分这种影响是独立的、共享的还是组合涌现的是因果推断方法领域的一个挑战。
从观测数据中识别一个或多个变量是否对另一变量的未来状态有真正的因果影响，并区分这种影响是独立的、共享的还是组合涌现的是因果推断方法领域的一个挑战。
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解)<ref>[https://www.nature.com/articles/s41467-024-53373-4 Martínez-Sánchez, Álvaro, Gonzalo Arranz, and Adrián Lozano-Durán. "Decomposing causality into its synergistic, unique, and redundant components." ''Nature Communications'' 15.1 (2024): 9296.]</ref>是一种旨在解决上述问题的新型[[因果推断]]方法。
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解)<ref>[https://www.nature.com/articles/s41467-024-53373-4 Martínez-Sánchez, Álvaro, Gonzalo Arranz, and Adrián Lozano-Durán. "Decomposing causality into its synergistic, unique, and redundant components." ''Nature Communications'' 15.1 (2024): 9296.]</ref>是一种旨在解决上述问题的新型[[因果推断]]方法。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
这一方法克服了传统[[因果推断]]技术，如[[Granger因果]]、[[转移熵]]、 [[convergent cross-mapping]]等方法无法区分[[协同因果]]、[[冗余因果]]等由多变量作用导致的因果关系的局限。
这一方法克服了传统[[因果推断]]技术，如[[Granger因果]]、[[转移熵]]、 [[convergent cross-mapping]]等方法无法区分[[协同因果]]、[[冗余因果]]等由多变量作用导致的因果关系的局限。
关于这一方法的详细介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由[[杨明哲]]同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
在2025年的文章《Associative conditioning in gene regulatory network models increases integrative causal emergence》中<ref>[https://www.nature.com/articles/s42003-025-08411-2 Pigozzi, Federico, Adam Goldstein, and Michael Levin. "Associative conditioning in gene regulatory network models increases integrative causal emergence." ''Communications Biology'' 8.1 (2025): 1027.]</ref>,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。
在2025年的文章《Associative conditioning in gene regulatory network models increases integrative causal emergence》中<ref>[https://www.nature.com/articles/s42003-025-08411-2 Pigozzi, Federico, Adam Goldstein, and Michael Levin. "Associative conditioning in gene regulatory network models increases integrative causal emergence." ''Communications Biology'' 8.1 (2025): 1027.]</ref>,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。
几位研究者的试图研究学习过程是否能增强系统整合性，为此，他们选择了基因调控网络（GRNs）为研究对象，考察了GRNs在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。
几位研究者的试图研究学习过程是否能增强系统整合性，为此，他们选择了基因调控网络（GRNs）为研究对象，考察了GRNs在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。
为了量化网络的涌现程度，研究者们引入了基于作为PID扩展的[[整合信息分解|<math>\Phi</math> ID]]而开发的[[因果涌现]]度量理论。[[整合信息分解|<math>\Phi</math> ID框架]]通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的[[因果涌现]]性。
为了量化网络的涌现程度，研究者们引入了基于作为PID扩展的[[整合信息分解|<math>\Phi</math> ID]]而开发的[[因果涌现]]度量理论。[[整合信息分解|<math>\Phi</math> ID框架]]通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的[[因果涌现]]性。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框架]]对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框架]]对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的[[涌现]]能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的[[涌现]]能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——[[冗余]]信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。而高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏有效量化协同信息的计算工具，其神经基础长期难以直接揭示。
神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——[[冗余]]信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。而高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏有效量化协同信息的计算工具，其神经基础长期难以直接揭示。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》<ref>[https://www.nature.com/articles/s41593-022-01070-0 Luppi, Andrea I., et al. "A synergistic core for human brain evolution and cognition." ''Nature neuroscience'' 25.6 (2022): 771-782.]</ref>之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将[[部分信息分解|部分信息分解（PID)框架]]延申的[[整合信息分解|<math>\Phi</math> ID框架]]引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用[[整合信息分解|<math>\Phi</math> ID框架]]将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的[[互信息]]分解为[[冗余]]、[[特有]]与[[协同]]三个部分。
研究者们使用了由[[协同]]信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而[[冗余]]信息则主导感觉运动区，且[[冗余]]网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的[[整合信息分解|<math>\Phi</math> ID]]分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的[[信息论]]基础。
研究者们使用了由[[协同]]信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而[[冗余]]信息则主导感觉运动区，且[[冗余]]网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的[[整合信息分解|<math>\Phi</math> ID]]分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的[[信息论]]基础。
关于这一工作的详细介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图]网站,在[https://pattern.swarma.org/study_group/43 《因果涌现读书会（第五季）》]中由[[王志鹏]]同学主讲的[https://pattern.swarma.org/study_group_issue/692 《大脑认知与演化的协同核》]视频中进行查看。
关于这一工作的详细介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图]网站,在[https://pattern.swarma.org/study_group/43 《因果涌现读书会（第五季）》]中由[[王志鹏]]同学主讲的[https://pattern.swarma.org/study_group_issue/692 《大脑认知与演化的协同核》]视频中进行查看。
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，被作者提出为一种用于比较不同意识状态的信息整合指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，被作者提出为一种用于比较不同意识状态的信息整合指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
这一工作中，由PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率
这一工作中，由PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率
两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。
两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架<ref>[https://journals.aps.org/prl/abstract/10.1103/nrwj-n8lj Faes, Luca, et al. "Partial information rate decomposition." ''Physical Review Letters'' 135.18 (2025): 187401.]</ref>，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架<ref>[https://journals.aps.org/prl/abstract/10.1103/nrwj-n8lj Faes, Luca, et al. "Partial information rate decomposition." ''Physical Review Letters'' 135.18 (2025): 187401.]</ref>，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，[[PIRD框架]]能够精准捕捉到[[zero-lag PID]]无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于[[zero-lag PID]]方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，[[PIRD框架]]能够精准捕捉到[[zero-lag PID]]无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于[[zero-lag PID]]方案。
==== LVLMs的信息分解 ====
==== LVLMs的信息分解 ====
在[[人工智能]]领域中，PID框架中的[[冗余]]、[[特有]]、[[协同]]等原子常被用于模型和算法设计中。
在[[人工智能]]领域中，PID框架中的[[冗余]]、[[特有]]、[[协同]]等原子常被用于模型和算法设计中。
Xiu Lixin等研究者在2026年的工作 《A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models》<ref>[https://arxiv.org/abs/2603.29676 A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models]</ref>中,基于PID框架构建了一套模型无关的量化分析框架,为揭示[[视觉-语言大模型（LVLMs)]]推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
Xiu Lixin等研究者在2026年的工作 《A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models》<ref>[https://arxiv.org/abs/2603.29676 A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models]</ref>中,基于PID框架构建了一套模型无关的量化分析框架,为揭示[[视觉-语言大模型（LVLMs)]]推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
研究者们将[[LVLMs]]的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
研究者们将[[LVLMs]]的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。