216
个编辑
更改
→参考文献列表
==== ~G-PID ====
==== ~G-PID ====
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。
~G-PID框架定义的信息原子，分别是~PID/BROJA-PID框架中同类型信息原子的上界或下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
Praveen Venkatesh, Corbett Bennett等人在三种高斯直觉性示例（纯独特、纯冗余、纯协同）和三种非直觉性示例（独特和冗余、独特且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
Praveen Venkatesh, Corbett Bennett等人在三种高斯直觉性示例（纯独特、纯冗余、纯协同）和三种非直觉性示例（独特和冗余、独特且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
这一方法方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献，其核心思想是将目标变量未来状态的不确定性（Shannon熵）分解为可由观测变量解释的部分和因果泄漏,而后利用PID框架定义的独特、冗余、协同三类信息原子，将观测变量与目标未来的互信息，即可解释的因果信息总量<math>I(Q_{j}^{+};Q)</math>进行分解。SURD 采用特定互信息（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，特定互信息定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
对这一方法的进一步介绍，可访问集智斑图网站,于《因果涌现读书会（第六季）》中由杨明哲同学主讲的分享《SURD上的信息分解》视频中进行查看。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
为了量化网络的涌现程度，研究者们引入了基于作为PID扩展的<math>\Phi</math> ID而开发的因果涌现度量理论。<math>\Phi</math> ID框架通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的因果涌现性。
研究者们使用了最新的<math>\Phi</math> ID框架对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>\Phi</math> ID量化多组件GRNs计算成本大幅降低。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>\Phi</math> ID量化多组件GRNs计算成本大幅降低。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——冗余信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。而高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏有效量化协同信息的计算工具，其神经基础长期难以直接揭示。
神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——冗余信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。而高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏有效量化协同信息的计算工具，其神经基础长期难以直接揭示。
而由Andrea I. Luppi等研究者在2020年提出的大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、独特与协同三个部分。
研究者们利用协同信息原子定义了<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
Luppi等人主张,将意识视为由不同信息论要素构成,可实现对其更全面的刻画。借助由PID框架扩展而来的<math>Phi</math> ID框架，作者定义了<math>\Phi_R</math>(修正的整合信息)与<math>\Phi_{R-ing}</math>比率（意识-信息转化效率）两种刻画意识的信息论指标。
<math>\Phi_R= \mathrm{Synergy} + \mathrm{Transfer}</math>
<math>\Phi_R= \mathrm{Synergy} + \mathrm{Transfer}</math>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
前者解决了IIT 2.0的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非意识量的差异。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD，即部分信息率分解框架，这一框架是静态随机变量系统部分信息分解（PID） 到时间相关性的随机过程系统的扩展。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，L. Faes等研究者们发展了PIRD，即部分信息率分解框架，这一框架是静态随机变量系统部分信息分解（PID） 到时间相关性的随机过程系统的扩展。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，研究者们提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
Xiu Lixin等研究者在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
研究者们将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
2.总相关性概念的原文:Information theoretical analysis of multivariate correlation Satosi Watanabe IBM Journal of Research and Development, Volume 4, Issue 1 Pages 66 - 82 <nowiki>https://doi.org/10.1147/rd.41.0066</nowiki>
2.总相关性概念的原文:Information theoretical analysis of multivariate correlation Satosi Watanabe IBM Journal of Research and Development, Volume 4, Issue 1 Pages 66 - 82 <nowiki>https://doi.org/10.1147/rd.41.0066</nowiki>
3.McGill 信息概念的原文:McGill, W. J. (1954). Multivariate information transmission. ''Psychometrika, 19,'' 97–116. <nowiki>https://doi.org/10.1007/BF02289159</nowiki>
3.McGill 交互信息概念的原文:McGill, W. J. (1954). Multivariate information transmission. Psychometrika'', 19,'' 97–116. <nowiki>https://doi.org/10.1007/BF02289159</nowiki>
4.McGill 交互信息图片引用:https://en.wikipedia.org/wiki/Interaction_information
5.PID原文:Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.'', 2010.''
6.Lyu AoBo等研究者对PID框架冗余格结构的批评:R. Wibral, J. T. Lizier, and P. L. Williams, "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures," Phys. Rev. E 105, 014101 (2022). <nowiki>https://doi.org/10.1103/PhysRevE.105.014101</nowiki>
7.~G-PVenkatesh, P., Bennett, C., Gale, S., Ramirez, T., Heller, G., Durand, S., Olsen, S., & Mihalas, S. (2023). Gaussian partial information decomposition: Bias correction and application to high-dimensional data. In H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, & H. Lin (Eds.), ''Advances in Neural Information Processing Systems'' (Vol. 36, pp. 50409–50422). Curran Associates.ciates,
8.Thin-PID&Flow-Zhao, W., Balachandran, A., Tian, C., & Liang, P. P. (2025). Partial information decomposition via normalizing flows in latent Gaussian distributions. In Advances in Neural Information Processing Systems (Vol. 38). Curran Associates. <nowiki>https://doi.org/10.48550/arXiv.2510.04417ciates</nowiki>,
9.给复杂系统科学家的信息论 综述:Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.
SURD方法原文：Martínez-Sánchez, Á., Arranz, G., & Lozano-Durán, A. (2024). Decomposing causality into its synergistic, unique, and redundant components. arXiv:2405.12411.
10.SURD方法原文：Martínez-Sánchez, Á., Arranz, G., & Lozano-Durán, A. (2024). Decomposing causality into its synergistic, unique, and redundant components. arXiv:2405.12411.
11.杨明哲介绍SURD:因果上的信息分解 | 集智斑图[https://pattern.swarma.org/study_group_issue/894 https://pattern.swarma.org/study_group_is]
[https://pattern.swarma.org/study_group_issue/894 e/894]
[https://pattern.swarma.org/study_group_issue/894 e/894]
12.信息分解在因果涌现中的应用综述：Mediano, P. A. M., Rosas, F. E., Luppi, A. I., Jensen, H. J., Seth, A. K., Barrett, A. B., Carhart-Harris, R. L., & Bor, D. (2022). Greater than the parts: A review of the information decomposition approach to causal emergence. Philosophical Transactions of the Royal Society A, 380(20210246). <nowiki>https://doi.org/10.1098/rsta.2021.0246</nowiki>
13.基因网络中的因果涌现:Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emerCommunications Biology, 8'', ology'', ''8''(1), 1027.
14.王志鹏介绍整合信息分解框架在脑科学/神经科学中的应用:大脑演化和认知的协同核<nowiki/>https://pattern.swarma.org/study_group_issue/692 | 集智斑图
15.Phi ID 用于脑科学研究：Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. Communications Biology, 8(1), 1027. <nowiki>https://doi.org/10.1038/s42003-025-01027-5</nowiki>
16.Phi ID 用于意识研究：Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, Neuroscience of Consciousness, Volume 2''''', Volume 2'''''021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc15./nia框架bRD：Phys</nowiki>. Rev. Lett. 135, 187401 – Published 29 October, 2025 DOI: <nowiki>https://doi.org/101103</nowiki>
17.L. Faes, L. Sparacino, G. Mijatvic, Y. Antonacci, L. Ricci, D. Marinazzo, and S. Stramaglia, "Partial Information Rate Demposition," Phys. Rev. Lett. 135, 187401 (2025). <nowiki>https://link.aps.org/doi/10.1103/nrwj-n8lj</nowiki>r6j-n8lj
18.PIXiu, L., Luo, X., & Nakayma, H. (2026). A comprehensive information-decomposition analysis of large vision-lnguage models. In *Proceedings of the International Conference on Learning Representations (ICLR 2026)*. OpenReview. <nowiki>https://openreview.net/forum?id=7lI3XhYQ5i</nowiki>
冗余信息计算方法：1.V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
冗余信息计算方法：1.V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).