216
个编辑
更改
跳到导航
跳到搜索
第18行：
第18行： − + 第57行：
第57行： − 在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。+ 第97行：
第97行： − 对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。+ − 如下例子展示了McGill交互信息框架中的负信息问题。+ 第186行：
第186行： − + 第203行：
第203行： − + − + − + 第369行：
第369行： − 此时容易验证这一命题：三变量系统分解所得的冗余-协同<math>=0-1 =-1</math>，即是McGill交互信息的值。+ + 第810行：
第811行： − 前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前这些公理化方案间存在争议。PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。+ + − 一方面冗余信息公理化定义的问题会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。+ − 他们在文章中证明了一个强结论，即：任何三源以上基于反链结构和PID公理的PID方法都不可能满足子系统一致性，这意味着，即便两个系统具有相同的冗余格与部分信息原子，加总后也可能得到不同的总互信息。 − 研究者们认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，而是PID框架中将协同信息这一全局性质局域化到信息原子上导致的。研究者们认为用集合论格结构去描述协同信息这种高阶交互作用本身就并不恰当，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。+ + + + − + + − Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>n-1</math>阶Dedekind数。+ 第835行：
第840行： − 这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。~G-PID框架的信息原子，是~PID/BROJA-PID框架中同类型信息原子的上、下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。 − + + + + + + + 第844行：
第854行： − + + 第852行：
第863行： + 第862行：
第874行： + 第873行：
第886行： − + + − PED框架揭示了这样的事实：在更复杂的情景中，双变量互信息结构会变得更加复杂+ + 第887行：
第902行： − 从而可发现： − + + 第895行：
第910行： + 第908行：
第924行： − + + − + + + 第926行：
第945行： + + + 第940行：
第962行： − PID的高效性体现在其可以扩展至多个领域，这里集智百科将展示PID在因果科学、复杂系统涌现研究、 脑科学与神经科学、意识研究和人工智能等领域中的应用。+ − SURD（因果的协同、独特与冗余分解） 是一种基于信息理论的新型因果推断方法，由Martínez-Sánchez等人于2024年提出。SURD基于信息前向传播原理，利用Shannon熵与互信息构建因果分解框架，该方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献，以多个多个观测变量（源）与目标变量未来状态之间的互信息 <math>I(Q_{j}^{+};Q)</math>，并利用PID框架定义的独特、冗余、协同三类信息原子，将<math>I(Q_{j}^{+};Q)</math>进行分解，克服了传统因果推断技术，如Granger因果、转移熵、 convergent cross-mapping等方法无法区分协同因果、冗余因果等由多变量作用导致的因果关系的局限。+ + + + + + + + + + + + + + + + + − 关于这一工作的进一步介绍，可访问集智斑图网站,在《因果涌现读书会（第六季）》中《SURD上的信息分解》视频中进行查看。+ 第952行：
第990行： − + + 第960行：
第999行： + + + − + + − + − 几位作者的试图研究，学习过程是否能增强系统整合性？为此，他们选择了基因调控网络（GRNs）为研究对象，考察了GRNs在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。+ + + + + + 第980行：
第1,028行： + − 第990行：
第1,038行： − 神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——冗余信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏量化工具，其神经基础长期难以直接揭示。+ + + + − 而由Andrea I. Luppi等人在2020年提出的大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。 + − 这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、独特与协同三个部分。具体而言，利用<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。+ − + − ==== 意识的形式理论 ====+ − + 第1,011行：
第1,062行： + + 第1,021行：
第1,074行： − + 第1,028行：
第1,081行： − + + + + − 第1,045行：
第1,100行： + + + + 第1,063行：
第1,122行： − 信息论概念的参考资料：《概率、随机变量与随机过程（第4版）》+ + + + + + + + + − 总相关性:Information theoretical analysis of multivariate correlation Satosi Watanabe IBM Journal of Research and Development, Volume 4, Issue 1 Pages 66 - 82 <nowiki>https://doi.org/10.1147/rd.41.0066</nowiki>+ − McGill information:McGill, W. J. (1954). Multivariate information transmission. ''Psychometrika, 19,'' 97–116. <nowiki>https://doi.org/10.1007/BF02289159</nowiki>+ − PID原文:Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. ''arXiv preprint arXiv:1004.2515'', 2010.+ − 对PID框架冗余格结构的批评:Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures | Phys. Rev. E+ − ~G-PID:Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data+ − Praveen Venkatesh, Corbett Bennett, Sam Gale, Tamina Ramirez, Greggory Heller, Severine Durand, Shawn Olsen, Stefan Mihalas Advances in Neural Information Processing Systems 36 (NeurIPS 2023)+ − Thin-PID&Flow-PID:Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul LiangAdvances in Neural Information Processing Systems 38 (NeurIPS 2025)+ − 给复杂系统科学家的信息论 Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.+ − SURD：Álvaro Martínez-Sánchez, Gonzalo Arranz, Adrián Lozano-Durán. '''Decomposing causality into its synergistic, unique, and redundant components'''''. arXiv:2405.12411'', 2024+ − 明哲介绍surd:SURD:因果上的信息分解 | 集智斑图+ − 因果涌现的形式化理论：Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246+ − 基因网络中的因果涌现:Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. ''Communications Biology'', ''8''(1), 1027. − 志鹏师兄介绍整合信息分解框架在脑科学/神经科学中的应用:大脑演化和认知的协同核 | 集智斑图+ − Phi ID 用于脑科学 Andrea I. Luppi, Pedro A. M. Mediano, Fernando E. Rosas, et al. '''A synergistic core for human brain evolution and cognition'''''. nature neuroscience'', 2022, 25(6): 771-782 − Phi ID 用于意识研究：Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>+ − PIRD：Phys. Rev. Lett. 135, 187401 – Published 29 October, 2025 DOI: <nowiki>https://doi.org/10.1103/nrwj-n8lj</nowiki>+ − PID用于LVLMs:A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models Lixin Xiu ⋅ Xufang Luo ⋅ Hideki Nakayama+
→相关概念
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
通过以上三条公理可确定'''唯一形式的''' <math>H(X)</math>为,其中<math>K</math>为任意常数：
通过以上三条公理可确定'''唯一形式的''' <math>H(X)</math>如下,其中<math>K</math>为任意常数：
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
<math>H(X) = - K\sum_{i=1}^{n}p_i\log p_i</math>
== PID框架的形成动机 ==
== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论有两条主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者提出的总相关性熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的负交互信息问题。这些为PID框架的形成提供了动机，一方面PID框架试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
=== 总相关性 ===
=== 总相关性 ===
'''负交互信息问题'''
'''负交互信息问题'''
对单变量的信息熵而言，信息熵始终是一非负值，但在McGill的交互信息框架中却会出现多变量间交互信息为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。
下面的例子展示了McGill交互信息框架中的负信息问题。
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
设<math>X,Y,Z</math>为三个离散型随机变量，每个随机变量取值均只有<math>\{0,1\}</math>两种可能，依次代表汽车启动能启动，汽车发动机的电池能否正常工作，汽车的发动机的燃油泵是否能正常工作。
=== 两源变量框架与部分信息原子 ===
=== 两源变量框架与部分信息原子 ===
以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
这里,以两源变量的情形介绍部分信息分解（PID）框架中所涉及的核心概念。
两源变量框架的基本构成如下：
两源变量框架的基本构成如下：
部分信息原子包括如下三个部分:
部分信息原子包括如下三个部分:
'''独特(Un)''':<math>S_1,S_2</math>其中一个可以向<math>T</math>提供,而另一个无法提供的信息
'''独特信息(Un)''':<math>S_1,S_2</math>其中一个可以向<math>T</math>提供,而另一个无法提供的信息
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
<math>\mathrm{Un}(S_1 \rightarrow T | S_2),\mathrm{Un}(S_2 \rightarrow T| S_1)</math>
'''冗余(Red)''': <math>R_1,R_2</math>均可提供的重复信息（冗余信息）
'''冗余信息(Red)''': <math>R_1,R_2</math>均可提供的重复信息（冗余信息）
<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>
<math>\mathrm{Red}(S_1,S_2\rightarrow T) </math>
'''协同(Syn)''':<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息
'''协同信息(Syn)''':<math>R_1,R_2</math>的组合可能产生单独任何一个随机变量无法提供的信息
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
<math>\mathrm{Syn}(S_1,S_2 \rightarrow T)</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
<math>\mathrm{Syn}(X,Y \rightarrow Z) = I(T;S_1 |S_2) = I(T;S_2 |S_1) =1</math>
容易验证，此时，该三变量系统分解所得的冗余-协同<math>=0-1 =-1</math>，即是McGill交互信息的值。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。
从PID的两源变量框架中可知，若想清楚地分解源变量组对接受变量传输的信息结构，需要先分析清楚冗余,对于冗余结构更为复杂的多元变量情形，这一问题的难度大大提升，为此，PID框架的作者发展出了相应的冗余晶格理论以获得多元随机变量间传输信息的部分信息原子。
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一上：
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子形式不唯一上：
前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前这些公理化方案间存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。
冗余信息公理化定义的问题一方面会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。
Lyu AoBo等研究者在2026年的一篇Phys. Rev. E的工作中尝试对这种信息原子无法被唯一地公理化给出的问题进行了回答。
Lyu AoBo等研究者在2026年的一篇Phys. Rev. E的工作中尝试对这种信息原子无法被唯一地公理化给出的问题进行了回答。
他们证明了一个强结论，即：任何三源以上基于反链结构和PID公理的PID方法都不可能满足子系统一致性，这意味着，即便两个系统具有相同的冗余格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu AoBo等研究者认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，而是PID框架中将协同信息这一全局性质局域化到信息原子上导致的。他们认为用集合论格结构去描述协同信息这种高阶交互作用本身就并不恰当，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。
=== PID框架在应用层面的局限 ===
=== PID框架在应用层面的局限 ===
PID 框架的在实际应用中的核心问题集中在冗余格中的信息原子带来的计算可行性问题上，具体地说，是由行性Deedkind数过大带来的计算困难上。这里
PID 框架的在实际应用中的核心问题集中在冗余格中的信息原子带来的计算可行性问题上，具体地说，是由行性Deedkind数过大带来的计算困难上。这里,Dedekind数的意义为：<math>n</math>维布尔格<math>\mathcal{B}_{n}</math>上所有单调布尔函数的数量。
对<math>n</math>个信息源的情况而言，其部分信息项的数量为<math>n-1</math>阶Dedekind数。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于<math>9</math>个时，部分信息项的数目超过<math>5 \times 10^{22}</math>个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于<math>9</math>个时，部分信息项的数目超过<math>5 \times 10^{22}</math>个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
~G-PID的计算可以通过如下方式实现:如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。
~G-PID框架定义的信息原子，分别是~PID/BROJA-PID框架中同类型信息原子的上、下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
Praveen Venkatesh, Corbett Bennett等人在三种高斯直觉性示例（纯独特、纯冗余、纯协同）和三种非直觉性示例（独特和冗余、独特且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
Praveen Venkatesh, Corbett Bennett等人在三种高斯直觉性示例（纯独特、纯冗余、纯协同）和三种非直觉性示例（独特和冗余、独特且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
==== Thin-PID ====
==== Thin-PID ====
Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究再在~G-PID的基础之上推进了一大步。
Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究在~G-PID的基础之上推进了一大步。
Wenyuan Zhao 、Chao Tian等人在2025年发表的工作中发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
Wenyuan Zhao 、Chao Tian等人在2025年发表的工作中发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
[[文件:FlowPID.png|居中|1191x1191像素|替代=|无框]]
[[文件:FlowPID.png|居中|1191x1191像素|替代=|无框]]
=== 部分熵分解 ===
=== 部分熵分解 ===
部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
部分熵分解是PID框架最直接的推广，与标准的PID框架不同之处在于，它不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过Mobius反演构建冗余格。
其核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过Mobius反演构建冗余格。
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
进一步有
进一步有:
<math>I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})</math>
<math>I(X_1,X_2) = H_{\partial}(\{X_1\}\{X_2\}) - H_{\partial}(\{X_1,X_2\})</math>
PED框架揭示了这样的事实——在更复杂的情景中，双变量互信息结构会变得更加复杂。
例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息<math>I(X_1;X_2)</math>
例如：考虑三个变量X_1,X_2和X_3的情况，此时以PED框架分解其中的二元互信息<math>I(X_1;X_2)</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
从而可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
在这种情况下，高阶信息会被重复计算，从而导致系统中表观依赖关系的整体数值被整体性地放大。
=== 广义信息分解 ===
=== 广义信息分解 ===
广义信息分解（GID）是一种基于Kullback-Leibler散度的信息分解框架，旨在放松部分信息分解（PID）中“输入-输出”结构的限制，实现对任意概率分布间信息差异的精细化分解。
广义信息分解（GID）是一种基于Kullback-Leibler散度的信息分解框架，旨在放松部分信息分解（PID）中“输入-输出”结构的限制，实现对任意概率分布间信息差异的精细化分解。
GID的核心思想为：将KL散度表示为局部熵差的期望：
GID的核心思想为：将KL散度表示为局部熵差的期望：
<math>D_{KL}(P||Q) = \sum_{\alpha \in \mathfrak(A)}D_{KL}^{P|||Q}(\alpha)</math>
<math>D_{KL}(P||Q) = \sum_{\alpha \in \mathfrak(A)}D_{KL}^{P|||Q}(\alpha)</math>
PID是GID的一个特例，当将互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，GID退化为标准PID。此外，GID也可通过PED构造
PID是GID的一个特例，当将互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，GID退化为标准PID。此外，GID也可通过PED构造。
=== 整合信息分解(ΦID) ===
=== 整合信息分解(ΦID) ===
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论（IIT),克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论（IIT),克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A}，\mathcal{A}</math>是单一目标冗余格，其二用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
这一框架的核心结构分为两部分：其一是可以呈现多变量信息结构特征的'''双重冗余格'''<math>\mathcal{A}^2</math> = <math>\mathcal {A} \times \mathcal{A}，\mathcal{A}</math>是单一目标冗余格，其二是用于捕捉信息在多个来源的'''双重冗余函数'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'</math>
<math>\mathbf{\alpha} \rightarrow \mathbf{\beta} \preceq\mathbf{\alpha'} \rightarrow \mathbf{\beta}' \Leftrightarrow \mathbf{\alpha} \preceq a',\beta \preceq \beta'</math>
'''双重冗余函数'''：
'''双重冗余函数'''：
双重冗余函数<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对双重冗余格中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
双重冗余函数<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对双重冗余格中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
常用的双重冗余函数为最小互信息函数：
常用的双重冗余函数为最小互信息函数：
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
<math>I_{\phi\cap}^{MMI}(\mathbf{\alpha} \rightarrow \mathbf{\beta}) = \min_{i,j}I(A_i,B_i)</math>
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 <math>\Phi</math>ID必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
== PID框架应用研究 ==
== PID框架应用研究 ==
PID的高效性体现在其可以扩展至多个领域，这里集智百科将各以一项具体研究展示PID在因果科学、复杂系统涌现研究、 脑与神经科学、意识研究和人工智能等领域中的应用。
=== PID在因果科学中的应用 ===
=== PID在因果科学中的应用 ===
从观测数据中识别一个或多个变量是否对另一变量的未来状态有真正的因果影响，并区分这种影响是独立的、共享的还是组合涌现的是因果推断方法领域的一个挑战。
Martínez-Sánchez等研究者于2024年提出SURD（因果的协同、独特与冗余分解） 是一种旨在解决上述问题的新型因果推断方法，。
SURD基于信息前向传播原理，利用Shannon熵与互信息构建因果分解框架。
该方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献。其数学原理可概括为：将目标变量未来状态的不确定性（Shannon熵）分解为可由观测变量解释的部分和因果泄漏,而后对可由观测变量解释的部分进行部分信息分解。
而后以多个观测变量（源）与目标变量未来状态之间的互信息 <math>I(Q_{j}^{+};Q)</math>为分解对象进行PID，并利用PID框架定义的独特、冗余、协同三类信息原子，将观测变量与目标未来的互信息，即可解释的因果信息总量<math>I(Q_{j}^{+};Q)</math>进行分解，
这一方法克服了传统因果推断技术，如Granger因果、转移熵、 convergent cross-mapping等方法无法区分协同因果、冗余因果等由多变量作用导致的因果关系的局限。
对这一工作的进一步介绍，可访问集智斑图网站,于《因果涌现读书会（第六季）》中由杨明哲同学主讲的分享《SURD上的信息分解》视频中进行查看。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
PID框架在复杂系统科学中被应用于刻画复杂系统中的涌现现象。
PID框架在复杂系统科学中被应用于刻画复杂系统中的涌现现象。
Pedro A. M. Mediano 和 Fernando E. Rosas等人在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
[[文件:信息原子与量化涌现.png|居中|无框|600x600像素]]
[[文件:信息原子与量化涌现.png|居中|无框|600x600像素]]
该理论已在经典的涌现模型和脑科学研究中取得了成功应用。
该理论已在经典的涌现模型和脑科学研究中取得了成功应用。
这一部分内容在集智百科'''基于信息分解的因果涌现'''词条中已有详尽叙述，详细内容可访问'''基于信息分解的因果涌现'''词条进行查看。
这一部分内容在集智百科'''基于信息分解的因果涌现'''词条中已有详尽叙述，详细内容可访问集智百科中'''基于信息分解的因果涌现'''词条进行查看。
==== 生物系统中的因果涌现现象 ====
==== 生物系统中的因果涌现现象 ====
通过PID框架的扩展框架PhiID框架,可研究生物系统中的涌现现象。在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等作者使用PhiID框架展开了这一主题的下的研究。
通过PID框架的扩展框架PhiID框架,可研究生物系统中的涌现现象。
在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用PhiID框架展开了这一主题的下的研究。
几位研究者的试图研究学习过程是否能增强系统整合性，为此，他们选择了基因调控网络（GRNs）为研究对象，考察了GRNs在经历了巴普洛夫条件反射这种经典的生物网络学习方式的训练后,网络中涌现程度发生的变化。
为了量化网络的涌现程度，作者们引入了基于作为PID扩展的<math>\Phi</math> ID而开发的因果涌现度量理论。<math>\Phi</math> ID框架通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的因果涌现性。
为了量化网络的涌现程度，作者们引入了基于作为PID扩展的<math>\Phi</math> ID而开发的因果涌现度量理论。<math>\Phi</math> ID框架通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的因果涌现性。
而后<math>\Phi ID</math>被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的<math>\Phi</math> ID计算中起到了核心支撑，假设信号符合高斯分布，带来了<math>\Phi</math> ID计算上的极大便利性。
而后<math>\Phi ID</math>被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的<math>\Phi</math> ID计算中起到了核心支撑，假设信号符合高斯分布，带来了<math>\Phi</math> ID计算上的极大便利性。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>\Phi</math> ID量化多组件GRNs计算成本大幅降低。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>\Phi</math> ID量化多组件GRNs计算成本大幅降低。
此外，作者还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
此外，作者还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
==== 大脑复杂性的探究 ====
==== 大脑复杂性的探究 ====
神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——冗余信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。而高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏有效量化协同信息的计算工具，其神经基础长期难以直接揭示。
而由Andrea I. Luppi等研究者在2020年提出的大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、独特与协同三个部分。
具体而言，研究者们利用协同信息原子定义了<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。
关于这一工作的详细介绍，可访问集智斑图网站,在《因果涌现读书会（第五季）》中《大脑认知与演化的协同核》视频中进行查看。
关于这一工作的详细介绍，可访问集智斑图网站,在《因果涌现读书会（第五季）》中由王志鹏同学主讲的《大脑认知与演化的协同核》视频中进行查看。
=== 意识的形式理论 ===
在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
在2021年的一篇工作中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
前者解决了IIT 2.0的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
前者解决了IIT 2.0的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
这一工作中，从PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了IIT2.0仅关注意识量的缺陷。
这一工作中，从PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了IIT2.0仅关注意识量的缺陷。
按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)Zerolag-PID，和（转移熵）TE -PID两种分解模式。
按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)Zerolag-PID，和（转移熵）TE -PID两种分解模式。
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_n};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);X(t < n)|Y(t < n))</math>其分解对象的信息结构如下图所示
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_n};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);X(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
具体而言，零时滞PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
具体而言，零时滞PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,即部分信息率分解框架，这一框架是静态随机变量系统部分信息分解（PID） 到时间相关性的随机过程系统的扩展。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD，即部分信息率分解框架，这一框架是静态随机变量系统部分信息分解（PID） 到时间相关性的随机过程系统的扩展。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法。
为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
在人工智能领域中，PID框架中的冗余、独特、协同等原子常被用于模型和算法设计中。
在人工智能领域中，PID框架中的冗余、独特、协同等原子常被用于模型和算法设计中。
Xiu Lixin等人在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
Xiu Lixin等人在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
作者将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
作者将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
== 参考文献列表 ==
== 参考文献列表 ==
1. 信息论概念的参考资料：Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill
2.总相关性概念的原文:Information theoretical analysis of multivariate correlation Satosi Watanabe IBM Journal of Research and Development, Volume 4, Issue 1 Pages 66 - 82 <nowiki>https://doi.org/10.1147/rd.41.0066</nowiki>
3.McGill 信息概念的原文:McGill, W. J. (1954). Multivariate information transmission. ''Psychometrika, 19,'' 97–116. <nowiki>https://doi.org/10.1007/BF02289159</nowiki>
4.PID原文:Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.'', 2010.''
5.Lyu AoBo等研究者对PID框架冗余格结构的批评:R. Wibral, J. T. Lizier, and P. L. Williams, "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures," Phys. Rev. E 105, 014101 (2022). <nowiki>https://doi.org/10.1103/PhysRevE.105.014101</nowiki>
6.~G-PVenkatesh, P., Bennett, C., Gale, S., Ramirez, T., Heller, G., Durand, S., Olsen, S., & Mihalas, S. (2023). Gaussian partial information decomposition: Bias correction and application to high-dimensional data. In H. Larochelle, M. Ranzato, R. Hadsell, M. Balcan, & H. Lin (Eds.), ''Advances in Neural Information Processing Systems'' (Vol. 36, pp. 50409–50422). Curran Associates.ciates,
7.Thin-PID&Flow-Zhao, W., Balachandran, A., Tian, C., & Liang, P. P. (2025). Partial information decomposition via normalizing flows in latent Gaussian distributions. In Advances in Neural Information Processing Systems (Vol. 38). Curran Associates. <nowiki>https://doi.org/10.48550/arXiv.2510.04417ciates</nowiki>,
8.给复杂系统科学家的信息论 综述:Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.
SURD方法原文：Martínez-Sánchez, Á., Arranz, G., & Lozano-Durán, A. (2024). Decomposing causality into its synergistic, unique, and redundant components. arXiv:2405.12411.
9.杨明哲介绍SURD:因果上的信息分解 | 集智斑图[https://pattern.swarma.org/study_group_issue/894 https://pattern.swarma.org/study_group_is]
[https://pattern.swarma.org/study_group_issue/894 e/894]
10.信息分解在因果涌现中的应用综述：Mediano, P. A. M., Rosas, F. E., Luppi, A. I., Jensen, H. J., Seth, A. K., Barrett, A. B., Carhart-Harris, R. L., & Bor, D. (2022). Greater than the parts: A review of the information decomposition approach to causal emergence. Philosophical Transactions of the Royal Society A, 380(20210246). <nowiki>https://doi.org/10.1098/rsta.2021.0246</nowiki>
11.基因网络中的因果涌现:Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emerCommunications Biology, 8'', ology'', ''8''(1), 1027.
12.王志鹏介绍整合信息分解框架在脑科学/神经科学中的应用:大脑演化和认知的协同核<nowiki/>https://pattern.swarma.org/study_group_issue/692 | 集智斑图
13.Phi ID 用于脑科学研究：Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. Communications Biology, 8(1), 1027. <nowiki>https://doi.org/10.1038/s42003-025-01027-5</nowiki>
14.Phi ID 用于意识研究：Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, Neuroscience of Consciousness, Volume 2''''', Volume 2'''''021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc15./nia框架bRD：Phys</nowiki>. Rev. Lett. 135, 187401 – Published 29 October, 2025 DOI: <nowiki>https://doi.org/101103</nowiki>
L. Faes, L. Sparacino, G. Mijatvic, Y. Antonacci, L. Ricci, D. Marinazzo, and S. Stramaglia, "Partial Information Rate Demposition," Phys. Rev. Lett. 135, 187401 (2025). <nowiki>https://link.aps.org/doi/10.1103/nrwj-n8lj</nowiki>
r6j-n8lj
15.PIXiu, L., Luo, X., & Nakayma, H. (2026). A comprehensive information-decomposition analysis of large vision-lnguage models. In *Proceedings of the International Conference on Learning Representations (ICLR 2026)*. OpenReview. <nowiki>https://openreview.net/forum?id=7lI3XhYQ5i</nowiki>
Nakayama
冗余信息计算方法：1.V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).
冗余信息计算方法：1.V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).