216
个编辑
更改
跳到导航
跳到搜索
第60行：
第60行： − + 第114行：
第114行： − − 第220行：
第218行： − − 第643行：
第639行： − + − − − − 第670行：
第662行： − + 第686行：
第678行： − + + 第702行：
第695行： + − 部分熵分解（PED）框架是PID框架最直接的推广，其与标准的PID框架不同之处在于，PED框架不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。+ + 第715行：
第710行： − − 第733行：
第726行： + 第740行：
第734行： − 广义信息分解（GID）框架是一种基于Kullback-Leibler散度的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。+ 第801行：
第795行： − + + 第819行：
第814行： − + 第841行：
第836行： − 在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。+ 第847行：
第842行： + + + −
→历史
== PID框架的形成动机 ==
== PID框架的形成动机 ==
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的[[总相关性]]框架及William J. McGill于1954提出的[[McGill交互信息|交互信息]]框架，前者提出的[[总相关性]]熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的[[负交互信息问题]]。这些为[[部分信息分解|PID框架]]的形成提供了动机，一方面[[部分信息分解|PID框架]]试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，[[部分信息分解|PID框架]]要给出[[McGill交互信息|交互信息]]框架中负信息的形成机制及其意义，即为[[负交互信息问题]]提供结构化解释。
在PID框架被提出前，多变量信息理论领域已有两类代表性的信息框架，分别为S. Watanabe于1960提出的[[总相关性]]框架<ref>[https://ieeexplore.ieee.org/abstract/document/5392532 Watanabe S (1960). Information theoretical analysis of multivariate correlation, ''IBM Journal of Research and Development'' '''4''', 66–82.]</ref>及William J. McGill于1954提出的[[McGill交互信息|交互信息]]框架<ref>[https://www.cambridge.org/core/journals/psychometrika/article/abs/multivariate-information-transmission/7EB2980C5C5668747D306E2842C8C0A8 McGill W J (1954). Multivariate information transmission, ''Psychometrika'' '''19''', 97–116.]</ref>，前者提出的[[总相关性]]熵函数为计量多个随机变量集合中交互作用程度的总量提供了计量工具,后者则引出了反直觉的[[负交互信息问题]]。这些为[[部分信息分解|PID框架]]的形成提供了动机，一方面[[部分信息分解|PID框架]]试图精细量化多变量间传输信息的构成，从而揭示多个随机变量间交互作用的结构特征，另一方面，[[部分信息分解|PID框架]]要给出[[McGill交互信息|交互信息]]框架中负信息的形成机制及其意义，即为[[负交互信息问题]]提供结构化解释。
=== 总相关性 ===
=== 总相关性 ===
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，[[部分信息分解|PID]]就是其中一种。
对单变量的[[信息熵]]而言，[[信息熵]]始终是一非负值，但在McGill的[[McGill交互信息|交互信息]]框架中却会出现多变量间[[McGill交互信息|交互信息]]为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在着缺陷，这一问题使得后续的工作者尝试发展更完备的多变量信息理论，[[部分信息分解|PID]]就是其中一种。
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
下面的例子展示了[[McGill交互信息]]框架中的负信息问题。
<math>\mathbf{S} = \{S_1,S_2\}</math>
<math>\mathbf{S} = \{S_1,S_2\}</math>
[[PID框架]]要分解的是<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>.
[[PID框架]]要分解的是<math>\mathbf{S}</math>对<math>T</math>的传递信息<math>I(\mathbf{S};T)</math>.
前文已指出,存在多重[[冗余]]信息原子的公理化方案，相应地，也存在着不同形式的[[冗余]]信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的[[冗余函数]]的方案，另一方面，三源以上情形中由反链格表示的PID结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
前文已指出,存在多重[[冗余]]信息原子的公理化方案，相应地，也存在着不同形式的[[冗余]]信息的计算式。目前，这些不同公理化方案间的一致性存在争议,PID原文作者给出的公理化方案并非是能导出唯一合理的[[冗余函数]]的方案，另一方面，三源以上情形中由反链格表示的PID结构存在的问题也会影响使用PID对实际复杂系统进行分析的可靠性。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》一文中尝试对PID框架的理论问题进行梳理与回答。
Lyu AoBo等研究者在2026年发表的《Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures》<ref>[https://journals.aps.org/pre/abstract/10.1103/8rzp-w5z1 Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures." ''Physical Review E'' 113.3 (2026): 034102.]</ref>一文中尝试对PID框架的理论问题进行梳理与回答。
Lyu、Clark 与 Raviv指出，在三源及以上情形，若坚持传统 反链格表示并要求若干自然的一致性条件，会出现子系统不一致或表示性障碍。这意味着，即便两个系统具有相同的冗余晶格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu、Clark 与 Raviv指出，在三源及以上情形，若坚持传统 反链格表示并要求若干自然的一致性条件，会出现子系统不一致或表示性障碍。这意味着，即便两个系统具有相同的冗余晶格与部分信息原子，加总后也可能得到不同的总互信息。
Lyu、Clark 与 Raviv等研究者认为,基于[[冗余晶格]]结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在[[部分信息分解|PID框架]]中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整的反链格原子分解，而直接定义多源[[独特]]、(K)-阶 [[协同]]、总[[协同]]（total synergy） 等可解释量。
Lyu、Clark 与 Raviv等研究者认为,基于[[冗余晶格]]结构的PID的理论问题并非是当前对信息原子的公理化方案不够好所致，其根源在[[部分信息分解|PID框架]]中将协同信息这一全局性质局域化到信息原子这一操作不恰当。研究者们认为，用集合论格结构去描述协同信息这种高阶交互作用本身就存在局限性，并建议在三源及以上问题中，可以考虑不强求完整的反链格原子分解，而直接定义多源[[独特]]、(K)-阶 [[协同]]、总[[协同]]（total synergy） 等可解释量。
==== ~G-PID ====
==== ~G-PID ====
Praveen Venkatesh, Corbett Bennett等研究者在2023年的文章中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
Praveen Venkatesh, Corbett Bennett等研究者在2023年的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2023/hash/ec0bff8bf4b11e36f874790046dfdb65-Abstract-Conference.html Venkatesh, Praveen, et al. "Gaussian partial information decomposition: Bias correction and application to high-dimensional data." ''Advances in Neural Information Processing Systems'' 36 (2023): 74602-74635.]</ref>中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
这一方法通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在联合高斯分布中，大大降低了进行PID的计算复杂度，研究者们在将文章中说明了~G-PID的计算复杂度为系统变量数的二次方级。
这一方法通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在联合高斯分布中，大大降低了进行PID的计算复杂度，研究者们在将文章中说明了~G-PID的计算复杂度为系统变量数的二次方级。
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章中提出 Thin-PID 作为 latent Gaussian distributions 中提升 GPID 计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, Wenyuan, et al. "Partial information decomposition via normalizing flows in latent Gaussian distributions." ''Advances in Neural Information Processing Systems'' 38 (2026): 4495-4530.]</ref>中提出 Thin-PID 作为 latent Gaussian distributions 中提升高斯型PID计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
== 相关框架 ==
== 相关框架 ==
这里，集智百科选取复杂系统领域的学者TF Varley所撰写的《information theory for complexity Tomas varley》一文<ref>[https://www.sciencedirect.com/science/article/pii/S037015732500256X Varley, Thomas F. "Information theory for complex systems scientists: What, why, and how." ''Physics Reports'' 1148 (2025): 1-55.]</ref>中提到的与PID框架相关的三种相关框架，分别为[[部分熵分解]]框架、[[广义信息分解]]框架和[[整合信息分解]]框架进行介绍。
=== [[部分熵分解]] ===
=== [[部分熵分解]] ===
[[部分熵分解]]（PED）框架是PID框架最直接的推广，其与标准的PID框架不同之处在于，PED框架不分解源变量集对目标变量的互信息，而是直接分解变量集合的联合熵，无需区分源变量与目标变量。
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
PED框架的核心逻辑与PID框架保持一致，即只要有由满足特定公理的冗余熵函数，就可通过莫比乌斯反演构建冗余晶格。
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、特有、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
在PED中,部分信息原子被替换为了同名的部分熵原子,也包括冗余、特有、协同三个部分,从而可以将随机变量的熵与联合熵及二元互信息重构为部分熵原子的形式
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
<math>H(X_2) = H_{\partial}(\{X_1\}\{X_2\}) + H_{\partial}(\{X_2\})</math>
进一步有:
进一步有:
<math>-H_{\partial}(\{X_1,X_2\})</math>
<math>-H_{\partial}(\{X_1,X_2\})</math>
从中可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
从中可发现,双变量互信息不仅包含了三个变量间的冗余熵<math>H_{\partial}(\{X_1\}\{X_2\}\{X_3\})</math>,还对<math>X_1</math>和<math>X_2</math>联合状态中的信息进行了惩罚。这表明：两个变量间的依赖关系未必仅包含它们共享的信息，还可能包含非局域性的“高阶”信息。
=== [[广义信息分解]] ===
=== [[广义信息分解]] ===
[[广义信息分解]]（GID）框架是一种基于[[Kullback-Leibler散度]]的信息分解框架,这一框架旨在实现放宽“源-目标”区别、同时保留关于信息本质直觉的通用信息分解。
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解） 是一种旨在解决上述问题的新型[[因果推断]]方法。
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解)<ref>[https://www.nature.com/articles/s41467-024-53373-4 Martínez-Sánchez, Álvaro, Gonzalo Arranz, and Adrián Lozano-Durán. "Decomposing causality into its synergistic, unique, and redundant components." ''Nature Communications'' 15.1 (2024): 9296.]</ref>是一种旨在解决上述问题的新型[[因果推断]]方法。
SURD基于信息前向传播原理，利用[[香农熵]]与[[互信息]]构建因果分解框架。
SURD基于信息前向传播原理，利用[[香农熵]]与[[互信息]]构建因果分解框架。
PID框架在复杂系统科学中被应用于刻画复杂系统中的[[涌现]]现象。
PID框架在复杂系统科学中被应用于刻画复杂系统中的[[涌现]]现象。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》<ref>[https://pmc.ncbi.nlm.nih.gov/articles/PMC9125226/ Mediano, Pedro AM, et al. "Greater than the parts: a review of the information decomposition approach to causal emergence." ''Philosophical transactions. Series A, Mathematical, physical, and engineering sciences'' 380.2227 (2022): 20210246.]</ref>中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
通过[[部分信息分解框架|PID框架]]的扩展框架[[整合信息分解|<math>\Phi</math> ID框架]],可研究生物系统中的[[涌现]]现象。
通过[[部分信息分解框架|PID框架]]的扩展框架[[整合信息分解|<math>\Phi</math> ID框架]],可研究生物系统中的[[涌现]]现象。
在2025年的文章《Associative conditioning in gene regulatory network models increases integrative causal emergence》中<ref>[https://www.nature.com/articles/s42003-025-08411-2 Pigozzi, Federico, Adam Goldstein, and Michael Levin. "Associative conditioning in gene regulatory network models increases integrative causal emergence." ''Communications Biology'' 8.1 (2025): 1027.]</ref>,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用[[整合信息分解|<math>\Phi</math>ID框架]]展开了这一主题的下的研究。
为了量化网络的涌现程度，研究者们引入了基于作为PID扩展的[[整合信息分解|<math>\Phi</math> ID]]而开发的[[因果涌现]]度量理论。[[整合信息分解|<math>\Phi</math> ID框架]]通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的[[因果涌现]]性。
为了量化网络的涌现程度，研究者们引入了基于作为PID扩展的[[整合信息分解|<math>\Phi</math> ID]]而开发的[[因果涌现]]度量理论。[[整合信息分解|<math>\Phi</math> ID框架]]通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的[[因果涌现]]性。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框架]]对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框架]]对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的[[涌现]]能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的[[涌现]]能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。