216
个编辑
更改
跳到导航
跳到搜索
第11行：
第11行： − + − + 第804行：
第804行： − − 对PID框架的批评:Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures | Phys. Rev. E 第824行：
第822行： − 这一框架中通过～PID 的优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，从系统变量数的超指数级降至二次方级。~G-PID框架定义的信息原子，是~PID/BROJA-PID 信息原子的上、下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。+ 第920行：
第918行： − + 第931行：
第929行： − − Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246 第946行：
第942行： − + 第954行：
第950行： − − − Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. ''Communications Biology'', ''8''(1), 1027. − − Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki> − − 第984行：
第973行： − 从图中可以看出，零滞后PID和TE-PID分解的互信息变量组中没有囊括源过程所有的交互作用。+ − 具体而言，零滞后PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。+ − + + − 为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法+ 第999行：
第989行： + 第1,011行：
第1,002行： − + − 在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。 − + + + + − Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.+ + + + + + + + + + + + + + + + + + + + + + + − Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.+ − Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.+
→PID框架在人工智能领域中的应用
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵函数，这一函数满足以下三条公理：
每个可能取值对应的概率相应为 <math>\{p_1,p_2,\dots,p_n\}</math>。度量该随机变量不确定程度的函数<math>H(X)</math>称为该随机变量的信息熵函数，这一函数满足以下三条公理：
1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续
1. 连续性：即概率的微小变化只会引起不确定度的微小变化,即：<math>H(p_1,p_2,\dots,p_n)</math>关于<math>p_i</math>连续。
2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和
2. 可加性:若一个随机试验可分解为多个连续的随机试验，那么原来的不确定性应是各阶段不确定性之和。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
3. 等概率时单调递增:离散型随机变量所有结果的概率相等时,即<math>p_i = \frac{1}{n}</math>,则<math>H</math>应是<math>n</math>的单调递增函数。
研究者们认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，而是PID框架中将协同信息这一全局性质局域化到信息原子上导致的。研究者们认为用集合论格结构去描述协同信息这种高阶交互作用本身就并不恰当，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。
研究者们认为,基于冗余格结构的PID的问题并非是当前对信息原子的公理化方案不够好所致，而是PID框架中将协同信息这一全局性质局域化到信息原子上导致的。研究者们认为用集合论格结构去描述协同信息这种高阶交互作用本身就并不恰当，并建议放弃完整的信息原子分解，转而直接定义多元独特、多元协同等对象，而非强行构造完整的PID格。
=== PID框架在应用层面的局限 ===
=== PID框架在应用层面的局限 ===
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
这一框架中通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，将其从系统变量数的超指数级降至二次方级。~G-PID框架的信息原子，是~PID/BROJA-PID框架中同类型信息原子的上、下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。
~G-PID的计算可以通过如下方式实现:如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
~G-PID的计算可以通过如下方式实现:如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
Pedro A. M. Mediano 和 Fernando E. Rosas等人在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
Pedro A. M. Mediano 和 Fernando E. Rosas等人在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非k个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
<math>\mathcal{D}^{(k)}与\mathcal{G}^{(k)}</math>分别由PID框架中的独特信息原子刻画，其中<math>\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})</math>
<math>\mathcal{D}^{(k)}与\mathcal{G}^{(k)}</math>分别由PID框架中的独特信息原子刻画，其中<math>\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})</math>
这一部分内容在集智百科'''基于信息分解的因果涌现'''词条中已有详尽叙述，详细内容可访问'''基于信息分解的因果涌现'''词条进行查看。
这一部分内容在集智百科'''基于信息分解的因果涌现'''词条中已有详尽叙述，详细内容可访问'''基于信息分解的因果涌现'''词条进行查看。
==== 生物系统中的因果涌现现象 ====
==== 生物系统中的因果涌现现象 ====
而后<math>\Phi ID</math>被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的Phi ID计算中起到了核心支撑，假设信号符合高斯分布，带来了<math>\Phi</math> ID计算上的极大便利性。
而后<math>\Phi ID</math>被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的<math>\Phi</math> ID计算中起到了核心支撑，假设信号符合高斯分布，带来了<math>\Phi</math> ID计算上的极大便利性。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>\Phi</math> ID量化多组件GRNs计算成本大幅降低。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>\Phi</math> ID量化多组件GRNs计算成本大幅降低。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
=== PID框架在意识研究中的应用 ===
=== PID框架在意识研究中的应用 ===
在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
从图中可以看出，零时滞PID和TE-PID分解的互信息变量组中没有囊括源过程所有的交互作用。
具体而言，零时滞PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解（PIRD）框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}_{Y;X_m}+\mathcal{R}_{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
作者将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
作者将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（仅视觉线索）、<math>U_{2}</math>（语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>主导，协同信息对其有增益但存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>主导，协同信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
== 参考文献列表 ==
== 参考文献列表 ==
信息论概念的参考资料：《概率、随机变量与随机过程（第4版）》
总相关性:Information theoretical analysis of multivariate correlation Satosi Watanabe IBM Journal of Research and Development, Volume 4, Issue 1 Pages 66 - 82 <nowiki>https://doi.org/10.1147/rd.41.0066</nowiki>
McGill information:McGill, W. J. (1954). Multivariate information transmission. ''Psychometrika, 19,'' 97–116. <nowiki>https://doi.org/10.1007/BF02289159</nowiki>
PID原文:Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. ''arXiv preprint arXiv:1004.2515'', 2010.
对PID框架冗余格结构的批评:Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures | Phys. Rev. E
~G-PID:Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data
Praveen Venkatesh, Corbett Bennett, Sam Gale, Tamina Ramirez, Greggory Heller, Severine Durand, Shawn Olsen, Stefan Mihalas Advances in Neural Information Processing Systems 36 (NeurIPS 2023)
Thin-PID&Flow-PID:Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul LiangAdvances in Neural Information Processing Systems 38 (NeurIPS 2025)
给复杂系统科学家的信息论 Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.
因果涌现的形式化理论：Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246
基因网络中的因果涌现:Pigozzi, F., Goldstein, A., & Levin, M. (2025). Associative conditioning in gene regulatory network models increases integrative causal emergence. ''Communications Biology'', ''8''(1), 1027.
Phi ID 用于意识研究：Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>
PIRD：Phys. Rev. Lett. 135, 187401 – Published 29 October, 2025 DOI: <nowiki>https://doi.org/10.1103/nrwj-n8lj</nowiki>
PID用于LVLMs:A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models Lixin Xiu ⋅ Xufang Luo ⋅ Hideki Nakayama