216
个编辑
更改
跳到导航
跳到搜索
第795行：
第795行： + + − + + − 这一方法方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献。其核心思想是将目标变量未来状态的不确定性（Shannon熵）分解为可由观测变量解释的部分和因果泄漏,而后利用PID框架定义的特有、冗余、协同三类信息原子，将观测变量与目标未来的互信息，即可解释的因果信息总量<math>I(Q_{j}^{+};Q)</math>进行分解。+ 第812行：
第815行： − + − − 对这一方法的进一步介绍，可访问集智斑图网站,于《因果涌现读书会（第六季）》中由杨明哲同学主讲的分享《SURD上的信息分解》视频中进行查看。 第822行：
第823行： − + + 第844行：
第846行： − + + 第858行：
第861行： − + 第866行：
第869行： − + + − − 第890行：
第892行： − + + + + − 作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非意识量的差异。+ − 这一工作中，从PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。+ − + − + − 从图中可以看出，零时滞PID和TE-PID分解的互信息变量组中没有囊括源过程所有的交互作用。+ − 具体而言，零时滞PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。 + + − 为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，L. Faes等研究者们发展了PIRD，即部分信息率分解框架，这一框架是静态随机变量系统部分信息分解（PID） 到时间相关性的随机过程系统的扩展。+ − 与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的特有、冗余、协同贡献分解。 第923行：
第928行： − 三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。+ 第930行：
第935行： − + − − − 第943行：
第945行： − −
→PID在因果科学中的应用
=== PID在因果科学中的应用 ===
=== PID在因果科学中的应用 ===
==== SURD上的因果分解 ====
从观测数据中识别一个或多个变量是否对另一变量的未来状态有真正的因果影响，并区分这种影响是独立的、共享的还是组合涌现的是因果推断方法领域的一个挑战。
从观测数据中识别一个或多个变量是否对另一变量的未来状态有真正的因果影响，并区分这种影响是独立的、共享的还是组合涌现的是因果推断方法领域的一个挑战。
Martínez-Sánchez等研究者于2024年提出SURD（因果的协同、特有与冗余分解） 是一种旨在解决上述问题的新型因果推断方法，。
Martínez-Sánchez等研究者于2024年提出SURD（因果的协同、特有与冗余分解） 是一种旨在解决上述问题的新型因果推断方法。
SURD基于信息前向传播原理，利用Shannon熵与互信息构建因果分解框架。
SURD基于信息前向传播原理，利用Shannon熵与互信息构建因果分解框架。
这一方法将因果关系量化为过去观测变量对目标变量未来状态的信息贡献。其核心思想是将目标变量未来状态的不确定性（Shannon熵）分解为可由观测变量解释的部分和因果泄漏,而后利用PID框架定义的特有、冗余、协同三类信息原子，将观测变量与目标未来的互信息，即可解释的因果信息总量<math>I(Q_{j}^{+};Q)</math>进行分解。
一方法克服了传统因果推断技术，如Granger因果、转移熵、 convergent cross-mapping等方法无法区分协同因果、冗余因果等由多变量作用导致的因果关系的局限。
一方法克服了传统因果推断技术，如Granger因果、转移熵、 convergent cross-mapping等方法无法区分协同因果、冗余因果等由多变量作用导致的因果关系的局限。
对这一方法的进一步介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由杨明哲同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由协同信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为向下因果,<math>\mathcal{G}^{(k)}</math>为因果解耦。
在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用PhiID框架展开了这一主题的下的研究。
在2025年的一篇工作中,Pigozzi, F, Goldstein, A., Levin, M.等研究者使用<math>\Phi</math>ID框架展开了这一主题的下的研究。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的因果涌现程度，探索了生物网络和随机网络在经历联想学习后的因果涌现程度的差异。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/涌现指标发生变化，总结了学习可反向强化系统集成性与因果涌现性的特点，同时指出GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
=== PID在脑科学与神经科学中的应用 ===
=== PID在脑科学与神经科学中的应用 ===
而由Andrea I. Luppi等研究者在2020年提出的大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、特有与协同三个部分。
这一工作的创新点在于将部分信息分解（PID)框架延申的<math>\Phi</math>ID框架引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用<math>\Phi</math>ID框架将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的互信息分解为冗余、特有与协同三个部分。
研究者们使用了由协同信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。
研究者们使用了由协同信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而冗余信息则主导感觉运动区，且冗余网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的<math>\Phi</math>ID分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的信息论基础。
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，被作者提出为一种用于比较不同意识状态的信息整合指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是系统与环境互动的产物，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是意识模式差异，而非意识量的差异。
这一工作中，由PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率
两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。
=== PID框架在随机过程中的应用 ===
=== PID框架在随机过程中的应用 ===
按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)Zerolag-PID，和（转移熵）TE -PID两种分解模式。
按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)zero-lag PID，和（转移熵）transfer-entropy PID两种分解模式。
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_n};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);X(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_{tn}};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);X(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
从图中可以看出，zero-lag PID和transfer-entropy PID分解的互信息变量组中没有囊括源过程所有的交互作用。
具体而言，zero-lag PID只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而transfer-entropy PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了PIRD，即部分信息率分解框架，这一框架是静态随机变量系统部分信息分解（PID） 到时间相关性的随机过程系统的扩展。
与zero-lag PID和transfer-entropy PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的特有、冗余、协同贡献分解。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到zero-lag PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于zero-lag PID方案。
=== PID框架在人工智能领域中的应用 ===
=== PID框架在人工智能领域中的应用 ===
Xiu Lixin等研究者在2026年的一篇ICLR会议论文中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
Xiu Lixin等研究者在2026年的一篇ICLR工作中,基于PID框架构建了一套模型无关的量化分析框架,为揭示视觉-语言大模型（LVLMs)推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
研究者们将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
研究者们将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。