216
个编辑
更改
→整合信息分解(ΦID)
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。
由于 GID 分解了从任意先验更新到任意后验时所获得的信息，因此它将PID作为一种特例包含在内，当单目标互信息表达为<math>I(X;Y)=DKL(P(X∣Y)∥P(X))</math> 时，对单目标互信息进行部分分解可恢复PID。
=== [[整合信息分解]](ΦID) ===
=== [[整合信息分解|整合信息分解(ΦID)]] ===
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与[[整合信息论|整合信息论（IIT)]],克服 PID 单目标变量局限与传统整合信息测度（如 <math>\Phi WMS</math>、CD）的行为不一致性局限，并将PID扩展至多源。
</math>是单一目标[[冗余晶格]]，其二是用于捕捉信息在多个来源的'''[[双重冗余函数]]'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
</math>是单一目标[[冗余晶格]]，其二是用于捕捉信息在多个来源的'''[[双重冗余函数]]'''<math>I_{\cap}^{\alpha \rightarrow \beta}</math>
'''双重冗余晶格'''：
'''[[双重冗余晶格]]'''：
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的[[双重冗余晶格]]结构如下图所示,
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的[[双重冗余晶格]]结构如下图所示,
'''双重冗余函数'''：
'''[[双重冗余函数]]'''：
[[双重冗余函数]]<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对[[双重冗余晶格]]中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
[[双重冗余函数]]<math>I_{\cap}^{\alpha \rightarrow \beta}</math>,是针对[[双重冗余晶格]]中的每个节点<math>\alpha \rightarrow \beta</math>定义的函数——其中<math>\alpha</math>代表源变量集，<math>beta</math>代表目标变量集，它的数学形式也由一组特定的公理约束得到。双重冗余函数的功能是量化源变量集合<math>\alpha</math>与目标变量集合<math>\beta</math>被共同观测到的重叠信息，是一种多源目标场景下冗余信息的广义形式。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 [[整合信息分解|<math>\Phi</math>ID]]必须回归标准PID模式，这说明PID是<math>\Phi</math>ID的一种特例。
对于何种冗余函数能与乘积格兼容，存在特定限制条件。面对Mediano等人提出的“兼容性约束”条件，在多源单目标场景中，要求 [[整合信息分解|<math>\Phi</math>ID]]必须回归标准PID模式，这说明PID是[[整合信息分解|<math>\Phi</math>ID]]的一种特例。
与单目标PID的情况不同,[[双重冗余晶格]]并非源自冗余函数，而是通过边际格的乘积自然形成。
与单目标PID的情况不同,[[双重冗余晶格]]并非源自冗余函数，而是通过边际格的乘积自然形成。
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解） 是一种旨在解决上述问题的新型[[因果推断]]方法。
Martínez-Sánchez等研究者于2024年提出[[SURD]]（因果的[[协同]]、[[特有]]与[[冗余]]分解） 是一种旨在解决上述问题的新型[[因果推断]]方法。
SURD基于信息前向传播原理，利用[[香农熵]]与[[互信息]]构建因果分解框架。
SURD基于信息前向传播原理，利用[[香农熵]]与[[互信息]]构建因果分解框架。
这一方法将[[因果关系]]量化为过去观测变量对目标变量未来状态的信息贡献。其核心思想是将目标变量未来状态的不确定性（[[香农熵]]）分解为可由观测变量解释的部分和[[因果泄漏]],而后利用PID框架定义的[[特有]]、[[冗余]]、[[协同]]三类信息原子，将观测变量与目标未来的[[互信息]]，即可解释的[[因果信息]]总量<math>I(Q_{j}^{+};Q)</math>进行分解。
这一方法将[[因果关系]]量化为过去观测变量对目标变量未来状态的信息贡献。其核心思想是将目标变量未来状态的不确定性（[[香农熵]]）分解为可由观测变量解释的部分和[[因果泄漏]],而后利用PID框架定义的[[特有]]、[[冗余]]、[[协同]]三类信息原子，将观测变量与目标未来的[[互信息]]，即可解释的[[因果信息]]总量<math>I(Q_{j}^{+};Q)</math>进行分解。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
[[SURD]] 采用[[特定互信息]]（specific mutual information） 来逐状态分解，以避免平均效应掩盖局部差异，[[特定互信息]]定义为<math>\tilde{\imath}(q_j^+; \mathbf{Q}) = \sum_{\mathbf{q}} p(\mathbf{q} \mid q_j^+) \log_2 \frac{p(q_j^+ \mid \mathbf{q})}{p(q_j^+)}</math>,它衡量了，当知道目标变量确实为 <math>q_j^{+}</math> 时，观测变量提供的针对该状态的信息量。
这一方法克服了传统[[因果推断]]技术，如[[Granger因果]]、[[转移熵]]、 [[convergent cross-mapping]]等方法无法区分[[协同因果]]、[[冗余因果]]等由多变量作用导致的因果关系的局限。
对这一方法的进一步介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由[[杨明哲]]同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。
对这一方法的进一步介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图],于[https://pattern.swarma.org/study_group/60 《因果涌现读书会（第六季）》]中由[[杨明哲]]同学主讲的分享[https://pattern.swarma.org/study_group_issue/894 《SURD上的信息分解》]视频中进行查看。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框]]架对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
研究者们使用了最新的[[整合信息分解|<math>\Phi</math> ID框架]]对来自BioModels库的29个GRNs在完成联想记忆任务前后的动态变化进行了研究。对于每个GRNs网络，作者们通过测试GRNs节点中由无条件刺激（UCS）、中性刺激（NS）和反应（R）构成的三元组反应，以确定GRNs是否通过联想记忆测试。
而后<math>\Phi ID</math>被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
而后[[整合信息分解|<math>\Phi</math> ID框架]]被用来计算基因表达信号的[[因果涌现]]程度。高斯信息假设在这一工作的[[整合信息分解|<math>\Phi</math> ID]]计算中起到了核心支撑，假设信号符合高斯分布，带来了[[整合信息分解|<math>\Phi</math> ID]]计算上的极大便利性。使用高斯假设后，[[互信息]]的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算[[互信息]]矩阵；[[熵]]的计算也可以通过高斯分布的方差和均值获得，从而使得应用[[整合信息分解|<math>\Phi</math> ID]]量化多组件GRNs计算成本大幅降低。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
此外，研究者们还构建了随机网络作为对照组，通过比较GRNS和随机网络在练习记忆训练后的[[因果涌现]]程度，探索了生物网络和随机网络在经历联想学习后的[[因果涌现]]程度的差异。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
利用高斯信息假设下的[[整合信息分解|<math>\Phi</math> ID]]的方法分析实验结果，作者观察到若干 GRN 在联想学习任务后整合/[[涌现]]指标发生变化，总结了学习可反向强化系统集成性与[[因果涌现]]性的特点，同时指出GRNs同随机网络在学习后[[涌现]]能力变化的核心差异——GRNs具有随机网络不具备的[[涌现]]能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
=== PID在脑科学与神经科学中的应用 ===
=== PID在脑科学与神经科学中的应用 ===
==== 大脑复杂性的探究 ====
==== 大脑复杂性的探究 ====
神经科学领域中，传统功能连接（FC）方法仅能测量脑区活动的统计相似性，却无法区分两种本质不同的信息处理模式这——[[冗余]]信息（多个脑区提供相同内容，增强鲁棒性）与协同信息（只有联合多个脑区才能获得的新信息，体现整合能力）。而高级认知功能（如工作记忆、社会认知）高度依赖协同整合，但由于缺乏有效量化协同信息的计算工具，其神经基础长期难以直接揭示。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
这一工作的创新点在于将[[部分信息分解|部分信息分解（PID)框架]]延申的[[整合信息分解|<math>\Phi</math> ID框架]]引入人脑静息态fMRI分析，并采用适用于高斯变量的MMI-<math>\Phi</math>ID分解方法。利用[[整合信息分解|<math>\Phi</math> ID框架]]将两个源变量（脑区过去状态）关于目标变量（脑区未来状态）的[[互信息]]分解为[[冗余]]、[[特有]]与[[协同]]三个部分。
研究者们使用了由[[协同]]信息原子所定义的<math>\mathrm{Syn}=\mathrm{I}(X_{t−τ},Y_{t−τ};X_t,Y_t)−\max{\mathrm{I}(X_{t−τ};X_t,Y_t),\mathrm{I}(Y_{t−τ};X_{t},Y_{t})}</math> ，通过这一指标揭示了协同信息主要分布于默认网络（DMN）和额顶执行控制网络（FPN）,而[[冗余]]信息则主导感觉运动区，且[[冗余]]网络具有高模块化结构且与白质纤维束密度显著相关，构成依赖物理连接的结构-功能骨干；通过比较人类与猕猴脑区间的[[整合信息分解|<math>\Phi</math> ID]]分解结果，揭示了人类大脑中协同信息占总信息交换的比例显著高于非人灵长类，且高协同脑区在进化中经历了最大程度的皮层扩张，并富集人类加速基因（HAR-Brain）和高突触密度,该框架为理解人类认知独特性提供了统一的[[信息论]]基础。
关于这一工作的详细介绍，可访问[https://pattern.swarma.org/study_groups 集智斑图]网站,在[https://pattern.swarma.org/study_group/43 《因果涌现读书会（第五季）》]中由[[王志鹏]]同学主讲的[https://pattern.swarma.org/study_group_issue/692 《大脑认知与演化的协同核》]视频中进行查看。
==== 意识的形式理论 ====
==== 意识的形式理论 ====
在2021年的文章《What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena》中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
在2021年的文章《What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena》中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
Luppi等人主张,将意识视为由不同信息论要素构成,可实现对其更全面的刻画。借助由PID框架扩展而来的[[整合信息分解|<math>\Phi</math> ID框架]]，作者定义了<math>\Phi_R</math>(修正的整合信息)与<math>\Phi_{R-ing}</math>比率（意识-信息转化效率）两种刻画意识的信息论指标。
Luppi等人主张,将意识视为由不同信息论要素构成,可实现对其更全面的刻画。借助由PID框架扩展而来的<math>\Phi</math> ID框架，作者定义了<math>\Phi_R</math>(修正的整合信息)与<math>\Phi_{R-ing}</math>比率（意识-信息转化效率）两种刻画意识的信息论指标。
<math>\Phi_R= \mathrm{Synergy} + \mathrm{Transfer}</math>
<math>\Phi_R= \mathrm{Synergy} + \mathrm{Transfer}</math>
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，被作者提出为一种用于比较不同意识状态的信息整合指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
前者解决了[[IIT2.0]]的中 <math>\Phi ^{WMS}</math>指标的负值问题，被作者提出为一种用于比较不同意识状态的信息整合指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是系统与环境互动的产物，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是意识模式差异，而非意识量的差异。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是系统与环境互动的产物，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是意识模式差异，而非意识量的差异。
这一工作中，由PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率
这一工作中，由PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率
两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。
两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了[[IIT2.0]]仅关注意识量的缺陷。
=== PID框架在随机过程中的应用 ===
=== PID框架在随机过程中的应用 ===
按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)zero-lag PID，和（转移熵）transfer-entropy PID两种分解模式。
按PID分解的对象分类，PID在用于随机过程分析时，一般分为(零时滞)[[zero-lag PID]]，和（转移熵）[[transfer-entropy PID]]两种分解模式。
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_{tn}};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);\mathbf{X}(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_{tn}};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);\mathbf{X}(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
具体而言，[[zero-lag PID]]只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而[[transfer-entropy PID]]仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
与[[zero-lag PID]]和[[transfer-entropy PID]]不同，[[PIRD]]使用[[部分信息分解|PID框架]]分解的目标是包括了源过程与目标过程间所有交互作用的[[互信息率]]（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态[[互信息]]（MI），结合[[频率域谱冗余率]]（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的[[特有]]、[[冗余]]、[[协同]]贡献分解。
为了解决高维系统中冗余晶格原子数随源变量数目超指数增长的问题，研究者们提出了信息原子的贡献模式，将信息原子分为[[特有]]类，[[冗余]]类和[[协同]]类，对[[冗余晶格]]的结构进行[[粗粒化]]的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，[[PIRD框架]]能够精准捕捉到[[zero-lag PID]]无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于[[zero-lag PID]]方案。
=== PID框架在人工智能领域中的应用 ===
=== PID框架在人工智能领域中的应用 ===
==== LVLMs的信息分解 ====
==== LVLMs的信息分解 ====
在[[人工智能]]领域中，PID框架中的冗余、特有、协同等原子常被用于模型和算法设计中。
Xiu Lixin等研究者在2026年的工作 《A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models》中,基于PID框架构建了一套模型无关的量化分析框架,为揭示[[视觉-语言大模型（LVLMs)]]推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
研究者们将[[LVLMs]]的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。