216
个编辑
更改
→PID框架应用研究
== PID框架应用研究 ==
== PID框架应用研究 ==
PID的高效性体现在其可以扩展至多个领域，这里集智百科将展示PID在复杂系统涌现研究、 意识研究领域中的应用。
=== PID在复杂系统涌现研究中的应用 ===
=== PID在复杂系统涌现研究中的应用 ===
为了量化网络的涌现程度，作者们引入了基于作为PID扩展的<math>Phi</math> ID而开发的因果涌现度量理论。Phi ID框架通过量化整个系统在多大程度上提供了关于任何单个组件无法提供的未来演化信息，来衡量系统的整合程度，从而度量系统的因果涌现性。
而后<math>Phi ID</math>被用来计算基因表达信号的因果涌现程度。高斯信息假设在这一工作的Phi ID计算中起到了核心支撑，假设信号符合高斯分布，带来了<math>Phi</math> ID计算上的极大便利性。
具体而言，使用高斯假设后，互信息的计算不再需要复杂的分布估计，可以通过皮尔逊相关系数精确地计算互信息矩阵；熵的计算也可以通过高斯分布的方差和均值获得，从而使得应用<math>Phi</math> ID量化多组件GRNs计算成本大幅降低。
利用高斯信息假设下的<math>Phi</math> ID的方法分析实验结果，作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提，以及学习可反向强化系统集成性与因果涌现性的特点，同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。
在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论，称之为Psy-ID理论。
在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论，称之为<math>\Psy</math>-ID理论。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
作者等人主张,将意识视为由不同信息论要素构成,可实现对其更全面的刻画。借助由PID框架扩展而来的Phi ID框架，作者定义了$$\Phi_R$$(修正的整合信息)与$$\Phi_{R-ing}$$ 比率（意识-信息转化效率）两种刻画意识的信息论指标。
作者等人主张,将意识视为由不同信息论要素构成,可实现对其更全面的刻画。借助由PID框架扩展而来的<math>Phi</math> ID框架，作者定义了<math>\Phi_R</math>(修正的整合信息)与<math>\Phi_{R-ing}</math>比率（意识-信息转化效率）两种刻画意识的信息论指标。
<math>\Phi_R= \mathrm{Synergy} + \mathrm{Transfer}</math>
<nowiki>$$\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})$$</nowiki>
<math>\Phi_{R-ing} = \frac{\Phi_R}{\mathrm{TDMI}};\mathrm{TDMI} = I(X_t,X_{t+\tau})</math>
前者解决了IIT 2.0的中 $$\Phi ^{WMS}$$指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了$$\Phi_R$$无法度量的意识信息利用差异程度，与$$\Phi_R$$形成互补 ,为分析意识的信息加工机制提供了量化线索。
前者解决了IIT 2.0的中 <math>\Phi ^{WMS}</math>指标的负值问题，成为衡量意识存在性、强度的硬性指标；后者则从信息利用率的角度捕捉了<math>\Phi_R</math>无法度量的意识信息利用差异程度，与<math>\Phi_R</math>形成互补 ,为分析意识的信息加工机制提供了量化线索。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
作者分别设计了三个实验，分别为意识的丧失与恢复、大脑默认模式网络（DMN）的信息原子分析、和跨物种（人类 vs 猕猴）脑网络的信息原子对比。系列试验结果表明,意识模式并非先天固定，而是'''系统与环境互动的产物'''，环境的信息需求会塑造神经信息的加工模式，进而决定意识的体验模式；跨物种的意识差异核心是'''意识模式'''差异，而非量的差异。
这一工作中，从PID框架扩展而来的<math>\Phi</math> ID框架为意识研究提供了全新的信息论分析工具，基于<math>\Phi</math>ID开发的<math>\Phi_R</math>和<math>\Phi_{R-ing}</math> 比率两类指标将意识研究推进到量 + 质+效率的精细分析水平，弥补了IIT2.0仅关注意识量的缺陷。
=== PID框架在随机过程中的应用 ===
=== PID框架在随机过程中的应用 ===
按PID分解的对象分类，PID在用于随机过程分析时，一般分为零时滞-PID，和（转移熵）TE -PID两种分解模式。
按PID分解的对象分类，PID在用于随机过程分析时，一般分为零时滞-PID，和（转移熵）TE -PID两种分解模式。
前者使用PID框架分解源过程和目标过程的$$I(\mathbf{X_n};Y(t_n)$$后者则分解源过程和目标过程间的$$I(Y(t_n);X(t < n)|Y(t < n))$$其分解对象的信息结构如下图所示
前者使用PID框架分解源过程和目标过程的<math>I(\mathbf{X_n};Y(t_n)</math>后者则分解源过程和目标过程间的<math>I(Y(t_n);X(t < n)|Y(t < n))</math>其分解对象的信息结构如下图所示
[[文件:ZL-PID-TE-PID.png|居中|缩略图]]
[[文件:ZL-PID-TE-PID.png|居中|缩略图]]
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解（PIRD）框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。
为了解决零时滞PID和TE-PID在分析随机过程时带来的局限，作者发展了PIRD框架,称部分信息率分解（PIRD）框架，这一框架是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。
与零时滞PID和TE-PID不同，PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率（MIR）<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息（MI），结合频率域谱冗余率（SMMI）<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。
为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法
为了解决高维系统中冗余格原子数随源变量数目超指数增长的问题，作者提出了信息原子的贡献模式，将信息原子分为独特类，冗余类和协同类，对冗余格的结构进行粗粒化的计算方法
<nowiki>粗粒化分解式为$$I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}{Y;X_m}+\mathcal{R}{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}$$使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。</nowiki>
粗粒化分解式为<math>I_{X;Y}=\sum_{m=1}^{N}\mathcal{U}{Y;X_m}+\mathcal{R}{Y;\mathbf{X}} + \mathcal{S}_{Y;\mathbf{X}}</math>使得实际计算的信息原子规模从关于源变量数的超指数量级降低为线性量级（N+2，N为源变量数）。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
三源VAR过程的测试算例和真实的大气高斯系统仿真的结果表明，PIRD框架能够精准捕捉到零时滞PID无法捕捉到的多元相互作用,在捕捉随机过程的时间相关性和频率特异性交互上优于零时滞PID方案。
作者将LVLMs的视觉特征,语言特征分别作为源变量，X_1,X_2,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
作者将LVLMs的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>\(U_{1}\)</math>（仅视觉线索）、<math>\(U_{2}\)</math>（语言侧知识）以及 S（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
此外，基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
== 参考文献列表 ==
== 参考文献列表 ==