216
个编辑
更改
跳到导航
跳到搜索
第863行：
第863行： − + + 第875行：
第876行： − + 第906行：
第907行： − + 第925行：
第926行： − + + − + + − − 第943行：
第944行： − + + 第1,129行：
第1,131行： +
→PID在脑科学与神经科学中的应用
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
而由Andrea I. Luppi等研究者在2022年的文章《A synergistic core for human brain evolution and cognition》<ref>[https://www.nature.com/articles/s41593-022-01070-0 Luppi, Andrea I., et al. "A synergistic core for human brain evolution and cognition." ''Nature neuroscience'' 25.6 (2022): 771-782.]</ref>之中提出了大脑协同核这一神经科学理论，旨在克服FC方法的局限，为人脑如何通过信息整合支撑复杂认知能力提供理论解释。
==== 意识的形式理论 ====
==== 意识的形式理论 ====
在2021年的文章《What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena》中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
在2021年的文章《What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena》<ref>[https://academic.oup.com/nc/article/2021/2/niab027/6429334 Luppi, Andrea I., et al. "What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena." ''Neuroscience of consciousness'' 2021.2 (2021): niab027.]</ref>中.Luppi等研究者提出了一种基于PID框架扩展的<math>\Phi</math>ID框架的意识理论，称之为<math>\mathrm{Psy}</math>-ID理论。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
这一工作主要探讨意识的是否有涌现机制、不同意识状态的本质等差异如何度量等意识科学领域的核心问题。
具体而言，[[zero-lag PID]]只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而[[transfer-entropy PID]]仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
具体而言，[[zero-lag PID]]只能捕捉瞬时交互，完全忽略时滞效应带来的因果关联，从而无法反映过程的动态演化(如气候指数间的跨季影响）而[[transfer-entropy PID]]仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
为了解决zero-lag PID和transfer-entropy PID在分析随机过程时带来的局限，L. Faes等研究者们发展了[[PIRD]]，即[[PIRD|部分信息率分解]]框架<ref>[https://journals.aps.org/prl/abstract/10.1103/nrwj-n8lj Faes, Luca, et al. "Partial information rate decomposition." ''Physical Review Letters'' 135.18 (2025): 187401.]</ref>，这一框架是静态随机变量系统[[部分信息分解（PID）]] 到时间相关性的随机过程系统的扩展。
==== LVLMs的信息分解 ====
==== LVLMs的信息分解 ====
在[[人工智能]]领域中，PID框架中的冗余、特有、协同等原子常被用于模型和算法设计中。
在[[人工智能]]领域中，PID框架中的[[冗余]]、[[特有]]、[[协同]]等原子常被用于模型和算法设计中。
Xiu Lixin等研究者在2026年的工作 《A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models》中,基于PID框架构建了一套模型无关的量化分析框架,为揭示[[视觉-语言大模型（LVLMs)]]推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
Xiu Lixin等研究者在2026年的工作 《A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models》<ref>[https://arxiv.org/abs/2603.29676 A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models]</ref>中,基于PID框架构建了一套模型无关的量化分析框架,为揭示[[视觉-语言大模型（LVLMs)]]推理过程的信息机制提供了工具,填补了现有研究仅依赖准确率进行评估的局限。
研究者们将[[LVLMs]]的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
研究者们将[[LVLMs]]的视觉特征,语言特征分别作为源变量，<math>X_1,X_2</math>,将模型预测Y作为输出,将特征与预测间总互信息分解为四个非负的核心分量,构成模型的信息谱。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
信息谱的成分包括：<math>R</math>（重叠，视觉和语言特征间的冗余）、<math>U_{1}</math>（纯视觉侧知识）、<math>U_{2}</math>（纯语言侧知识）以及 <math>S</math>（语言同视觉的协同）。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的特有信息<math>U_2</math>主导，协同信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于协同信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的[[协同]]信息<math>S</math>,后者则由语言特征提供的[[特有]]信息<math>U_2</math>主导，[[协同]]信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于[[协同]]信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
随后给出一个分布：In [2]: d = dit.Distribution(['000', '011', '102', '113'], [1/4]*4)
随后给出一个分布：In [2]: d = dit.Distribution(['000', '011', '102', '113'], [1/4]*4)