更改

添加13字节 、 2026年4月24日 (星期五)
第1,018行: 第1,018行:  
在广度(模型×数据集)、深度(层)和时间(训练)维度上,作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。
 
在广度(模型×数据集)、深度(层)和时间(训练)维度上,作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。
   −
实验结果表明,在任务层面,LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类,前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>主导,协同信息对其有增益但存在增益上限;在模型层面,模型缩放的收益全部来自于协同信息S的提升;在网络层面,所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
+
实验结果表明,在任务层面,LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类,前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>主导,协同信息对其有增益但存在增益上限;在模型层面,模型缩放的收益全部来自于协同信息<math>S</math>的提升;在网络层面,所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
    
此外,基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
 
此外,基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
216

个编辑