更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
部分信息分解
(查看源代码)
2026年4月24日 (五) 14:04的版本
添加13字节
、
2026年4月24日 (星期五)
→PID框架在人工智能领域中的应用
第1,018行:
第1,018行:
在广度(模型×数据集)、深度(层)和时间(训练)维度上,作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度(模型×数据集)、深度(层)和时间(训练)维度上,作者了探究何种信号能最一致地影响 LVLMs的行为与泛化能力。
−
实验结果表明,在任务层面,LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类,前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>
主导,协同信息对其有增益但存在增益上限;在模型层面,模型缩放的收益全部来自于协同信息S的提升;在网络层面,所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
+
实验结果表明,在任务层面,LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类,前者完全依赖于视觉特征和文本特征提供的协同信息<math>S</math>,后者则由语言特征提供的独特信息<math>U_2</math>
主导,协同信息对其有增益但存在增益上限;在模型层面,模型缩放的收益全部来自于协同信息<math>S</math>的提升;在网络层面,所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
此外,基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
此外,基于PID的分析还揭示了LVLMs的多模态融合能力仅在视觉指令微调阶段习得的特点。
王亦理
216
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本