216
个编辑
更改
跳到导航
跳到搜索
第627行：
第627行： + − − − + + 第702行：
第702行： − + 第747行：
第747行： − + − − 第756行：
第754行： − + − − − − 第826行：
第820行： − + 第840行：
第834行： − + 第860行：
第854行： − − − −
→Thin-PID
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, Wenyuan, et al. "Partial information decomposition via normalizing flows in latent Gaussian distributions." ''Advances in Neural Information Processing Systems'' 38 (2026): 4495-4530.]</ref>中提出 Thin-PID 作为 latent Gaussian distributions 中提升高斯型PID计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, Wenyuan, et al. "Partial information decomposition via normalizing flows in latent Gaussian distributions." ''Advances in Neural Information Processing Systems'' 38 (2026): 4495-4530.]</ref>中提出 Thin-PID 作为 latent Gaussian distributions 中提升高斯型PID计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
Wenyuan Zhao 、Chao Tian等研究者给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
Wenyuan Zhao 、Chao Tian等研究者给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上，下面的图片为Thin-PID方法通过Normalizing Flows应用至非高斯数据的原理示例。
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上，下面的图片为Thin-PID方法通过Normalizing Flows应用至非高斯数据的原理示例。
[[文件:FlowPID.png|居中|900x900px|替代=|无框]]
[[文件:FlowPID.png|居中|900x900px|替代=|缩略图|图：通过Normalizing Flow 将Thin-PID 方法应用至非高斯数据的原理——使用Normalizing Flow 将非高斯型分布的数据变换到latent高斯边际，进一步转换为高斯分布，最后应用Thin-PID方法进行处理。]]
Wenyuan Zhao 、Chao Tian等研究者在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
Wenyuan Zhao 、Chao Tian等研究者在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的[[双重冗余晶格]]结构如下图所示,
取<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，由其生成的[[双重冗余晶格]]结构如下图所示,
[[文件:双重冗余格.png|替代=|居中|600x600像素|无框]]
[[文件:双重冗余格.png|替代=|居中|600x600像素|缩略图|由<math>\mathcal{A} = \{ (\{1\},\{2\}),(\{1\}),(\{2\}),\({1,2\})\}</math>，生成的[[双重冗余晶格]]，每一个节点代表一个双重冗余原子。]]
图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称[[双重冗余原子]]
图中每个节点代表一有序对<math>\mathbf{\alpha \rightarrow \beta},\mathbf{\alpha,\beta \in \mathcal {A}}</math>,称[[双重冗余原子]]
PID框架在复杂系统科学中被应用于刻画复杂系统中的[[涌现]]现象。
PID框架在复杂系统科学中被应用于刻画复杂系统中的[[涌现]]现象。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》<ref>[https://pmc.ncbi.nlm.nih.gov/articles/PMC9125226/ Mediano, Pedro AM, et al. "Greater than the parts: a review of the information decomposition approach to causal emergence." ''Philosophical transactions. Series A, Mathematical, physical, and engineering sciences'' 380.2227 (2022): 20210246.]</ref>中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
Pedro A. M. Mediano 和 Fernando E. Rosas等研究者在2022年的文章《Greater than the parts: a review of the information decomposition approach to causal emergence》<ref>Mediano, Pedro AM, et al. "[https://pmc.ncbi.nlm.nih.gov/articles/PMC9125226/ Greater than the parts: a review of the information decomposition approach to causal emergence]." ''Philosophical transactions. Series A, Mathematical, physical, and engineering sciences'' 380.2227 (2022): 20210246.</ref>中综述了基于信息分解框架的因果[[涌现]]形式化理论。在这一理论框架中，PID[[信息原子]]被用于刻画系统出现[[因果涌现]]的条件和系统总[[涌现]]的能力。
综述中介绍的理论指出，系统出现<math>k</math>阶[[因果涌现]]的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由[[协同]]信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统[[涌现]]能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为[[向下因果]],<math>\mathcal{G}^{(k)}</math>为[[因果解耦]]。
综述中介绍的理论指出，系统出现<math>k</math>阶[[因果涌现]]的当且仅当<math>\mathrm{Syn}^{(k)}(X_t,X_{t'})>0</math>，其中<math>\mathrm{Syn}^{(k)}</math>是由[[协同]]信息定义的整体系统而非<math>k</math>个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统[[涌现]]能力<math>=\mathcal{D}^{(k)}+\mathcal{G}^{(k)}</math>,其中<math>\mathcal{D}^{(k)}</math>为[[向下因果]],<math>\mathcal{G}^{(k)}</math>为[[因果解耦]]。
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
<math>\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})</math>
[[文件:信息原子与量化涌现.png|居中|无框|600x600像素]]
[[文件:信息原子与量化涌现.png|居中|600x600像素|替代=|缩略图|图:左 1阶因果解耦（顶点）和 1阶向下因果（右上）效应在双重冗余格中的对应位置；右 因果涌现=因果解耦 + 向下因果 分解示意图]]
该理论已在经典的[[涌现]]模型和脑科学研究中取得了成功应用。
该理论已在经典的[[涌现]]模型和脑科学研究中取得了成功应用。
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_{tn}};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);\mathbf{X}(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
前者使用PID框架分解源过程和目标过程的瞬时互信息<math>I(\mathbf{X_{tn}};Y(t_n))</math>后者则分解源过程和目标过程间的转移熵<math>I(Y(t_n);\mathbf{X}(t < n)|Y(t < n))</math>其分解对象的直观结构如下图所示
[[文件:ZL-PID-TE-PID.png|居中|替代=|无框]]
[[文件:ZL-PID-TE-PID.png|居中|替代=|缩略图|图:a(零时滞)[[zero-lag PID]]，和b(转移熵)[[transfer-entropy PID]] 和 c PIRD 要分解的信息类型示意图。]]
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
从图中可以看出，[[zero-lag PID]]和[[transfer-entropy PID]]分解的互信息变量组中没有囊括源过程所有的交互作用。
为了解决高维系统中冗余晶格原子数随源变量数目超指数增长带来的计算困难问题，研究者们提出了信息原子的贡献模式，将信息原子分为[[特有]]类，[[冗余]]类和[[协同]]类，对[[冗余晶格]]的结构进行[[粗粒化]]的计算方法。
为了解决高维系统中冗余晶格原子数随源变量数目超指数增长带来的计算困难问题，研究者们提出了信息原子的贡献模式，将信息原子分为[[特有]]类，[[冗余]]类和[[协同]]类，对[[冗余晶格]]的结构进行[[粗粒化]]的计算方法。
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|无框]]
[[文件:PIRD的粗粒化计算方案.png|居中|600x600像素|替代=|缩略图|图:PIRD粗粒化计算原理示意图。蓝色部分为协同类原子，灰色部分为特有类原字， 红色部分为冗余类原子；a)协同类、特有类，冗余类原子在两源变量系统冗余格中的分布示意图 b)协同类、特有类，冗余类原子在三源变量系统冗余格中的分布示意图。]]
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在实际计算中，作者采用了BATCH可扩展估计器，直接处理[[LVLMs]]输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题，提升PID计算的鲁棒性。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
在广度（模型×数据集）、深度（层）和时间（训练）维度上，作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的[[协同]]信息<math>S</math>,后者则由语言特征提供的[[特有]]信息<math>U_2</math>主导，[[协同]]信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于[[协同]]信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。
实验结果表明,在任务层面，LVLMs应对视觉问答任务的信息处理模式可分为协同驱动型与知识驱动型两类，前者完全依赖于视觉特征和文本特征提供的[[协同]]信息<math>S</math>,后者则由语言特征提供的[[特有]]信息<math>U_2</math>主导，[[协同]]信息对其有增益但，存在增益上限；在模型层面，模型缩放的收益全部来自于[[协同]]信息<math>S</math>的提升；在网络层面，所有的LVLMs的Transformer层都呈现出完全一致的三阶段信息流动的特征。