216
个编辑
更改
跳到导航
跳到搜索
第648行：
第648行： − 为了解决PID框架遭遇的困难，研究人员针对性地对PID框架进行了发展，在这里集智百科介绍一类处理连续高维系统的PID估计和可计算性的代表性工作，即[[高斯型PID]]框架。+ + + − Praveen Venkatesh, Corbett Bennett等研究者在2023年的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2023/hash/ec0bff8bf4b11e36f874790046dfdb65-Abstract-Conference.html Venkatesh, Praveen, et al. "Gaussian partial information decomposition: Bias correction and application to high-dimensional data." ''Advances in Neural Information Processing Systems'' 36 (2023): 74602-74635.]</ref>中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。+ − 这一方法通过引入部分信息原子的最优化形式定义，以及将优化搜索空间限制在联合高斯分布中，大大降低了进行PID的计算复杂度，研究者们在将文章中说明了~G-PID的计算复杂度为系统变量数的二次方级。+ + + + + + + + + 第663行：
第673行： − 几位研究者的工作在理论上证明了，通过限制~PID的优化搜索空间到高斯分布型集合上时，可以使~G-PID原子在理论上靠近~PID的计算结果，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。+ − + − Wenyuan Zhao, Adithya Balachandran, Chao Tian, Paul Pu Liang几位研究者在2025年发表的文章<ref>[https://proceedings.neurips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, Wenyuan, et al. "Partial information decomposition via normalizing flows in latent Gaussian distributions." ''Advances in Neural Information Processing Systems'' 38 (2026): 4495-4530.]</ref>中提出 Thin-PID 作为 latent Gaussian distributions 中提升高斯型PID计算效率的梯度算法，并提出 Flow-PID 用 normalizing flows 泛化到非高斯数据。+ + − 研究者们发现将Bertschinger给出的部分信息原子定义限制在高斯分布集<math>\Delta G</math>上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。+ − Wenyuan Zhao 、Chao Tian等研究者给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。+ + + + + + + − 对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上，下面的图片为Thin-PID方法通过Normalizing Flows应用至非高斯数据的原理示例。+ − [[文件:FlowPID.png|居中|900x900px|替代=|缩略图|图：通过Normalizing Flow 将Thin-PID 方法应用至非高斯数据的原理——使用Normalizing Flow 将非高斯型分布的数据变换到latent高斯边际，进一步转换为高斯分布，最后应用Thin-PID方法进行处理。]] − Wenyuan Zhao 、Chao Tian等研究者在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。+ +
→PID框架的发展
== [[部分信息分解|PID框架]]的发展 ==
== [[部分信息分解|PID框架]]的发展 ==
前述 PID 的理论争议与多源反链格的组合复杂度，并不能由单一估计方法完全解决。对于连续、高维数据，实际困难还包括：对高维联合分布的估计、基于分布优化的计算成本，以及有限样本导致的估计偏差。
高斯型 PID（Gaussian PID）是一类针对这些'''计算与估计问题'''提出的方法。其基本思路是:在随机变量满足特定高斯条件时，利用均值和协方差矩阵刻画分布，从而将原本在高维概率分布空间上的优化，转化为较低维的矩阵优化问题。下面集智百科将介绍两类代表性的框架: <math>\widetilde{G}</math>-PID和Thin-PID
=== [[高斯型PID]]框架 ===
=== [[高斯型PID]]框架 ===
==== ~G-PID ====
==== ~G-PID ====
PVenkatesh、Bennett 等人在 2023 年提出 <math>\widetilde{G}</math>-PID，用于高效计算和估计联合高斯随机向量上的 <math>\widetilde{\mathrm{PID}}</math>，即常称的 ~PID/BROJA-PID。<ref>[https://proceedings.neurips.cc/paper_files/paper/2023/file/ec0bff8bf4b11e36f874790046dfdb65-Paper-Conference.pdf Venkatesh, P. et al. (2023). “Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data.” ''NeurIPS 2023''.]</ref>
设 <math>M</math> 为目标变量，<math>X</math> 和 <math>Y</math> 为两个信源。BROJA-PID 的特有信息需要在保持 <math>(M,X)</math> 与 <math>(M,Y)</math> 边缘分布不变的联合分布集合上进行优化。<math>\widetilde{G}</math>-PID 进一步将候选联合分布限制为联合高斯分布：
<math>
\widetilde{\mathrm{UI}}_{G}(M:X\setminus Y)
=
\min_{Q\in\Delta^{G}_{P}}I_{Q}(M;X\mid Y),
</math>
其中，<math>\Delta^{G}_{P}</math> 表示满足给定边缘约束的联合高斯分布集合。
在这一限制下，候选分布由协方差矩阵参数化；在给定边缘约束后，待优化参数的数量可由随维度指数增长降至二次增长，这里的“二次”指优化变量数量的增长阶，这大大降低了进行PID的计算复杂度。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
~G-PID框架定义的信息原子，采用了~PID/BROJA-PID 中冗余信息原子的定义，从而继承了~PID/BROJA-PID 定义下信息原子的独立分量可加性。
Praveen Venkatesh, Corbett Bennett在三种高斯直觉性示例（纯特有、纯冗余、纯协同）和三种非直觉性示例（[[特有]]和[[冗余]]、[[特有]]和[[协同]]、[[冗余]]和[[协同]]等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
Praveen Venkatesh, Corbett Bennett在三种高斯直觉性示例（纯特有、纯冗余、纯协同）和三种非直觉性示例（[[特有]]和[[冗余]]、[[特有]]和[[协同]]、[[冗余]]和[[协同]]等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
几位研究者的工作在理论上证明了，对~PID的优化搜索空间添加高斯限制后得到的~G-PID原子，是相应的~PID特有信息原子的上界以及冗余、协同信息原子的下界，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。
==== Thin-PID ====
==== Thin-PID ====
Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究在~G-PID的基础之上推进了一步。
Zhao、Balachandran、Tian 与 Liang 在 2025 年的工作《Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions》<ref>[https://proceedings.nips.cc/paper_files/paper/2025/hash/06f484b5e9ce4e4b0e88ac0f29239201-Abstract-Conference.html Zhao, W.; Balachandran, A.; Tian, C.; Liang, P. P. (2025). “Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions.” ''NeurIPS 2025''.]</ref>提出 Thin-PID 和 Flow-PID，进一步讨论了高斯 PID 的优化效率及其向非高斯数据的扩展。
该工作将两个信源 <math>X_1,X_2</math> 与目标变量 <math>Y</math> 的相关问题称为高斯 PID（GPID）。在 GPID 中，<math>(X_1,Y)</math> 和 <math>(X_2,Y)</math> 的边缘分布为多元高斯分布。作者证明：在这一条件下，将优化变量限制为联合高斯分布不会损失最优性。这为高斯约束优化提供了理论依据，也补充了早期 <math>\widetilde{G}</math>-PID 工作中尚未完全解决的最优性问题。
Wenyuan Zhao 、Chao Tian等研究者给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
Thin-PID 是用于计算 GPID 的梯度优化算法。它通过改写优化目标，并直接在满足协方差约束的参数空间中搜索解，以提升高维高斯数据上的计算效率。实验表明，在论文考察的高斯合成数据中，Thin-PID 能以较高精度估计 GPID，并在维度增大时表现出优于若干比较方法的计算效率。
Flow-PID 则尝试将这一思路扩展到非高斯数据。其使用可逆的 normalizing flow，分别学习信源与目标变量的变换：
<math>
(X_1,X_2,Y)
\longmapsto
(\widehat{X}_1,\widehat{X}_2,\widehat{Y}).
</math>
在理想情况下，这些变换保持信息不变，并使 <math>(\widehat{X}_1,\widehat{Y})</math> 与 <math>(\widehat{X}_2,\widehat{Y})</math> 的潜在边缘分布接近高斯分布；随后可在潜在空间中使用 Thin-PID。
Flow-PID的应用依赖于两个条件：一、所学习的变换应足够接近可逆且信息保持;二、变换后的目标—信源边缘分布应被高斯模型充分近似。若这些条件不能满足，所得 PID 估计可能出现偏差。
研究者们在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。