集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

部分信息分解 (查看源代码)

2026年3月13日 (五) 17:54的版本

添加4,925字节 、 2026年3月13日 (星期五)
→‎PID框架的扩展
第801行： 第801行：     
一方面冗余信息公理化定义的问题会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。
 
一方面冗余信息公理化定义的问题会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。
 +
 +
 +
AoBo更新了一篇对PID框架的批评:Multivariate partial information decomposition: Constructions, inconsistencies, and alternative measures | Phys. Rev. E
    
=== PID框架在应用层面的局限 ===
 
=== PID框架在应用层面的局限 ===
第810行： 第813行：       −
另一方面，当PID框架中
+
 
 +
 
 +
 
 +
。
    
== PID框架的扩展 ==
 
== PID框架的扩展 ==
第818行： 第824行：     
==== ~G-PID ====
 
==== ~G-PID ====
 +
Praveen Venkatesh, Corbett Bennett等人在2023年的工作中针对高斯分布型随机变量组提出了估计定义在高斯分布上的~PID/BROJA-PID 的方法，称之为~G-PID方法。
 +
 +
这一框架中通过～PID 的优化搜索空间限制在'''联合高斯分布'''中，大大降低了进行PID的计算复杂度，从系统变量数的超指数级降至二次方级。~G-PID框架定义的信息原子，是~PID/BROJA-PID 信息原子的上、下界，并且由于采用了~PID/BROJA-PID 中冗余信息原子的定义，~G-PID继承了~PID定义的信息原子的独立分量可加性。
 +
 +
这意味着：如果若一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的~G-PID信息原子，再加总即可得到整体的~G-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
 +
 +
Praveen Venkatesh, Corbett Bennett等人在三种高斯直觉性示例（纯独特、纯冗余、纯协同）和三种非直觉性示例（独特和冗余、独特且协同、冗余和协同等非直觉性）中测试了~G-PID的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
 +
 +
Praveen Venkatesh, Corbett Bennett等人的工作在理论上证明了，通过限制~PID的优化搜索空间到高斯分布型集合上时，可以使~G-PID原子在理论上靠近~PID的计算结果，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。
    
==== Thin-PID ====
 
==== Thin-PID ====
 +
Thin-PID&Flow-PID工作将高斯随机型变量系统的PID研究再在~G-PID的基础之上推进了一大步。
 +
 +
Wenyuan Zhao 、Chao Tian等人在2025年发表的工作中发现将Bertschinger给出的部分信息原子定义限制在高斯分布集$$\Delta G$$上，对其优化解的搜索空间添加高斯约束的限制后，在所得受限集合内进行优化,可得到GPID的最优解——这意味着对优化解的搜索空间做高斯性假设的限制，无损其最优性，从而进一步强化了~G-PID方法的结论。
 +
 +
Wenyuan Zhao 、Chao Tian等人给出了GPID协同信息的优化问题形式及相应的计算格式，将其命名为Thin-PID方法。
 +
 +
对非高斯分布的随机变量系统，Wenyuan Zhao 、Chao Tian等人采用了机器学习中常用的Normalizing Flows将非高斯型分布转换为高斯分布，使得Thin-PID方法可应用其上。
 +
[[文件:FlowPID.png|居中|缩略图|1191x1191像素]]
 +
 +
 +
Wenyuan Zhao 、Chao Tian等人在一维广播信道的例子中测试了Thin-PID的准确性，在协作和旋转等典型高维GPID的计算中对比了Thin-PID和Tilde-PID的精度和计算效率，并在具有可逆非线性变换的多元高斯分布案例中对比了Flow-PID方法与Tilde-PID方法的计算效果。同时，他们还设计了数值实验，评估了Flow-PID方法对具有离散目标情况的泛化能力。
   −
=== 部分信息率分解(PIRD)框架 ===
+
数值实验结果表明，Thin-PID能够精确计算GPID的值，并且在计算维度升高时，表现出优于Tilde-PID的精度和计算效率；Flow-PID在相对PID值上确实与确切事实一致，而Tilde-PID则因交互的性质和程度出现扭曲而失败.Flow-PID不仅能准确分配主要的交互类型，而且与BATCH方法相比，能更好地量化专门化交互的程度。
−
部分信息率分解（PIRD）框架，是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。这一框架通过互信息率（MIR） 替代静态互信息（MI），结合频率域谱冗余率（SMMI） 实现动态信息的独特、冗余、协同贡献分解；经高斯系统仿真验证，PIRD 在捕捉时间相关性和频率特异性交互上优于传统 PID，
      
== PID框架应用研究 ==
 
== PID框架应用研究 ==
第835行： 第860行：     
=== PID在复杂系统涌现研究中的应用 ===
 
=== PID在复杂系统涌现研究中的应用 ===
 +
PID框架在复杂系统科学中被应用于刻画复杂系统中的涌现现象。
 +
 +
Pedro A. M. Mediano 和 Fernando E. Rosas等人在2022年的一篇中综述了基于信息分解框架的因果涌现形式化理论。在这一理论框架中PID中的信息原子被用于刻画系统出现因果涌现的条件和系统总涌现的能力。
 +
 +
综述中介绍的理论指出，系统出现k阶因果涌现的当且仅当\mathrm{Syn}^{(k)}(X_t,X_{t'})>0，其中\mathrm{Syn}^{(k)}是由协同信息定义的整体系统而非k个及以下的部分提供的关于系统未来演化的信息，同时，在这一理论框架中，系统涌现能力=\mathcal{D}^{(k)}+\mathcal{G}^{(k)},其中\mathcal{D}^{(k)}为向下因果,\mathcal{G}^{(k)}为因果解耦。
 +
 +
 +
图：信息分解冗余格中向下因果与因果解耦的部分)
 +
 +
\mathcal{D}^{(k)}与\mathcal{G}^{(k)}分别由PID框架中的独特信息原子刻画，其中\mathcal{D}^{k} =\mathrm{Un}^{(k)}(V_t;X_{t'}^{a}|X_{t})
 +
 +
 +
\mathcal{G}^{(k)} = \mathrm{Un}^{(k)}(V_t;V_{t'}|X_{t},X_{t'})
 +
 +
 +
（图：系统涌现的分解）
 +
 +
该理论已在经典的涌现模型和脑科学研究中取得了成功应用。
 +
 +
这一部分内容在集智百科'''基于信息分解的因果涌现'''词条中已有详尽叙述，详细内容可访问'''基于信息分解的因果涌现'''词条进行查看。
 +
 
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246
 
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246
   第841行： 第887行：     
Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）
 
Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）
 +
 +
=== PID框架在随机过程中的应用 ===
 +
 +
==== PIRD ====
 +
部分信息率分解（PIRD）框架，是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。这一框架通过互信息率（MIR） 替代静态互信息（MI），结合频率域谱冗余率（SMMI） 实现动态信息的独特、冗余、协同贡献分解；经高斯系统仿真验证，PIRD 在捕捉时间相关性和频率特异性交互上优于传统 PID，
 +
 
=== PID框架在意识研究中的应用 ===
 
=== PID框架在意识研究中的应用 ===
 
Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>
 
Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>
王亦理
216

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/49313”