集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

部分信息分解 (查看源代码)

2026年3月5日 (四) 23:32的版本

删除617字节 、 2026年3月5日 (星期四)
无编辑摘要
第796行： 第796行：     
=== PID框架在理论层面的局限 ===
 
=== PID框架在理论层面的局限 ===
−
PID在理论层面的局限主要集中在两点。
+
PID在理论层面的局限主要集中在,PID的冗余信息的公理化方案约束出的信息原子函数形式不唯一上：
−
 
  −
1. PID的冗余信息的公理化方案约束出的信息原子函数形式不唯一。
  −
 
  −
2. 以及原始版本PID框架仅能用于处理多元随机变量够成的源变量组对单目标变量的传输信息分解。
      
前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前这些公理化方案间存在争议。原始作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。
 
前文已指出，对冗余信息的约束，存在多种公理化方案，这导致了不同形式的冗余信息的计算式，目前这些公理化方案间存在争议。原始作者给出的公理化方案并非是能导出唯一合理的冗余函数的方案。
    
一方面冗余信息公理化定义的问题会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。
 
一方面冗余信息公理化定义的问题会影响PID框架本身的理论可靠性，另一方面，多种冗余函数也给在研究者应用PID框架进行部分信息项的计算带来了选择困难。
−
  −
同时，实际的复杂系统研究中待分析的对象往往为两个多元随机变量组之间传输信息，而PID框架考察的是一个源变量组对单一目标变量传输信息，从而对两个有多元随机变量构成的源变量组-目标变量组间传输信息的场景，PID框架表现出了只能针对目标随机变量组中的单目标变量进行分析的局限。
      
=== PID框架在应用层面的局限 ===
 
=== PID框架在应用层面的局限 ===
第813行： 第807行：  
Dedekind数的意义为：$n$维布尔格$\mathcal{B}_{n}$上所有单调布尔函数的数量。对$n$个信息源的情况而言，其部分信息项的数量为$n-1$阶Dedekind数。
 
Dedekind数的意义为：$n$维布尔格$\mathcal{B}_{n}$上所有单调布尔函数的数量。对$n$个信息源的情况而言，其部分信息项的数量为$n-1$阶Dedekind数。
   −
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于$9$个时，部分信息项的数目超过$5 \times 10^{22}$个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法高效计算，这使得PID框架适用的复杂系统规模极为受限。
+
当待分析的变量系统中包含变量数目增多时，变量增多时会急剧膨胀，当系统变量数目大于$9$个时，部分信息项的数目超过$5 \times 10^{22}$个，此时Dedekind数已无法手动计算出，冗余格结构的复杂度也会同步提升，导致大型系统中的部分信息原子无法通过PID最初论文高效计算，这使得PID框架适用的复杂系统规模极为受限。
 +
 
 +
 
 +
另一方面，当PID框架中
    
== PID框架的扩展 ==
 
== PID框架的扩展 ==
 +
为了解决PID框架遭遇的困难，研究人员针对性地对PID框架进行了扩展，在这里我们介绍两类提升PID可计算程度最具代表性的工作：一类为高斯型PID框架，高斯型PID框架将对离散系统定义的部分信息分解扩展至具有连续型随机变量
   −
=== 相关框架 ===
+
=== 高斯型PID框架 ===
   −
==== 部分熵分解 ====
+
==== ~G-PID ====
−
Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. ''Proceedings of the National Academy of Sciences'', ''120''(30), e2300888120.
     −
==== 整合信息分解 ====
+
==== Thin-PID ====
−
Mediano, P. A., Rosas, F. E., Luppi, A. I., Carhart-Harris, R. L., Bor, D., Seth, A. K., & Barrett, A. B. (2021). Towards an extended taxonomy of information dynamics via integrated information decomposition. ''arXiv preprint arXiv:2109.13186''.
     −
==== 系统信息分解 ====
+
=== 部分信息率分解(PIRD)框架 ===
−
Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System information decomposition. ''arXiv preprint arXiv:2306.08288''.
+
部分信息率分解（PIRD）框架，是将传统部分信息分解（PID） 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。这一框架通过互信息率（MIR） 替代静态互信息（MI），结合频率域谱冗余率（SMMI） 实现动态信息的独特、冗余、协同贡献分解；经高斯系统仿真验证，PIRD 在捕捉时间相关性和频率特异性交互上优于传统 PID，
   −
== PID框架的应用 ==
+
== PID框架应用研究 ==
 
PID框架的应用很多，讨论PID框架的应用研究时。个人认为应当仅可能地遵从如下的三个原则：1.尽可能寻找直接用PID框架或变体并不是很大的PID框架，而非仅有逻辑结构和架构设计思路上与PID框架相关的框架去处理问题的研究 ；2.这类研究在主题的选择熵要尽可能地和集智斑图、集智学园中较为热点的读书会、课程主题产生交集——比如尽量选择PID框架在复杂系统(因果涌现)中的应用、PID框架在人工智能中的应用、PID框架在计算神经科学中/意识研究的应用（可选）——各举一个较为代表性的例子即可 3.要尽可能选择相对成熟、已经有一定影响程度，已经在学术界成为一定程度共识，被可靠的信源引用的研究。
 
PID框架的应用很多，讨论PID框架的应用研究时。个人认为应当仅可能地遵从如下的三个原则：1.尽可能寻找直接用PID框架或变体并不是很大的PID框架，而非仅有逻辑结构和架构设计思路上与PID框架相关的框架去处理问题的研究 ；2.这类研究在主题的选择熵要尽可能地和集智斑图、集智学园中较为热点的读书会、课程主题产生交集——比如尽量选择PID框架在复杂系统(因果涌现)中的应用、PID框架在人工智能中的应用、PID框架在计算神经科学中/意识研究的应用（可选）——各举一个较为代表性的例子即可 3.要尽可能选择相对成熟、已经有一定影响程度，已经在学术界成为一定程度共识，被可靠的信源引用的研究。
   第838行： 第834行：  
PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域 、意识研究领域中的应用。
 
PID的高效性体现在其可以扩展至多个领域，不论是物理、还是生态、心理研究又或是神经科学，这里集智百科将以一个例子的方式PID在复杂系统科学、人工智能领域 、意识研究领域中的应用。
   −
=== PID在复杂系统科学领域的应用 ===
+
=== PID在复杂系统涌现研究中的应用 ===
−
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246（这个重点写，因为涉及到PID与因果涌现）
+
Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246
    
=== PID框架在人工智能领域中的应用 ===
 
=== PID框架在人工智能领域中的应用 ===
−
Tax, T.M.S.; Mediano, P.A.M.; Shanahan, M. The Partial Information Decomposition of Generative Neural Network Models. ''Entropy'' 2017, ''19'', 474. https://doi.org/10.3390/e19090474（可选<nowiki/>）
  −
         
Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）
 
Dutta S, Hamman F. A Review of Partial Information Decomposition in Algorithmic Fairness and Explainability. Entropy (Basel). 2023 May 13;25(5):795. doi: 10.3390/e25050795. PMID: 37238550; PMCID: PMC10217569.（可选）
−
   
=== PID框架在意识研究中的应用 ===
 
=== PID框架在意识研究中的应用 ===
 
Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>
 
Andrea I Luppi, Pedro A M Mediano, Fernando E Rosas, David J Harrison, Robin L Carhart-Harris, Daniel Bor, Emmanuel A Stamatakis, What it is like to be a bit: an integrated information decomposition account of emergent mental phenomena, ''Neuroscience of Consciousness'', Volume 2021, Issue 2, 2021, niab027, <nowiki>https://doi.org/10.1093/nc/niab027</nowiki>
王亦理
216

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/49208”