“部分信息分解”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
（/）
第6行： 第6行：
  
 
=== 信息熵 ===
 
=== 信息熵 ===
 +
单变量信息熵
 +
 +
多变量信息熵，引出互信息
  
 
=== 互信息 ===
 
=== 互信息 ===
−
此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）
+
此处包括两变量
 +
 
 +
以及多变量的多种互信息变体，比如
 +
 
 +
total corrolation，  
 +
 
 +
interaction information/co-information/intersection information
 +
 
 +
并探讨这些多变量版本的不足（PID的motivation，摘要里写的）
  
 
== 部分信息分解框架 ==
 
== 部分信息分解框架 ==
第20行： 第31行：
 
也需要涉及大致的定量公式：
 
也需要涉及大致的定量公式：
  
−
[[文件:示意图2.png|无|缩略图|800x800像素]]
+
[[文件:示意图2.png|无|缩略图|800x800像素]]对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。
  
 
=== 冗余晶格 ===
 
=== 冗余晶格 ===
第34行： 第45行：
  
 
之后可以放一个三变量冗余晶格和三变量韦恩图的对比。
 
之后可以放一个三变量冗余晶格和三变量韦恩图的对比。
 +
 +
有了结构和偏序关系，我们需要对函数进行约束。此时我们说一下自由度的问题（只多了一个自由度），所以只需要一个新定义，这篇文章选了最底下的格子——冗余信息。
  
 
=== 信息原子计算 ===
 
=== 信息原子计算 ===
第43行： 第56行：
  
 
==== 其余信息原子计算 ====
 
==== 其余信息原子计算 ====
−
此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章
+
此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章
  
 
== 冗余信息计算方法 ==
 
== 冗余信息计算方法 ==
第49行： 第62行：
  
 
'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。
 
'''每一个小节介绍一个定义'''，并可以在最后提供几个对比表，包括性质以及定量。
 +
 +
第一小节W&B的定义：
 +
 +
每个小节内除了定义，例子
  
 
以下是一些有代表性的定量方法：
 
以下是一些有代表性的定量方法：
第67行： 第84行：
  
 
Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.
 
Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." ''2024 IEEE International Symposium on Information Theory (ISIT)''. IEEE, 2024.
 +
 +
最后一小节可以放一个对照表
 +
 +
[[文件:Image11.png|无框|726x726像素]]
 +
 +
比如
  
 
== 延伸与应用 ==
 
== 延伸与应用 ==
第73行： 第96行：
  
 
==== 部分熵分解 ====
 
==== 部分熵分解 ====
 +
Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. ''Proceedings of the National Academy of Sciences'', ''120''(30), e2300888120.
 +
 +
==== 整合信息分解 ====
 +
Mediano, P. A., Rosas, F. E., Luppi, A. I., Carhart-Harris, R. L., Bor, D., Seth, A. K., & Barrett, A. B. (2021). Towards an extended taxonomy of information dynamics via integrated information decomposition. ''arXiv preprint arXiv:2109.13186''.
 +
 +
==== 系统信息分解 ====
 +
Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System information decomposition. ''arXiv preprint arXiv:2306.08288''.
  
 
=== 应用 ===
 
=== 应用 ===
第80行： 第110行：
  
 
是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.
 
是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.
 +
 +
引一下定量因果涌现
  
 
== 讨论 ==
 
== 讨论 ==

2025年10月18日 (六) 11:06的版本

历史

从2012年Williams 和 Beer的文章开始梳理即可。

相关概念

信息熵

单变量信息熵

多变量信息熵，引出互信息

互信息

此处包括两变量

以及多变量的多种互信息变体，比如

total corrolation，

interaction information/co-information/intersection information

并探讨这些多变量版本的不足（PID的motivation，摘要里写的）

部分信息分解框架

两源变量框架

示意图.png


此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

示意图2.png

对于多变量PID，我们需要一个严谨的数学结构来描述所有源变量与目标变量间的关系。

冗余晶格

之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考：


参考图3.png


之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

有了结构和偏序关系，我们需要对函数进行约束。此时我们说一下自由度的问题（只多了一个自由度），所以只需要一个新定义，这篇文章选了最底下的格子——冗余信息。

信息原子计算

冗余信息公理

单调性（非负性为引理），对称性，self-identity，可参考：

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

其余信息原子计算

此处的计算是指基于给定冗余后其余信息原子的计算方法，涉及到莫比乌斯反演（基于所有经典信息论给的约束），参考原文和后续文章

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并可以在最后提供几个对比表，包括性质以及定量。

第一小节W&B的定义：

每个小节内除了定义，例子

以下是一些有代表性的定量方法：

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.

最后一小节可以放一个对照表

Image11.png

比如

延伸与应用

相关框架

部分熵分解

Varley, T. F., Pope, M., Maria Grazia, Joshua, & Sporns, O. (2023). Partial entropy decomposition reveals higher-order information structures in human brain activity. Proceedings of the National Academy of Sciences, 120(30), e2300888120.

整合信息分解

Mediano, P. A., Rosas, F. E., Luppi, A. I., Carhart-Harris, R. L., Bor, D., Seth, A. K., & Barrett, A. B. (2021). Towards an extended taxonomy of information dynamics via integrated information decomposition. arXiv preprint arXiv:2109.13186.

系统信息分解

Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System information decomposition. arXiv preprint arXiv:2306.08288.

应用

协同信息披露，Rosas F E, Mediano P A M, Rassouli B, et al. An operational information decomposition via synergistic disclosure[J]. Journal of Physics A: Mathematical and Theoretical, 2020, 53(48): 485001.

多元因果分析，Faisal Hamman and Sanghamitra Dutta. Demystifying local and global fairness trade-offs in federated learning using partial information decomposition. arXiv preprint arXiv:2307.11333, 2023.

是否要介绍部分熵分解的应用？Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023.

引一下定量因果涌现

讨论

取自“https://wiki.swarma.org/index.php?title=部分信息分解&oldid=47014”