部分信息分解

历史

从2012年Williams 和 Beer的文章开始梳理即可。

相关概念

互信息

此处包括两变量以及多变量的多种互信息变体，比如total corrolation， interaction information，并探讨这些多变量版本的不足（PID的motivation）

部分信息分解框架

两源变量框架

此部分先大致介绍冗余，特有，协同的概念，不涉及晶格和反链，只用韦恩图做两变量的直观介绍。

也需要涉及大致的定量公式：

冗余晶格

之后说更一般的多变量版本是基于冗余晶格的，具体定义在

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

大致内容可参考： 之后可以放一个三变量冗余晶格和三变量韦恩图的对比。

信息原子计算

此处的计算是指基于给定冗余或协同信息后其余信息原子的计算方法，涉及到莫比乌斯反演，参考原文和后续文章

P. L. Williams and R. D. Beer, Nonnegative decomposition of multivariate information, arXiv preprint arXiv:1004.2515 (2010).

冗余信息计算方法

此处的计算是指不同的冗余信息定义：

每一个小节介绍一个定义，并在最后提供几个对比表，包括性质以及定量

V. Griffith, E. K. Chong, R. G. James, C. J. Ellison, and J. P. Crutchfield, Intersection information based on common randomness, Entropy 16, 1985 (2014).

R. A. Ince, Measuring multivariate redundant information with pointwise common change in surprisal, Entropy 19, 318 (2017).

N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, and N. Ay, Quantifying unique information, Entropy 16, 2161 (2014).

A. Kolchinsky, A novel approach to the partial information decomposition, Entropy 24, 403 (2022)

A. B. Barrett, Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems, Physical Review E 91, 052802 (2015).

C. Finn and J. T. Lizier, Pointwise partial information decomposition using the specificity and ambiguity lattices, Entropy 20, 297 (2018).

R. G. James, J. Emenheiser, and J. P. Crutchfield, Unique information via dependency constraints, Journal of Physics A: Mathematical and Theoretical 52, 014002 (2018).

Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit formula for partial information decomposition." 2024 IEEE International Symposium on Information Theory (ISIT). IEEE, 2024.