216
个编辑
更改
→部分信息分解（PID）框架
== 历史 ==
== 历史 ==
1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息，但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生，其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。
1948年，香农开启了现代信息论研究，为我们提供了分析数据所蕴含的信息的强大工具。然而，传统的信息论大多关注单个变量之间的关系，如香农提出的互信息，它衡量了一个随机变量对另一个随机变量的信息，但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生，其中，交互信息（Interaction Information）是被广泛使用的一个概念，它试图量化一组变量中超出任何子集所包含信息的总量。然而，交互信息存在一个显著的问题：在三个或更多变量的情况下，它有时会出现负值。但信息量通常被认为是非负的。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以彻底分解源变量对目标变量的传递信息。他们的在原始工作中的思路是首先给出了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。后利用这个冗余格提出了其余两种部分信息原子（Partial Information Atoms）、独特和协同的定义，并以例子说明了他们构建的部分信息分解（PID）框架能够将多变量系统中信息源对结果变量提供的贡献分解为为信息原子的组合。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以彻底分解源变量对目标变量的传递信息。他们的在原始工作中的思路是首先给出了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的格（lattice）来阐明多变量信息的一般结构。后利用这个冗余格提出了其余两种部分信息原子（Partial Information Atoms）、独特和协同的定义，并以例子说明了他们构建的部分信息分解（PID）框架能够将多变量系统中信息源对结果变量提供的贡献分解为信息原子的组合。
== 相关概念 ==
== 相关概念 ==
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
McGill交互信息负值的出现意味着本不是冗余的信息被计算成了冗余信息,从而暗示了以往被算作“冗余信息”的部分可能包含着多个变量形成整体间互相作用的效果,启发了PID框架将协同计入信息原子。
== 部分信息分解（PID）框架 ==
== 部分信息分解（PID）框架 ==
这意味着，在通过'''互信息-冗余'''计算完独特后，可以用'''条件互信息-独特'''计算协同。
这意味着，在通过'''互信息-冗余'''计算完独特后，可以用'''条件互信息-独特'''计算协同。
'''例'''：
'''例'''：