更改

是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在的一个显著的问题，反映了交互信息在解释多变量系统中的局限性。

是被广泛使用的一个概念，其是由[[熵]]的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在的一个显著的问题，反映了交互信息在解释多变量系统中的局限性。

为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''部分信息原子 Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。

为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对目标变量提供信息的一般结构，即将源变量对目标变量提供的信息分成三个部分——[[冗余信息原子|冗余]]，[[特有信息原子|特有]]，[[协同信息原子|协同]]以在给定[[冗余函数]]后，将源变量组与目标变量的互信息分解为若干[[部分信息原子]]。他们的思路是首先给出了'''[[冗余信息原子|冗余 Redundancy]]'''的新定义：信息源对每个目标变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''[[冗余晶格]] redundancy lattice'''来阐明多变量信息的一般结构。后利用这个[[冗余晶格]]提出了其余两种'''[[部分信息原子]] Partial Information Atoms'''（[[特有]]信息和[[协同]]信息）的定义，并以例子说明了他们构建的'''[[部分信息分解|部分信息分解 Partial Information Decomposition]]'''(简称PID)框架能够将多变量系统中信息源对目标变量提供的贡献分解为信息原子的组合。

== [[信息论]]基础 ==

== [[信息论]]基础 ==