175
个编辑
更改
跳到导航
跳到搜索
第2行：
第2行： − 是被广泛使用的一个概念，它是由熵的包含—排除式定义的多变量相关量，它混合了冗余与协同，符号可正可负。然而，交互信息存在一个显著的问题：在三个或更多个随机变量的情况下，它有时会出现负值（信息量通常被认为是非负的）。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。+ − +
无编辑摘要
== 历史 ==
== 历史 ==
1948年，克劳德·艾尔伍德·香农（Claude Elwood Shannon）开启了现代信息论研究，为我们提供了分析数据所蕴含信息的强大工具。香农提出的'''互信息 Mutual Information'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典互信息主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
1948年，克劳德·艾尔伍德·香农（Claude Elwood Shannon）开启了现代信息论研究，为我们提供了分析数据所蕴含信息的强大工具。香农提出的'''互信息 Mutual Information'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典互信息主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
是被广泛使用的一个概念，其是由熵的容斥原理定义的多变量相关量，混合了冗余与协同，符号可正可负。但信息量显然应该是非负的，这是在面对三个或更多个随机变量时交互信息存在一个显著的问题，反映了交互信息在解释多变量系统中的局限性。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以彻底分解源变量对目标变量的传递信息。他们的思路是首先给出了冗余（Redundancy）的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的冗余晶格（lattice）来阐明多变量信息的一般结构。后利用这个冗余晶格提出了其余两种部分信息原子（Partial Information Atoms）（独特信息和协同信息）的定义，并以例子说明了他们构建的部分信息分解（PID）框架能够将多变量系统中信息源对结果变量提供的贡献分解为信息原子的组合。
为了解决这一问题，Paul L. Williams和Randall D. Beer在2010年的论文《多变量信息的非负分解》中提出了一种新的多变量信息分解方式<ref name="Paul">{{cite journal|author1=Paul L. Williams|author2=Randall D. Beer|title=Nonnegative Decomposition of Multivariate Information|journal=arXiv preprint|year=2010|url=https://arxiv.org/abs/1004.2515}}</ref>，试图将信息论推广到多个变量的情况。他们重点考虑了一组源变量对给定变量提供信息的一般结构，即将源变量对给定变量提供信息分成三个部分——冗余，独特，协同以在给定冗余函数后，将源变量组与目标变量的互信息分解为若干部分信息原子。他们的思路是首先给出了'''冗余 Redundancy'''的新定义：信息源对每个结果变量的取值提供的最小信息量对所有取值的平均。基于这一定义，他们构建了并引入一个关于源变量集合的'''冗余晶格 lattice'''来阐明多变量信息的一般结构。后利用这个冗余晶格提出了其余两种'''部分信息原子 Partial Information Atoms'''（独特信息和协同信息）的定义，并以例子说明了他们构建的'''部分信息分解 PID'''框架能够将多变量系统中信息源对结果变量提供的贡献分解为信息原子的组合。
== 相关概念 ==
== 相关概念 ==