175
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − +
→历史
== 历史 ==
== 历史 ==
1948年，克劳德·艾尔伍德·香农（Claude Elwood Shannon）开启了现代信息论研究，为我们提供了分析数据所蕴含信息的强大工具。香农提出的'''互信息 Mutual Information'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3&4|page=379-423&623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x&https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典互信息主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
1948年，克劳德·艾尔伍德·香农（Claude Elwood Shannon）开启了现代信息论研究，为我们提供了分析数据所蕴含信息的强大工具。香农提出的'''互信息 Mutual Information'''<ref name="Shannon">{{cite journal|author1=Shannon,C.E.|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|year=1948|volume=27|issue=3;4|page=379-423;623-656|url=https://doi.org/10.1002/j.1538-7305.1948.tb01338.x;https://doi.org/10.1002/j.1538-7305.1948.tb00917.x}}</ref>概念衡量了一个随机变量对另一个随机变量的信息，本词条的核心内容即是建立在此概念之上。经典互信息主要刻画两个随机变量或一个变量组与另一个变量之间的共享信息，但不能直接区分多个源变量对同一目标变量的信息贡献结构。但在现实世界的许多场景中，我们面临的是多个变量之间的相互作用，多变量信息理论应运而生。其中，'''交互信息 Interaction Information'''<ref name="McGill">{{cite journal|author1=McGill,William J.|title=Multivariate information transmission|journal=Psychometrika|year=1954|volume=19|issue=2|page=97-116|url=https://doi.org/10.1007/BF02289159}}</ref>
是被广泛使用的一个概念，它是由熵的包含—排除式定义的多变量相关量，它混合了冗余与协同，符号可正可负。然而，交互信息存在一个显著的问题：在三个或更多个随机变量的情况下，它有时会出现负值（信息量通常被认为是非负的）。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。
是被广泛使用的一个概念，它是由熵的包含—排除式定义的多变量相关量，它混合了冗余与协同，符号可正可负。然而，交互信息存在一个显著的问题：在三个或更多个随机变量的情况下，它有时会出现负值（信息量通常被认为是非负的）。这种负值的出现，实际上反映了交互信息在解释多变量系统中的局限性。