2,435
个编辑
更改
跳到导航
跳到搜索
第9行：
第9行： + − <nowiki>:</nowiki><nowiki><math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X} </nowiki>+ + + + − p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}+ − + − \right) }, \,\! − − <nowiki></math></nowiki> 第33行：
第34行： − + +
无编辑摘要
在概率论和信息论中，两个随机变量的'''互信息'''（mutual Information，MI）度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
在概率论和信息论中，两个随机变量的'''互信息'''（mutual Information，MI）度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
离散随机变量 X 和 Y 的互信息可以计算为：<syntaxhighlight lang="latex">
离散随机变量 X 和 Y 的互信息可以计算为：
离散随机变量 X 和 Y 的互信息可以计算为：
:<math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X}
p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
\right) }, \,\!
</math>
其中 ''p''(''x'', ''y'') 是 ''X'' 和 ''Y'' 的联合概率质量函数，而 <math>p(x)</math> 和 <math>p(y)</math> 分别是 ''X'' 和 ''Y'' 的边缘概率质量函数。
</syntaxhighlight>
其中 <nowiki>''</nowiki>p<nowiki>''</nowiki>(<nowiki>''</nowiki>x<nowiki>''</nowiki>, <nowiki>''</nowiki>y<nowiki>''</nowiki>) 是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的联合概率质量函数，而 <nowiki><math>p(x)</math></nowiki> 和 <nowiki><math>p(y)</math></nowiki> 分别是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的边缘概率质量函数。
其中 <nowiki>''</nowiki>p<nowiki>''</nowiki>(<nowiki>''</nowiki>x<nowiki>''</nowiki>, <nowiki>''</nowiki>y<nowiki>''</nowiki>) 是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的联合概率质量函数，而 <nowiki><math>p(x)</math></nowiki> 和 <nowiki><math>p(y)</math></nowiki> 分别是 <nowiki>''</nowiki>X<nowiki>''</nowiki> 和 <nowiki>''</nowiki>Y<nowiki>''</nowiki> 的边缘概率质量函数。
====Rosas的因果涌现理论====
====Rosas的因果涌现理论====
Rosas等<ref name=":5">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>从[[信息分解]]理论的视角出发，提出一种基于[[整合信息分解]]定义因果涌现的方法，并将因果涌现进一步区分为：[[因果解耦]]（Causal Decoupling）和[[向下因果]]（Downward Causation）两部分。其中因果解耦表示当前时刻宏观态对下一时刻宏观态的因果效应，向下因果表示上一时刻宏观态对下一时刻微观态的因果效应。因果解耦和向下因果的示意图如下图所示，其中微观状态输入为<math>X_t\ (X_t^1,X_t^2,…,X_t^n ) </math>，宏观状态是<math>V_t </math>，它由微观态变量<math>X_t </math>粗粒化而来，因而是<math>X_t </math>的随附特征（Supervenience），<math>X_{t+1} </math>和<math>V_{t+1} </math>分别表示下一时刻的微观和宏观状态。
Rosas等<ref name=":5">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>从[[信息分解]]理论的视角出发，提出一种基于[[整合信息分解]]定义因果涌现的方法，并将因果涌现进一步区分为：[[因果解耦]]（Causal Decoupling）和[[向下因果]]（Downward Causation）两部分。其中因果解耦表示当前时刻宏观态对下一时刻宏观态的因果效应，向下因果表示上一时刻宏观态对下一时刻微观态的因果效应。因果解耦和向下因果的示意图如下图所示，其中微观状态输入为<math>X_t\ (X_t^1,X_t^2,…,X_t^n )
</math>，宏观状态是<math>V_t </math>，它由微观态变量<math>X_t </math>粗粒化而来，因而是<math>X_t </math>的随附特征（Supervenience），<math>X_{t+1} </math>和<math>V_{t+1} </math>分别表示下一时刻的微观和宏观状态。
[[文件:向下因果与因果解耦2.png|300x300像素|因果解耦与向下因果|链接=https://wiki.swarma.org/index.php/%E6%96%87%E4%BB%B6:%E5%90%91%E4%B8%8B%E5%9B%A0%E6%9E%9C%E4%B8%8E%E5%9B%A0%E6%9E%9C%E8%A7%A3%E8%80%A62.png]]
[[文件:向下因果与因果解耦2.png|300x300像素|因果解耦与向下因果|链接=https://wiki.swarma.org/index.php/%E6%96%87%E4%BB%B6:%E5%90%91%E4%B8%8B%E5%9B%A0%E6%9E%9C%E4%B8%8E%E5%9B%A0%E6%9E%9C%E8%A7%A3%E8%80%A62.png]]