5,443
个编辑
更改
跳到导航
跳到搜索
第24行：
第24行： − +
→干预揭示因果关系
通过信息理论，我们可以量化这些因果关系的信息量。更强的因果关系意味着它们传递了更多的信息。我们使用[[有效信息]]（Effective Information, EI）来衡量因果关系的强度。具体来说，EI是当<math>I_D</math>为最大熵分布（即<math>H^{max}</math>）时，干预分布（<math>I_D</math>）和效应分布（<math>E_D</math>）之间的[[互信息]]（Mutual Information, MI）。换句话说，EI是通过向网络注入噪声（随机化）后计算的互信息。这种随机化有多个作用：首先，它确保了所有传递的互信息都是由噪声引起的，而不是简单的相关性；其次，作为最大熵的干预，EI反映了随机化变量所产生的信息量，这在科学中是因果关系的“黄金标准”；最后，EI可以被视为对输入状态空间的无偏采样，反映了网络如何处理分布外的数据。
通过信息理论，我们可以量化这些因果关系的信息量。更强的因果关系意味着它们传递了更多的信息。我们使用[[有效信息]]（Effective Information, EI）来衡量因果关系的强度。具体来说，EI是当<math>I_D</math>为最大熵分布（即<math>H^{max}</math>）时，干预分布（<math>I_D</math>）和效应分布（<math>E_D</math>）之间的[[互信息]]（Mutual Information, MI）。换句话说，EI是通过向网络注入噪声（随机化）后计算的互信息。这种随机化有多个作用：首先，它确保了所有传递的互信息都是由噪声引起的，而不是简单的相关性；其次，作为最大熵的干预，EI反映了随机化变量所产生的信息量，这在科学中是因果关系的“黄金标准”；最后，EI可以被视为对输入状态空间的无偏采样，反映了网络如何处理分布外的数据。
此外，EI还与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
此外，EI还与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性），而这些特性是标准互信息无法捕捉的。
=== 测量层与层之间的有效信息 ===
=== 测量层与层之间的有效信息 ===