更改

跳到导航 跳到搜索
第31行: 第31行:  
通过信息理论,我们可以量化这些因果关系的信息量。更强的因果关系意味着它们传递了更多的信息。我们使用**有效信息**(Effective Information, **EI**)来衡量因果关系的强度。具体来说,**EI**是干预分布(**ID**)和效应分布(**ED**)之间的互信息(Mutual Information, **MI**),当**ID**为最大熵分布(即**H^max**)时。换句话说,**EI**是通过向网络注入噪声(随机化)后计算的互信息。这种随机化有多个作用:首先,它确保了所有传递的互信息都是由噪声引起的,而不是简单的相关性;其次,作为最大熵的干预,**EI**反映了随机化变量所产生的信息量,这在科学中是因果关系的“黄金标准”;最后,**EI**可以被视为对输入状态空间的无偏采样,反映了网络如何处理分布外的数据。
 
通过信息理论,我们可以量化这些因果关系的信息量。更强的因果关系意味着它们传递了更多的信息。我们使用**有效信息**(Effective Information, **EI**)来衡量因果关系的强度。具体来说,**EI**是干预分布(**ID**)和效应分布(**ED**)之间的互信息(Mutual Information, **MI**),当**ID**为最大熵分布(即**H^max**)时。换句话说,**EI**是通过向网络注入噪声(随机化)后计算的互信息。这种随机化有多个作用:首先,它确保了所有传递的互信息都是由噪声引起的,而不是简单的相关性;其次,作为最大熵的干预,**EI**反映了随机化变量所产生的信息量,这在科学中是因果关系的“黄金标准”;最后,**EI**可以被视为对输入状态空间的无偏采样,反映了网络如何处理分布外的数据。
   −
此外,**EI**还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”,并且与Kolmogorov复杂度和VC熵有重要关系[31]。最重要的是,先前的研究表明,**EI**能够反映因果关系的重要特性,例如其确定性(缺乏噪声)或退化性(缺乏唯一性)[16],而这些特性是标准互信息(MI)无法捕捉的。
+
此外,**EI**还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”,并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher.  The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936.  ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是,先前的研究表明,**EI**能够反映因果关系的重要特性,例如其确定性(缺乏噪声)或退化性(缺乏唯一性)<ref name=":0" />,而这些特性是标准互信息(MI)无法捕捉的。
     
5,443

个编辑

导航菜单