5,443
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： − + − 通过信息理论，我们可以量化这些因果关系的**信息量**。更强的因果关系意味着它们传递了更多的信息。我们使用**有效信息**（Effective Information, **EI**）来衡量因果关系的强度。具体来说，**EI**是干预分布（**ID**）和效应分布（**ED**）之间的互信息（Mutual Information, **MI**），当**ID**为最大熵分布（即**H^max**）时。换句话说，**EI**是通过向网络注入噪声（随机化）后计算的互信息。这种随机化有多个作用：首先，它确保了所有传递的互信息都是由噪声引起的，而不是简单的相关性；其次，作为最大熵的干预，**EI**反映了随机化变量所产生的信息量，这在科学中是因果关系的“黄金标准”；最后，**EI**可以被视为对输入状态空间的无偏采样，反映了网络如何处理分布外的数据。+
→量化神经网络中的因果结构
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（所有代码已公开，详见 https://github.com/ei-research-group/deep-ei）。
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（所有代码已公开，详见 https://github.com/ei-research-group/deep-ei）。
为了研究这一问题，我们采用了一种广泛用于因果分析的正式方法，其中干预被表示为对系统中的某个变量应用**do(x)**操作符。通常，**do(x)**用于将一个变量设置为特定值，例如在有向无环图中，它可以用来对单个节点进行干预（例如，之前在DNN中已用于应用单个干预[26,27]）。然而，我们在这里引入了一种新的方法，即使用**干预分布**（Intervention Distribution, **ID**），它是对**do(x)**操作符的概率分布描述。简单来说，**ID**是对一系列干预的数学描述。当我们在一个网络层的输入上应用**ID**时，会导致输出节点产生某种效应分布（**ED**）[28]。
为了研究这一问题，我们采用了一种广泛用于因果分析的正式方法，其中干预被表示为对系统中的某个变量应用**do(x)**操作符<ref>Judea Pearl. Causality. New York: Cambridge, 2000. doi: 10.1017/CBO9780511803161.</ref>。通常，**do(x)**用于将一个变量设置为特定值，例如在有向无环图中，它可以用来对单个节点进行干预（例如，之前在DNN中已用于应用单个干预<ref>Judea Pearl. Causality. New York: Cambridge, 2000. doi: 10.1017/CBO9780511803161.</ref>。Thedo（x）通常用于将给定系统中的单个变量（如有向无环图）设置为特定值（例如，它以前曾被用于在DNN中应用单个干预<ref>Michael Harradon, Jeff Druce, and Brian Ruttenberg. Causal learning and explanation of deep neural networks via autoencoded activations. arXiv preprint arXiv:1802.00541, 2018.</ref><ref>Tanmayee Narendra, Anush Sankaran, Deepak Vijaykeerthy, and Senthil Mani. Explaining deep learning models using causal inference. arXiv preprint arXiv:1811.04376, 2018.</ref>）。然而，我们在这里引入了一种新的方法，即使用**干预分布**（Intervention Distribution, **ID**），它是对**do(x)**操作符的概率分布描述。简单来说，**ID**是对一系列干预的数学描述。当我们在一个网络层的输入上应用**ID**时，会导致输出节点产生某种效应分布（**ED**）<ref>Erik P. Hoel. When the map is better than the territory. Entropy, 19(5):188, 2017. ISSN 1099-4300. doi: 10.3390/e19050188.</ref>。
通过信息理论，我们可以量化这些因果关系的信息量。更强的因果关系意味着它们传递了更多的信息。我们使用**有效信息**（Effective Information, **EI**）来衡量因果关系的强度。具体来说，**EI**是干预分布（**ID**）和效应分布（**ED**）之间的互信息（Mutual Information, **MI**），当**ID**为最大熵分布（即**H^max**）时。换句话说，**EI**是通过向网络注入噪声（随机化）后计算的互信息。这种随机化有多个作用：首先，它确保了所有传递的互信息都是由噪声引起的，而不是简单的相关性；其次，作为最大熵的干预，**EI**反映了随机化变量所产生的信息量，这在科学中是因果关系的“黄金标准”；最后，**EI**可以被视为对输入状态空间的无偏采样，反映了网络如何处理分布外的数据。
此外，**EI**还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系[31]。最重要的是，先前的研究表明，**EI**能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）[16]，而这些特性是标准互信息（MI）无法捕捉的。
此外，**EI**还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系[31]。最重要的是，先前的研究表明，**EI**能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）[16]，而这些特性是标准互信息（MI）无法捕捉的。