更改

===在人工神经网络上的应用===

===在人工神经网络上的应用===

Marrow等人在文章<ref>Marrow S, Michaud E J, Hoel E. Examining the Causal Structures of Deep Neural Networks Using Information Theory[J]. Entropy, 2020, 22(12): 1429.</ref>中尝试将[[有效信息]]引入[[神经网络]]，来量化和跟踪训练过程中神经网络[[因果结构]]的变化，其中[[有效信息]]用于评估节点和边对每层下游目标的因果的影响程度，这里每层神经网络的有效信息EI定义为：<math>I(L_1,L_2)|do(L_1=H^{max})</math>，这里的<math>L_1</math>和<math>L_2</math>分别表示连接神经网络的输入和输出层，这里将输入层整体do成均匀分布，然后计算因和果之间的互信息。[[有效信息]]可以被分解为灵敏性和简并性，这里的灵敏性定义为：<math>\sum_{(i \in L_1,j \in L_2)}(I(t_i,t_j)|do(i=H^{max})</math>，这里区别于有效信息的定义，这里是对输入层中的每一个节点分别进行do干预，然后对每两个节点计算出来的互信息进行累加作为灵敏性的定义，简并性通过有效信息与灵敏性的差得到。通过观察模型训练过程中的有效信息，包括[[灵敏性]]和[[简并性]]的变化，就可以知道模型的泛化能力，从而帮助学者更好的理解和解释神经网络的工作原理。

Marrow等人在文章<ref>Marrow S, Michaud E J, Hoel E. Examining the Causal Structures of Deep Neural Networks Using Information Theory[J]. Entropy, 2020, 22(12): 1429.</ref>中尝试将[[有效信息]]引入[[神经网络]]，来量化和跟踪训练过程中神经网络[[因果结构]]的变化，其中[[有效信息]]用于评估节点和边对每层下游目标的因果的影响程度，这里每层神经网络的有效信息EI定义为：<math>I(L_1,L_2)|do(L_1=H^{max})</math>，这里的<math>L_1</math>和<math>L_2</math>分别表示连接神经网络的输入和输出层，这里将输入层整体do成均匀分布，然后计算因和果之间的互信息。[[有效信息]]可以被分解为灵敏性和简并性，这里的灵敏性定义为：<math>\sum_{(i \in L_1,j \in L_2)}(I(t_i,t_j)|do(i=H^{max})</math>，<math>t_i</math>和<math>t_j</math>分别表示输入和输出层中的神经元状态，这里区别于有效信息的定义，这里是对输入层中的每一个神经元分别进行do干预，然后对每两个神经元计算出来的互信息进行累加作为灵敏性的定义，简并性通过有效信息与灵敏性的差得到。通过观察模型训练过程中的有效信息，包括[[灵敏性]]和[[简并性]]的变化，就可以知道模型的泛化能力，从而帮助学者更好的理解和解释神经网络的工作原理。

===在脑神经系统上的应用===

===在脑神经系统上的应用===