1,119
个编辑
更改
跳到导航
跳到搜索
第453行：
第453行： − +
→在人工神经网络上的应用
===在人工神经网络上的应用===
===在人工神经网络上的应用===
Marrow等人在文章<ref>Marrow S, Michaud E J, Hoel E. Examining the Causal Structures of Deep Neural Networks Using Information Theory[J]. Entropy, 2020, 22(12): 1429.</ref>中尝试将[[有效信息]]引入[[神经网络]]，来量化和跟踪训练过程中神经网络[[因果结构]]的变化，其中[[有效信息]]用于评估节点和边对每层下游目标的因果的影响程度。[[有效信息]]可以被分解为灵敏性和简并性，通过观察模型训练过程中的有效信息，包括[[灵敏性]]和[[简并性]]的变化，就可以知道模型的泛化能力，从而帮助学者更好的理解和解释神经网络的工作原理。
Marrow等人在文章<ref>Marrow S, Michaud E J, Hoel E. Examining the Causal Structures of Deep Neural Networks Using Information Theory[J]. Entropy, 2020, 22(12): 1429.</ref>中尝试将[[有效信息]]引入[[神经网络]]，来量化和跟踪训练过程中神经网络[[因果结构]]的变化，其中[[有效信息]]用于评估节点和边对每层下游目标的因果的影响程度，这里神经网络的有效信息EI定义为：<math>EI=I(L_1,L_2)|do(L_1=H^max)</math>。[[有效信息]]可以被分解为灵敏性和简并性，这里的灵敏性定位为<math></math>。通过观察模型训练过程中的有效信息，包括[[灵敏性]]和[[简并性]]的变化，就可以知道模型的泛化能力，从而帮助学者更好的理解和解释神经网络的工作原理。
===在脑神经系统上的应用===
===在脑神经系统上的应用===