第391行: |
第391行: |
| | | |
| ===在人工神经网络上的应用=== | | ===在人工神经网络上的应用=== |
− | 在人工神经网络上的应用,Marrow等<ref>Marrow S, Michaud E J, Hoel E. Examining the Causal Structures of Deep Neural Networks Using Information Theory[J]. Entropy, 2020, 22(12): 1429.</ref>尝试引入一个基于[[信息论]]的指标即有效信息来量化和跟踪训练过程中DNN[[因果结构]]的变化,其中有效信息用于评估节点和边对每层下游目标的因果的影响程度。有效信息可以分解为灵敏性和简并性,通过观察模型训练过程中有效信息,包括[[灵敏性]]和[[简并性]]的变化就可以确定模型的泛化能力,从而帮助学者更好的理解和解释DNN的工作原理。
| + | |
| + | Marrow等人在文章<ref>Marrow S, Michaud E J, Hoel E. Examining the Causal Structures of Deep Neural Networks Using Information Theory[J]. Entropy, 2020, 22(12): 1429.</ref>中尝试将[[有效信息]]引入[[神经网络]],来量化和跟踪训练过程中神经网络[[因果结构]]的变化,其中[[有效信息]]用于评估节点和边对每层下游目标的因果的影响程度。[[有效信息]]可以被分解为灵敏性和简并性,通过观察模型训练过程中的有效信息,包括[[灵敏性]]和[[简并性]]的变化,就可以知道模型的泛化能力,从而帮助学者更好的理解和解释神经网络的工作原理。 |
| | | |
| ===在脑神经系统上的应用=== | | ===在脑神经系统上的应用=== |