5,443
个编辑
更改
无编辑摘要
[[人工神经网络]](artificial neural networks)主要通过分析节点与数据集间的[[互信息]](Mutual Information,MI)，来研究其对输入的响应。然而，神经网络还可以在因果关系层面进行探讨，揭示网络内部各层间“谁影响谁”及其作用机制。[[有效信息]](Effective Information, EI)作为一种基于信息论的工具，本文介绍如何通过离散和连续两种方法对神经网络层间EI进行计算。
[[人工神经网络]](artificial neural networks)主要通过分析节点与数据集间的[[互信息]](Mutual Information,MI)，来研究其对输入的响应。然而，神经网络还可以在因果关系层面进行探讨，揭示网络内部各层间“谁影响谁”及其作用机制。[[有效信息]](Effective Information, EI)作为一种基于信息论的工具，本文介绍如何通过离散和连续两种方法对神经网络EI进行计算。
=简介=
=简介=
量化神经网络中的有效信息为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
量化神经网络中的有效信息为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
本文主要介绍基于离散方法和连续方法的神经网络[[有效信息]]计算，这两种计算方法都是研究人工神经网络内部机制的重要工具。离散方法通过将神经网络的输入和输出值划分为若干个区间（bins），然后计算这些离散化状态之间的互信息来量化层间的因果关系。具体来说，离散方法通过对网络层施加最大熵噪声（即随机化节点的激活状态），记录扰动后的输入和输出，并构建联合概率分布，最终通过互信息公式计算EI。这种方法直观且易于理解，但在高维空间中计算效率较低。而连续方法则通过引入雅可比矩阵来近似计算EI，避免了离散化带来的计算复杂性和精度问题。雅可比矩阵描述了输入对输出的局部敏感性，通过计算其行列式和对数期望值，结合输入熵和噪声惩罚项，得到EI的近似值。这种方法在高维空间中更为高效，适用于实际场景中的神经网络因果结构的评估。
本文主要介绍基于离散方法和连续方法的神经网络[[有效信息]]计算，这两种计算方法都是研究人工神经网络内部机制的重要工具。离散方法通过将神经网络的输入和输出值划分为若干个区间（bins），然后计算这些离散化状态之间的互信息来量化层间的因果关系。具体来说，离散方法通过对网络层施加最大熵噪声（即随机化节点的激活状态），记录扰动后的输入和输出，并构建联合概率分布，最终通过互信息公式计算EI。而连续方法则通过引入雅可比矩阵来近似计算EI，避免了离散化带来的计算复杂性和精度问题。雅可比矩阵描述了输入对输出的局部敏感性，通过计算其行列式和对数期望值，结合输入熵和噪声惩罚项，得到EI的近似值。这种方法在高维空间中更为高效，适用于实际场景中的神经网络因果结构的评估。
=基于离散方法的有效信息计算=
=基于离散方法的有效信息计算=
[[文件:互信息EI.png|替代=|无框|500x500像素]]
[[文件:互信息EI.png|替代=|无框|500x500像素]]
=基于连续方法观察神经网络层间EI变化=
=基于连续方法观察神经网络EI变化=
=总结=
=总结=