5,443
个编辑
更改
跳到导航
跳到搜索
第105行：
第105行： − + 第115行：
第115行： −
→讨论
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
=讨论=
=总结=
在这里，我们引入了信息论技术，根据扰动后的信息流对DNN的因果结构进行分类和量化。这些技术是围绕有效信息（EI）构建的，我们将其应用于DNN。它被定义为在一组最大熵扰动之后的互信息，它揭示了层因果结构中包含的信息。对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。
在这里，我们引入了信息论技术，根据扰动后的信息流对DNN的因果结构进行分类和量化。这些技术是围绕有效信息（EI）构建的，我们将其应用于DNN。它被定义为在一组最大熵扰动之后的互信息，它揭示了层因果结构中包含的信息。对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。
这些技术开辟了评估EI分解和扩展的可能性，例如DNN的集成信息（因为集成信息可以使用网络子集之间的最小EI来计算<ref name=":3" />，集成信息也可以分解为类似于灵敏度和简并性的属性<ref>Erik P Hoel, Larissa Albantakis, William Marshall, and Giulio Tononi. Can the macro beat the micro? Integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1), 2016.</ref>。这里，概述了一种综合信息的度量方法φf forward，用于度量前馈层连通性中的不可约联合效应。
这些技术开辟了评估EI分解和扩展的可能性，例如DNN的集成信息（因为集成信息可以使用网络子集之间的最小EI来计算<ref name=":3" />，集成信息也可以分解为类似于灵敏度和简并性的属性<ref>Erik P Hoel, Larissa Albantakis, William Marshall, and Giulio Tononi. Can the macro beat the micro? Integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1), 2016.</ref>。这里，概述了一种综合信息的度量方法φf forward，用于度量前馈层连通性中的不可约联合效应。
所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。
所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。
= 参考文献 =
= 参考文献 =
<references />
<references />