5,443
个编辑
更改
跳到导航
跳到搜索
第42行：
第42行： − 在多个连接的情况下，EI曲线成为更高维度的EI歧管。图1d-f显示了由两个节点（A、B）组成的层的EI（A，B→C），每个节点都与C有一个连接。由于扰动会相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或通用性，从而形成流形。例如，在sigmoid激活函数中，EI流形大约是2倍对称的，这是由于sigmoid在正负权重周围的对称性，再加上网络本身的对称性（因为神经元A和Bony都连接到C）。+ − − 请注意，虽然区间的数量决定了曲线的幅度，但它们之间的上升/下降行为是一致的，这表明只要区间大小固定在某个选定的值，比率和行为就会保持不变（下图显示对a-c使用30000个时间步长进行噪声注入，对d-f使用100000个样本）。如果噪声注入足够长并且箱大小足够高，则DNN层的EI值倾向于收敛到特定值。这可以在SI第1节中找到证据。 − − 然而，首先，我们评估了在常见机器学习任务的训练网络过程中，EI的变化是如何发生的。
→多连接情况下的EI曲线
=== 多连接情况下的EI曲线 ===
=== 多连接情况下的EI曲线 ===
在存在多个连接的情况下，EI曲线会变成一个更高维的EI流形。下图d-f展示了由两个节点A和B组成的层，每个节点都有一个连接到C的单个连接的EI(A, B → C)。由于扰动之间可能相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或退化性，从而形成一个流形。例如，在sigmoid激活函数中，EI流形大致是2倍对称的，这是由于sigmoid函数在正负权重周围的对称性，以及网络本身的对称性（因为神经元A和B都只连接到C）。
[[文件:图 1.png|替代=|无框|500x500像素]]
[[文件:图 1.png|替代=|无框|500x500像素]]