更改

[[文件:Bd8b5c3b93ad6a5d1bd0e3069de5dc5.png|center|600x600像素|AB]]

[[文件:Bd8b5c3b93ad6a5d1bd0e3069de5dc5.png|center|600x600像素|AB]]

在复现实验过程中进一步发现，原文在单输入单输出神经元仿真实验里，为统一三类激活函数的输入、输出值域范围，对 ReLU 的输出值域进行了人为截断处理，以此对齐输出空间尺度。本复现实验取消该输出截断约束后，实验曲线出现明显分化：Sigmoid 与 Tanh 原生输出值域天然和输入扰动空间匹配，二者 EI 随权重变化的整体走势仍保持相近；而 ReLU 去除输出限制后，EI - 权重变化规律与前两种激活函数产生显著区别，不再呈现原文中三类曲线变化模式近似的特征（如图）。

在复现实验过程中进一步发现，原文在单输入单输出神经元仿真实验里，为统一三类激活函数的输入、输出值域范围，对 ReLU 的输出值域进行了人为截断处理，以此对齐输出空间尺度。本复现实验取消该输出截断约束后，实验曲线出现明显分化：Sigmoid 与 Tanh 原生输出值域天然和输入扰动空间匹配，二者 EI 随权重变化的整体走势仍保持相近；而 ReLU 去除输出限制后，EI - 权重变化规律与前两种激活函数产生显著区别，不再呈现与其他两种曲线变化模式近似的特征（如图）。

[[文件:One-to-one(1).png|居中|缩略图|900x900像素|one to one,non-clip]]

[[文件:One-to-one(1).png|居中|缩略图|750x750px|one to one,non-clip|替代=]]

其次，我们使用连续变量计算有效信息的方法，我们同样发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。

其次，我们使用连续变量计算有效信息的方法，我们同样发现，EI的最大变化与训练过程中损失函数最陡峭的部分显著匹配；在过拟合期间，EI在所有层中通常是平坦的，说明网络的因果结构已经趋于稳定，不再发生显著变化了。

其次，我们使用连续变量计算有效信息的方法，在连续框架下单节点对单节点（one to one）的EI随着激活函数网络权重的变化趋势（如下图），连续计算方案不会对各类激活函数的输出空间施加人为压缩约束，最终连续版本一对一实验的 EI 变化规律，与离散版本一对一实验呈现出相同的变化趋势，Sigmoid和Tanh激活函数的例子呈现先上升后下降的趋势，并且峰值十分接近，以Relu为激活函数的例子则出现了先急增后缓增的情况。

其次，我们使用连续变量计算有效信息的方法，在连续框架下单节点对单节点（one to one）的EI随着激活函数网络权重的变化趋势（如下图），连续计算方案不会对各类激活函数的输出空间施加人为压缩约束，最终连续版本一对一实验的 EI 变化规律，与离散版本一对一实验呈现出相同的变化趋势，Sigmoid和Tanh激活函数的例子呈现先上升后下降的趋势，并且峰值十分接近，以Relu为激活函数的例子则出现了先急增后缓增的情况。