更改

=== 有效信息在不同激活函数中的表现 ===

=== 有效信息在不同激活函数中的表现 ===

EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。

EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数(sigmoid、tanh、ReLU)。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量(8、16、32和64)无关。

在低权重时，EI表明B对A的扰动不敏感，尽管这种敏感性在所有三个激活函数中都会上升到一个峰值。随着权重的增加，激活函数趋于饱和，B对A的扰动变得不敏感，EI曲线随之下降。

在低权重时，EI表明B对A的扰动不敏感，尽管这种敏感性在所有三个激活函数中都会上升到一个峰值。随着权重的增加，激活函数趋于饱和，B对A的扰动变得不敏感，EI曲线随之下降。