更改

人工神经网络上的有效信息计算 (查看源代码)

2024年12月22日 (日) 01:44的版本

删除1,236字节、 2024年12月22日 (日) 01:44

第37行：第37行：

=== 有效信息在不同激活函数中的表现 ===

−

~~EI可跨不同的常用激活函数进行扩展。图1a~~-c显示了两个节点a和B之间的单条边的EI，其中a→B的权重逐渐增加，每个面板显示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有给定激活函数的孤立边，都存在一条依赖于来自AtoB的连接权重的特征isticEIcurve，并且这条曲线的形状与所选的箱数（8、16、32和64）无关。在低权重下，EI表明B对a中的扰动不敏感，尽管这种敏感性在所有三个激活函数中都达到了峰值。然后，当权重饱和激活函数时，曲线会衰减，使B对A的扰动敏感。

+

EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。

−

请注意，特征峰值揭示了哪些权重代表（孤立考虑的连接）的强因果关系。例如，一个sigmoid激活函数在等于欧拉数的aweight处具有最具信息量的因果关系，一个tanh激活函数在权重coth（1）处具有信息量，一个ReLU激活函数在重量1处具有信息力。这表明DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的。例如，对于sigmoid激活函数和连接A→B的极高权重，A的激活对扰动的信息量不大，因为大多数扰动都会导致B的输出在1处饱和。

−

EI在不同的常用激活函数中具有一致的特性。图1a-c展示了两个节点A和B之间单个连接的EI，其中A → B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。

在低权重时，EI表明B对A的扰动不敏感，尽管这种敏感性在所有三个激活函数中都会上升到一个峰值。随着权重的增加，激活函数趋于饱和，B对A的扰动变得不敏感，EI曲线随之下降。

−

值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A → B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。

+

值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A→B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。

=== 多连接情况下的EI曲线 ===

相信未来

5,443

个编辑