130
个编辑
更改
无编辑摘要
[math]\displaystyle{\frac{\partial \mathcal{E}(n)}{\partial v_j(n)} = e_j(n) \phi'(v_j(n))}[/math]
[math]\displaystyle{\frac{\partial \mathcal{E}(n)}{\partial v_j(n)} = e_j(n) \phi'(v_j(n))}[/math]
要计算的导数取决于感应局部场 [math]\displaystyle{v_j}[/math]，它本身也是变化的。很容易证明，对于输出节点，这个导数可以简化为：
[math]\displaystyle{-\frac{\partial \mathcal{E}(n)}{\partial v_j(n)} = e_j(n), \phi'(v_j(n))}[/math]
其中 [math]\displaystyle{\phi'}[/math] 是上述激活函数的导数，其本身不会变化。
对于隐藏节点权重的变化，分析起来比较困难，但可以证明相关的导数是：
[math]\displaystyle{-\frac{\partial \mathcal{E}(n)}{\partial v_j(n)} = \phi'(v_j(n)) \sum_k \left( -\frac{\partial \mathcal{E}(n)}{\partial v_k(n)} w_{kj}(n) \right)}[/math]
这取决于第 [math]\displaystyle{k}[/math] 个节点代表输出层。
因此，为了改变隐藏层权重，输出层权重会根据激活函数的导数而变化，因此该算法代表了激活函数的反向传播。