130
个编辑
更改
跳到导航
跳到搜索
第3行：
第3行： + + + − 历史上常见的两种激活函数都是 \textbf{S 型函数}，其描述如下： − − \[ − − y(v_i) = \tanh(v_i) \quad \text{and} \quad y(v_i) = \left(1 + e^{-v_i}\right)^{-1} − − \] − − 第一个是\textbf{双曲正切函数}，其范围从 -1 到 1，另一个是\textbf{逻辑函数}，其形状类似，但范围从 0 到 1。这里 $y_i$ 是第 $i$ 个节点（神经元），$v_i$ 是输入连接的加权和。其他激活函数已被提出，包括 \textbf{rectifier 和 softplus} 函数。更专业的激活函数包括\textbf{径向基函数}（用于径向基网络，这是另一类有监督神经网络模型）。 − − 在深度学习的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。
无编辑摘要
== 数学基础 ==
== 数学基础 ==
历史上常见的两种激活函数都是S 型函数，其描述如下:<syntaxhighlight lang="latex">
P(\nu, h^1, h^2|h^3) = \frac{1}{Z(\psi, h^3)}e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^1 + \sum_{jl}W_{jl}^{(2)}h_j^{1}h_l^{2}+\sum_{lm}W_{lm}^{(3)}h_l^{2}h_m^{3}}.
</syntaxhighlight>
== 学习 ==
== 学习 ==