| 第3行： |
第3行： |
| | == 数学基础 == | | == 数学基础 == |
| | | | |
| | + | 历史上常见的两种激活函数都是S 型函数，其描述如下:<syntaxhighlight lang="latex"> |
| | + | P(\nu, h^1, h^2|h^3) = \frac{1}{Z(\psi, h^3)}e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^1 + \sum_{jl}W_{jl}^{(2)}h_j^{1}h_l^{2}+\sum_{lm}W_{lm}^{(3)}h_l^{2}h_m^{3}}. |
| | + | </syntaxhighlight> |
| | | | |
| − | 历史上常见的两种激活函数都是 \textbf{S 型函数}，其描述如下：
| |
| − |
| |
| − | \[
| |
| − |
| |
| − | y(v_i) = \tanh(v_i) \quad \text{and} \quad y(v_i) = \left(1 + e^{-v_i}\right)^{-1}
| |
| − |
| |
| − | \]
| |
| − |
| |
| − | 第一个是\textbf{双曲正切函数}，其范围从 -1 到 1，另一个是\textbf{逻辑函数}，其形状类似，但范围从 0 到 1。这里 $y_i$ 是第 $i$ 个节点（神经元），$v_i$ 是输入连接的加权和。其他激活函数已被提出，包括 \textbf{rectifier 和 softplus} 函数。更专业的激活函数包括\textbf{径向基函数}（用于径向基网络，这是另一类有监督神经网络模型）。
| |
| − |
| |
| − | 在深度学习的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。
| |
| | | | |
| | == 学习 == | | == 学习 == |