前馈神经网络

前馈是指神经网络的识别推理架构。人工神经网络架构基于输入乘以权重以获得输出（输入到输出）：前馈。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播 或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点。

数学基础

历史上常见的两种激活函数都是 \textbf{S 型函数}，其描述如下：

\[

y(v_i) = \tanh(v_i) \quad \text{and} \quad y(v_i) = \left(1 + e^{-v_i}\right)^{-1}

\]

第一个是\textbf{双曲正切函数}，其范围从 -1 到 1，另一个是\textbf{逻辑函数}，其形状类似，但范围从 0 到 1。这里 $y_i$ 是第 $i$ 个节点（神经元），$v_i$ 是输入连接的加权和。其他激活函数已被提出，包括 \textbf{rectifier 和 softplus} 函数。更专业的激活函数包括\textbf{径向基函数}（用于径向基网络，这是另一类有监督神经网络模型）。

在深度学习的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。

学习

学习是通过在处理每条数据后，根据输出结果与预期结果之间的误差量，改变连接权重来实现的。这是监督学习的一个例子，通过反向传播进行。

我们可以在输出节点中表示错误程度在第个数据点（训练示例）， 在哪里是期望的目标值节点处的第个数据点， 和是节点产生的值当第个数据点作为输入。

然后可以根据最小化整个输出误差的校正来调整节点权重第个数据点，由下式给出

。

使用梯度下降，每个权重的变化是