558
个编辑
更改
→整体架构
</math>
</math>
可以将结果的方差归一化到稳定范围，从而避免梯度消失问题，并提升模型训练的稳定性与收敛效果。
可以将结果的方差归一化到稳定范围，从而避免梯度消失问题，并提升模型训练的稳定性与收敛效果。
===多头注意力===
多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。
其数学形式定义为：
<math>
\mathrm{MultiHead}(Q, K, V)
= \mathrm{Concat}(\mathrm{head}_1, \ldots, \mathrm{head}_h) W^O
</math>
其中，第<math>i</math>个注意力头定义为：
<math>
\mathrm{head}_i
= \mathrm{Attention}(Q W_i^Q,\; K W_i^K,\; V W_i^V)
</math>
这里，<math>W_i^Q \in \mathbb{R}^{d_{\text{model}} \times d_k}</math>，<math>W_i^K \in \mathbb{R}^{d_{\text{model}} \times d_k}</math>，<math>W_i^V \in \mathbb{R}^{d_{\text{model}} \times d_v}</math>，以及输出投影矩阵 <math>W^O \in \mathbb{R}^{h d_v \times d_{\text{model}}}</math>均为可学习参数。
在论文的典型设置中：
<math>
h = 8, \quad d_k = d_v = \frac{d_{\text{model}}}{h} = \frac{512}{8} = 64
</math>
这种设计使得每个注意力头在较低维度子空间中进行计算，从而在保持总计算量与单头全维度注意力大致相当的前提下，显著提升了模型的表达能力与学习多样关系的能力。