更改

===多头注意力===

===多头注意力===

[[文件:Transformer图片3.png|缩略图]]

[[文件:Transformer图片3.png|缩略图|替代=|多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。]]

多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。

多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。