更改

==整体架构==

==整体架构==

===概览===

===概览===

[[文件:Transformer图片1.png|缩略图]]

[[文件:Transformer图片1.png|缩略图|替代=|在Transformer的编码器中，每一层都可以拆解为几个紧密协作的核心组成部分。首先是多头自注意力子层，其计算流程可以概括为：输入表示先经过层归一化（LayerNorm），随后进入多头注意力模块进行特征交互，最后通过残差连接将子层输出与原始输入相加，从而保留原始信息并缓解深层网络训练中的梯度问题。]]

Transformer延续了经典的编码器-解码器框架，但在具体实现上进行了彻底重构。编码器由6个完全相同的层堆叠而成，每一层都包含两个核心子结构：多头自注意力机制和前馈神经网络，同时在每个子层外部都配有残差连接与层归一化，以保证训练的稳定性与深层信息的有效传播。解码器同样由6层组成，其结构与编码器基本一致，但额外引入了一个“编码器-解码器注意力”子层，使其在生成输出时能够利用编码器的全局信息。此外，解码器中的自注意力采用了掩码机制，确保当前位置只能依赖已生成的内容，从而避免未来信息泄露。

Transformer延续了经典的编码器-解码器框架，但在具体实现上进行了彻底重构。编码器由6个完全相同的层堆叠而成，每一层都包含两个核心子结构：多头自注意力机制和前馈神经网络，同时在每个子层外部都配有残差连接与层归一化，以保证训练的稳定性与深层信息的有效传播。解码器同样由6层组成，其结构与编码器基本一致，但额外引入了一个“编码器-解码器注意力”子层，使其在生成输出时能够利用编码器的全局信息。此外，解码器中的自注意力采用了掩码机制，确保当前位置只能依赖已生成的内容，从而避免未来信息泄露。

===缩放点积注意力===

===缩放点积注意力===

[[文件:Transformer图片2.png|缩略图]]

[[文件:Transformer图片2.png|缩略图|替代=|缩放点积注意力是 Transformer 中最核心的计算机制，在这一机制中，查询（Query）、键（Key）和值（Value）分别承担不同角色]]

缩放点积注意力是 Transformer 中最核心的计算机制，其基本形式可以表示为：

缩放点积注意力是 Transformer 中最核心的计算机制，其基本形式可以表示为：