更改

==整体架构==

==整体架构==

===概览===

===概览===

Transformer延续了经典的编码器-解码器框架，但在具体实现上进行了彻底重构。编码器由6个完全相同的层堆叠而成，每一层都包含两个核心子结构：多头自注意力机制和前馈神经网络，同时在每个子层外部都配有残差连接与层归一化，以保证训练的稳定性与深层信息的有效传播。解码器同样由6层组成，其结构与编码器基本一致，但额外引入了一个“编码器-解码器注意力”子层，使其在生成输出时能够利用编码器的全局信息。此外，解码器中的自注意力采用了掩码机制，确保当前位置只能依赖已生成的内容，从而避免未来信息泄露。

Transformer延续了经典的编码器-解码器框架，但在具体实现上进行了彻底重构。编码器由6个完全相同的层堆叠而成，每一层都包含两个核心子结构：多头自注意力机制和前馈神经网络，同时在每个子层外部都配有残差连接与层归一化，以保证训练的稳定性与深层信息的有效传播。解码器同样由6层组成，其结构与编码器基本一致，但额外引入了一个“编码器-解码器注意力”子层，使其在生成输出时能够利用编码器的全局信息。此外，解码器中的自注意力采用了掩码机制，确保当前位置只能依赖已生成的内容，从而避免未来信息泄露。