Transformer - 版本历史

千伏电压：/* 结果 */

2026-07-01T11:57:48Z

结果

千伏电压：/* 总结 */

2026-07-01T11:57:21Z

总结

2026年7月1日 (三) 11:56 千伏电压

2026-07-01T11:56:58Z

2026年7月1日 (三) 11:54 千伏电压

2026-07-01T11:54:52Z

千伏电压：/* 整体架构 */

2026-07-01T11:51:16Z

整体架构

千伏电压：/* 多头注意力 */

2026-07-01T11:47:31Z

多头注意力

千伏电压：/* 多头注意力 */

2026-07-01T11:47:08Z

多头注意力

千伏电压：/* 概览 */

2026-07-01T11:46:20Z

概览

千伏电压：/* 缩放点积注意力 */

2026-07-01T11:44:48Z

缩放点积注意力

千伏电压：/* 整体架构 */

2026-07-01T11:43:29Z

整体架构

@@ 第123行： / 第123行： @@
 该设计具有多方面优势。首先，不同维度对应不同频率的周期函数，使模型能够在多个尺度上感知位置信息。其次，这种编码方式使得任意相对位置偏移<math>k</math>满足<math>\mathrm{PE}(pos + k)</math>可以表示为<math>\mathrm{PE}(pos)</math>的线性函数，从而有助于模型学习相对位置关系。最后，由于位置编码是确定性函数而非学习参数，它天然具备良好的外推能力，可以推广到比训练时更长的序列长度。
-==结果==
+==结果分析==
 ===自注意力、RNN 与 CNN 的比较===

@@ 第181行： / 第181行： @@
 ==总结==
-===架构与效率突破===
 Transformer 的提出标志着序列建模范式的根本性转变。该模型首次完全基于注意力机制构建，彻底摆脱了对循环神经网络（RNN）和卷积神经网络（CNN）的依赖，从而消除了序列计算中的结构性约束。在这一架构下，各位置之间的依赖关系可以通过注意力机制直接建模，使得模型在保持表达能力的同时实现了高度并行化计算，训练速度相较传统方法获得数量级提升。同时，在典型自然语言处理任务中，其计算复杂度也更具优势。
 在性能方面，Transformer 在机器翻译等任务上取得了当时的最优结果（state-of-the-art），显著提升了翻译质量。与此同时，由于其并行化特性，模型训练时间大幅缩短，在相同甚至更低的计算资源下即可获得更优表现。这种性能与效率的双重提升，使其迅速成为序列建模任务中的主流架构。
 相较于传统深度学习模型，Transformer 在可解释性方面也具有重要优势。通过对注意力权重的可视化分析，可以直观观察模型在不同位置之间建立的依赖关系。这些注意力分布往往能够反映出类似句法结构或语义关联的模式，从而为理解模型内部的工作机制提供了新的视角，也为神经网络的可解释性研究提供了重要工具。
 在后续发展中，Transformer 架构不断向更广泛的领域扩展，包括图像、音频和视频等多模态任务，并逐步形成统一的跨模态表示框架。同时，为了应对长序列建模的计算瓶颈，研究者提出了局部注意力、稀疏注意力等多种高效变体，并结合模型压缩与加速技术进一步提升实用性。在生成建模方面，非自回归生成方法被引入以加快推理速度，并增强生成过程的可控性。此外，围绕注意力机制与 Transformer 的理论分析也在不断深入，为理解其归纳偏置和表达能力提供了更坚实的理论基础。

←上一版本		2026年7月1日 (三) 11:56的版本
第179行：		第179行：

	注意力权重的分布在一定程度上反映了语言的内在结构，在实际可视化中，常可以观察到类似句法树的模式。这种特性为模型的决策过程提供了重要的可解释性依据，使研究者能够更直观地理解模型的行为。		注意力权重的分布在一定程度上反映了语言的内在结构，在实际可视化中，常可以观察到类似句法树的模式。这种特性为模型的决策过程提供了重要的可解释性依据，使研究者能够更直观地理解模型的行为。
		+
		+	==总结==
		+	===架构与效率突破===
		+	Transformer 的提出标志着序列建模范式的根本性转变。该模型首次完全基于注意力机制构建，彻底摆脱了对循环神经网络（RNN）和卷积神经网络（CNN）的依赖，从而消除了序列计算中的结构性约束。在这一架构下，各位置之间的依赖关系可以通过注意力机制直接建模，使得模型在保持表达能力的同时实现了高度并行化计算，训练速度相较传统方法获得数量级提升。同时，在典型自然语言处理任务中，其计算复杂度也更具优势。
		+
		+	===性能与成本优势===
		+	在性能方面，Transformer 在机器翻译等任务上取得了当时的最优结果（state-of-the-art），显著提升了翻译质量。与此同时，由于其并行化特性，模型训练时间大幅缩短，在相同甚至更低的计算资源下即可获得更优表现。这种性能与效率的双重提升，使其迅速成为序列建模任务中的主流架构。
		+
		+	===可解释性与认知价值===
		+	相较于传统深度学习模型，Transformer 在可解释性方面也具有重要优势。通过对注意力权重的可视化分析，可以直观观察模型在不同位置之间建立的依赖关系。这些注意力分布往往能够反映出类似句法结构或语义关联的模式，从而为理解模型内部的工作机制提供了新的视角，也为神经网络的可解释性研究提供了重要工具。
		+
		+	===扩展方向与理论发展===
		+	在后续发展中，Transformer 架构不断向更广泛的领域扩展，包括图像、音频和视频等多模态任务，并逐步形成统一的跨模态表示框架。同时，为了应对长序列建模的计算瓶颈，研究者提出了局部注意力、稀疏注意力等多种高效变体，并结合模型压缩与加速技术进一步提升实用性。在生成建模方面，非自回归生成方法被引入以加快推理速度，并增强生成过程的可控性。此外，围绕注意力机制与 Transformer 的理论分析也在不断深入，为理解其归纳偏置和表达能力提供了更坚实的理论基础。

←上一版本		2026年7月1日 (三) 11:54的版本
第122行：		第122行：

	该设计具有多方面优势。首先，不同维度对应不同频率的周期函数，使模型能够在多个尺度上感知位置信息。其次，这种编码方式使得任意相对位置偏移<math>k</math>满足<math>\mathrm{PE}(pos + k)</math>可以表示为<math>\mathrm{PE}(pos)</math>的线性函数，从而有助于模型学习相对位置关系。最后，由于位置编码是确定性函数而非学习参数，它天然具备良好的外推能力，可以推广到比训练时更长的序列长度。		该设计具有多方面优势。首先，不同维度对应不同频率的周期函数，使模型能够在多个尺度上感知位置信息。其次，这种编码方式使得任意相对位置偏移<math>k</math>满足<math>\mathrm{PE}(pos + k)</math>可以表示为<math>\mathrm{PE}(pos)</math>的线性函数，从而有助于模型学习相对位置关系。最后，由于位置编码是确定性函数而非学习参数，它天然具备良好的外推能力，可以推广到比训练时更长的序列长度。
		+
		+	==结果==
		+	===自注意力、RNN 与 CNN 的比较===
		+
		+	与循环神经网络（RNN）和卷积神经网络（CNN）相比，自注意力机制在多个维度上具有显著优势。在复杂度方面，当序列长度<math>n < d</math>（这一情况在自然语言处理任务中较为常见）时，自注意力的计算效率更具优势。此外，自注意力机制可以在所有位置上并行计算，而 RNN 必须按照时间步顺序执行，从而限制了训练速度。
		+
		+	在建模依赖关系方面，自注意力允许任意两个位置之间通过一次注意力计算直接建立联系，其路径长度为<math>O(1)</math>；相比之下，RNN 的路径长度为<math>O(n)</math>，而 CNN 即使采用膨胀卷积，其路径长度也为<math>O(\log_k n)</math>。因此，自注意力在捕获长距离依赖时更加高效且稳定。
		+
		+	===计算复杂度分析===
		+
		+	设序列长度为<math>n</math>，表示维度为<math>d=512</math>，卷积核大小为<math>k</math>。
		+
		+	对于自注意力机制，其主要计算开销来自于矩阵乘法：
		+
		+	<math>
		+	QK^\top \in \mathbb{R}^{n \times n}, \quad
		+	(n \times d)(d \times n) = O(n^2 d)
		+	</math>
		+
		+	例如，当<math>n = 50<math>时，有：
		+
		+	<math>
		+	n^2 = 2500, \quad d = 512 \;\Rightarrow\; 2500 \times 512 \approx 1.28 \times 10^6
		+	</math>
		+
		+	对于 RNN，其递推形式为：
		+
		+	<math>
		+	h_t = f(h_{t-1}, x_t)
		+	</math>
		+
		+	该结构必须按时间步顺序执行<math>n</math>次，无法进行并行计算。
		+
		+	对于卷积神经网络（尤其是膨胀卷积），为了覆盖整个序列，需要：
		+
		+	<math>
		+	O(\log_k n)
		+	</math>
		+
		+	层，每一层的计算复杂度为：
		+
		+	<math>
		+	O(n \cdot d^2)
		+	</math>
		+
		+	因此总体计算复杂度为：
		+	<math>
		+	O(n \cdot d^2 \cdot \log_k n)
		+	</math>
		+
		+	===可解释性===
		+
		+	多头注意力机制使得模型能够在不同子空间中学习多样化的表示。不同的注意力头往往会关注不同类型的语言模式，例如：
		+
		+	一些注意力头主要捕捉句法结构关系（如主谓一致），一些关注语义关系（如指代消解），还有一些则对特定位置模式（如句首或句尾）表现出较强关注。
		+
		+	注意力权重的分布在一定程度上反映了语言的内在结构，在实际可视化中，常可以观察到类似句法树的模式。这种特性为模型的决策过程提供了重要的可解释性依据，使研究者能够更直观地理解模型的行为。

←上一版本		2026年7月1日 (三) 11:51的版本
第96行：		第96行：

	这种设计使得每个注意力头在较低维度子空间中进行计算，从而在保持总计算量与单头全维度注意力大致相当的前提下，显著提升了模型的表达能力与学习多样关系的能力。		这种设计使得每个注意力头在较低维度子空间中进行计算，从而在保持总计算量与单头全维度注意力大致相当的前提下，显著提升了模型的表达能力与学习多样关系的能力。
		+
		+	===解码器的特殊设计===
		+
		+	与编码器相比，解码器在结构上具有若干关键差异。首先，解码器在每一层中额外引入了一个编码器-解码器注意力子层（encoder-decoder attention）。在该子层中，查询（<math>Q</math>）来自解码器前一子层的输出，而键（<math>K</math>）和值（<math>V</math>）则来自编码器的输出表示，从而使解码器能够在生成序列时利用输入序列的全局信息。
		+
		+	其次，解码器中的自注意力采用了掩码机制（masked self-attention），以保证自回归生成过程的正确性。具体而言，对于位置<math>i</math>，模型仅允许其关注位置小于或等于<math>i</math>的信息，而对所有位置<math>j > i</math>的注意力权重在<math>\mathrm{softmax}</math>之前被置为<math>-\infty</math>，从而在归一化后对应概率为零。
		+
		+	此外，在训练阶段，目标序列会整体向右平移一位作为解码器输入，即：
		+	<math>
		+	y_i \text{ 仅依赖于 } y_{<i}
		+	</math>
		+	这种“输出偏移”策略确保了模型在位置 $i$ 的预测只依赖于先前已生成的内容，从而与推理阶段的自回归生成方式保持一致。
		+
		+	====位置编码====
		+
		+	由于 Transformer 结构本身不包含循环或卷积操作，无法显式建模序列中的位置信息，因此需要引入位置编码以注入序列顺序。论文中采用基于正弦和余弦函数的固定位置编码，其定义为：
		+
		+	<math>
		+	\mathrm{PE}(pos, 2i) = \sin\left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right)
		+	</math>
		+
		+	<math>
		+	\mathrm{PE}(pos, 2i+1) = \cos\left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right)
		+	</math>
		+
		+	该设计具有多方面优势。首先，不同维度对应不同频率的周期函数，使模型能够在多个尺度上感知位置信息。其次，这种编码方式使得任意相对位置偏移<math>k</math>满足<math>\mathrm{PE}(pos + k)</math>可以表示为<math>\mathrm{PE}(pos)</math>的线性函数，从而有助于模型学习相对位置关系。最后，由于位置编码是确定性函数而非学习参数，它天然具备良好的外推能力，可以推广到比训练时更长的序列长度。

@@ 第71行： / 第71行： @@
 ===多头注意力===
-[[文件:Transformer图片3.png|缩略图]]
+[[文件:Transformer图片3.png|缩略图|替代=|多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。]]
 多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。

@@ 第16行： / 第16行： @@
 ==整体架构==
 ===概览===
-[[文件:Transformer图片1.png|缩略图]]
+[[文件:Transformer图片1.png|缩略图|替代=|在Transformer的编码器中，每一层都可以拆解为几个紧密协作的核心组成部分。首先是多头自注意力子层，其计算流程可以概括为：输入表示先经过层归一化（LayerNorm），随后进入多头注意力模块进行特征交互，最后通过残差连接将子层输出与原始输入相加，从而保留原始信息并缓解深层网络训练中的梯度问题。]]
 Transformer延续了经典的编码器-解码器框架，但在具体实现上进行了彻底重构。编码器由6个完全相同的层堆叠而成，每一层都包含两个核心子结构：多头自注意力机制和前馈神经网络，同时在每个子层外部都配有残差连接与层归一化，以保证训练的稳定性与深层信息的有效传播。解码器同样由6层组成，其结构与编码器基本一致，但额外引入了一个“编码器-解码器注意力”子层，使其在生成输出时能够利用编码器的全局信息。此外，解码器中的自注意力采用了掩码机制，确保当前位置只能依赖已生成的内容，从而避免未来信息泄露。
@@ 第41行： / 第41行： @@
 ===缩放点积注意力===
-[[文件:Transformer图片2.png|缩略图]]
+[[文件:Transformer图片2.png|缩略图|替代=|缩放点积注意力是 Transformer 中最核心的计算机制，在这一机制中，查询（Query）、键（Key）和值（Value）分别承担不同角色]]
 缩放点积注意力是 Transformer 中最核心的计算机制，其基本形式可以表示为：

←上一版本		2026年7月1日 (三) 11:43的版本
第69行：		第69行：
	</math>		</math>
	可以将结果的方差归一化到稳定范围，从而避免梯度消失问题，并提升模型训练的稳定性与收敛效果。		可以将结果的方差归一化到稳定范围，从而避免梯度消失问题，并提升模型训练的稳定性与收敛效果。
		+
		+	===多头注意力===
		+
		+	多头注意力通过并行地执行多个注意力机制，使模型能够在不同的表示子空间中同时建模信息。其整体计算流程为：输入首先经过 $h$ 个不同的线性投影，然后进入 $h$ 个并行的注意力头，随后将各个头的输出拼接（Concat），最后再通过一次线性变换得到最终结果。
		+
		+	其数学形式定义为：
		+
		+	<math>
		+	\mathrm{MultiHead}(Q, K, V)
		+	= \mathrm{Concat}(\mathrm{head}_1, \ldots, \mathrm{head}_h) W^O
		+	</math>
		+
		+	其中，第<math>i</math>个注意力头定义为：
		+
		+	<math>
		+	\mathrm{head}_i
		+	= \mathrm{Attention}(Q W_i^Q,\; K W_i^K,\; V W_i^V)
		+	</math>
		+
		+	这里，<math>W_i^Q \in \mathbb{R}^{d_{\text{model}} \times d_k}</math>，<math>W_i^K \in \mathbb{R}^{d_{\text{model}} \times d_k}</math>，<math>W_i^V \in \mathbb{R}^{d_{\text{model}} \times d_v}</math>，以及输出投影矩阵 <math>W^O \in \mathbb{R}^{h d_v \times d_{\text{model}}}</math>均为可学习参数。
		+
		+	在论文的典型设置中：
		+	<math>
		+	h = 8, \quad d_k = d_v = \frac{d_{\text{model}}}{h} = \frac{512}{8} = 64
		+	</math>
		+
		+	这种设计使得每个注意力头在较低维度子空间中进行计算，从而在保持总计算量与单头全维度注意力大致相当的前提下，显著提升了模型的表达能力与学习多样关系的能力。