更改

Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型架构，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。它彻底改变了[[自然语言处理]]（NLP）领域，并成为许多现代模型（如[[BERT]]、[[GPT]] 等）的基础。

Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型架构，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。它彻底改变了[[自然语言处理]]（NLP）领域，并成为许多现代模型（如[[BERT]]、[[GPT]] 等）的基础。

==核心组件==

==核心组件==

Transformer 架构由以下几个核心组件构成：

Transformer 架构由以下几个核心组件构成：[[文件:Transformer.png|缩略图|Transformer整体架构]]

 

===自注意力机制（Self-Attention）===

===自注意力机制（Self-Attention）===

自注意力机制是 Transformer 的核心。它允许模型在处理序列时，动态地关注序列中的不同部分，从而捕捉长距离依赖关系。具体来说，自注意力机制通过计算输入序列中每个位置与其他位置的相关性，生成加权表示。

自注意力机制是 Transformer 的核心。它允许模型在处理序列时，动态地关注序列中的不同部分，从而捕捉长距离依赖关系。具体来说，自注意力机制通过计算输入序列中每个位置与其他位置的相关性，生成加权表示。