3,094
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − [[文件:Transformer.png|缩略图|Transformer整体架构]] 第6行：
第5行： − + −
无编辑摘要
Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型架构，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。它彻底改变了[[自然语言处理]]（NLP）领域，并成为许多现代模型（如[[BERT]]、[[GPT]] 等）的基础。
Transformer 是一种基于自注意力机制（Self-Attention）的深度学习模型架构，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。它彻底改变了[[自然语言处理]]（NLP）领域，并成为许多现代模型（如[[BERT]]、[[GPT]] 等）的基础。
==核心组件==
==核心组件==
Transformer 架构由以下几个核心组件构成：
Transformer 架构由以下几个核心组件构成：[[文件:Transformer.png|缩略图|Transformer整体架构]]
===自注意力机制（Self-Attention）===
===自注意力机制（Self-Attention）===
自注意力机制是 Transformer 的核心。它允许模型在处理序列时，动态地关注序列中的不同部分，从而捕捉长距离依赖关系。具体来说，自注意力机制通过计算输入序列中每个位置与其他位置的相关性，生成加权表示。
自注意力机制是 Transformer 的核心。它允许模型在处理序列时，动态地关注序列中的不同部分，从而捕捉长距离依赖关系。具体来说，自注意力机制通过计算输入序列中每个位置与其他位置的相关性，生成加权表示。