注意力机制 - 版本历史

2025年6月15日 (日) 08:00 Word2vec

2025-06-15T08:00:23Z

2025年6月15日 (日) 07:56 Word2vec

2025-06-15T07:56:46Z

2025年6月15日 (日) 07:03 Word2vec

2025-06-15T07:03:30Z

2025年6月15日 (日) 06:27 Word2vec

2025-06-15T06:27:35Z

2025年6月15日 (日) 06:24 Word2vec

2025-06-15T06:24:38Z

Word2vec：/* 1.查询 (Query), 键(Key), 值 (Value) 的生成 */

2025-06-15T06:21:57Z

1.查询 (Query), 键(Key), 值 (Value) 的生成

2025年6月15日 (日) 06:21 Word2vec

2025-06-15T06:21:31Z

Word2vec：/* 注意力机制的应用 */

2025-06-15T06:19:24Z

注意力机制的应用

Word2vec：/* 注意力机制原理 */

2025-06-15T05:54:12Z

注意力机制原理

2025年6月15日 (日) 04:46 Word2vec

2025-06-15T04:46:18Z

显示更改

@@ 第65行： / 第65行： @@
 [[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>。图片中白色区域代表被注意的区域，下方注释画横线的部分表示相关的单词
-<span class="lark-record-clipboard" data-lark-record-format="docx/text" data-lark-record-data="{&quot;rootId&quot;:&quot;BGqidHR1WoXkk9xC7bqcFw2anEg&quot;,&quot;text&quot;:{&quot;initialAttributedTexts&quot;:{&quot;text&quot;:{&quot;0&quot;:&quot;（图片中白色区域代表被注意的区域，下方注释画横线的部分表示相关的单词）&quot;},&quot;attribs&quot;:{&quot;0&quot;:&quot;*0+z&quot;}},&quot;apool&quot;:{&quot;numToAttrib&quot;:{&quot;0&quot;:[&quot;author&quot;,&quot;7489058965368913939&quot;]},&quot;nextNum&quot;:1}},&quot;type&quot;:&quot;text&quot;,&quot;referenceRecordMap&quot;:{},&quot;extra&quot;:{&quot;channel&quot;:&quot;saas&quot;,&quot;isEqualBlockSelection&quot;:true,&quot;pasteRandomId&quot;:&quot;9f3abfd3-27c9-4dd0-8c65-a6699deacca3&quot;,&quot;mention_page_title&quot;:{},&quot;external_mention_url&quot;:{}},&quot;isKeepQuoteContainer&quot;:false,&quot;isFromCode&quot;:false,&quot;selection&quot;:[{&quot;id&quot;:78,&quot;type&quot;:&quot;text&quot;,&quot;selection&quot;:{&quot;start&quot;:0,&quot;end&quot;:35},&quot;recordId&quot;:&quot;UqyudArJBodu8ZxCrNmczfkfnMg&quot;}],&quot;payloadMap&quot;:{},&quot;isCut&quot;:false}"></span>|替代=|250x250像素]]'''机器翻译：'''注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。
+<span class="lark-record-clipboard" data-lark-record-format="docx/text" data-lark-record-data="{&quot;rootId&quot;:&quot;BGqidHR1WoXkk9xC7bqcFw2anEg&quot;,&quot;text&quot;:{&quot;initialAttributedTexts&quot;:{&quot;text&quot;:{&quot;0&quot;:&quot;（图片中白色区域代表被注意的区域，下方注释画横线的部分表示相关的单词）&quot;},&quot;attribs&quot;:{&quot;0&quot;:&quot;*0+z&quot;}},&quot;apool&quot;:{&quot;numToAttrib&quot;:{&quot;0&quot;:[&quot;author&quot;,&quot;7489058965368913939&quot;]},&quot;nextNum&quot;:1}},&quot;type&quot;:&quot;text&quot;,&quot;referenceRecordMap&quot;:{},&quot;extra&quot;:{&quot;channel&quot;:&quot;saas&quot;,&quot;isEqualBlockSelection&quot;:true,&quot;pasteRandomId&quot;:&quot;9f3abfd3-27c9-4dd0-8c65-a6699deacca3&quot;,&quot;mention_page_title&quot;:{},&quot;external_mention_url&quot;:{}},&quot;isKeepQuoteContainer&quot;:false,&quot;isFromCode&quot;:false,&quot;selection&quot;:[{&quot;id&quot;:78,&quot;type&quot;:&quot;text&quot;,&quot;selection&quot;:{&quot;start&quot;:0,&quot;end&quot;:35},&quot;recordId&quot;:&quot;UqyudArJBodu8ZxCrNmczfkfnMg&quot;}],&quot;payloadMap&quot;:{},&quot;isCut&quot;:false}"></span><span class="lark-record-clipboard" data-lark-record-format="docx/text" data-lark-record-data="{&quot;rootId&quot;:&quot;BGqidHR1WoXkk9xC7bqcFw2anEg&quot;,&quot;text&quot;:{&quot;initialAttributedTexts&quot;:{&quot;text&quot;:{&quot;0&quot;:&quot;（图片中白色区域代表被注意的区域，下方注释画横线的部分表示相关的单词）&quot;},&quot;attribs&quot;:{&quot;0&quot;:&quot;*0+z&quot;}},&quot;apool&quot;:{&quot;numToAttrib&quot;:{&quot;0&quot;:[&quot;author&quot;,&quot;7489058965368913939&quot;]},&quot;nextNum&quot;:1}},&quot;type&quot;:&quot;text&quot;,&quot;referenceRecordMap&quot;:{},&quot;extra&quot;:{&quot;channel&quot;:&quot;saas&quot;,&quot;isEqualBlockSelection&quot;:true,&quot;pasteRandomId&quot;:&quot;9f3abfd3-27c9-4dd0-8c65-a6699deacca3&quot;,&quot;mention_page_title&quot;:{},&quot;external_mention_url&quot;:{}},&quot;isKeepQuoteContainer&quot;:false,&quot;isFromCode&quot;:false,&quot;selection&quot;:[{&quot;id&quot;:78,&quot;type&quot;:&quot;text&quot;,&quot;selection&quot;:{&quot;start&quot;:0,&quot;end&quot;:35},&quot;recordId&quot;:&quot;UqyudArJBodu8ZxCrNmczfkfnMg&quot;}],&quot;payloadMap&quot;:{},&quot;isCut&quot;:false}"></span>|替代=|250x250像素]]'''机器翻译：'''注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。
 '''文本摘要：'''模型可以学习关注文档中的关键句子或段落，生成更准确、更简洁的摘要。

@@ 第62行： / 第62行： @@
 注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大语言模型都广泛使用了注意力机制作为核心技术。
 [[文件:注意力机制在自然语言处理中的应用.png|缩略图|注意力机制在自然语言处理中的应用<ref name=":0">Andrea, G. ''et al''. Attention in Natural Language Processing. ''IEEE Transactions on Neural Networks and Learning Systems'' '''32''', 4291-4308, doi: 10.1109/tnnls.2020.3019893 (2021).</ref>|替代=|250x250像素]]
-=== '''自然语言处理''' ===
+=== 自然语言处理 ===
 [[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>。图片中白色区域代表被注意的区域，下方注释画横线的部分表示相关的单词
@@ 第71行： / 第71行： @@
 '''问答系统：'''注意力机制帮助模型定位问题相关的文档段落，从而给出更准确的答案。
-==='''计算机视觉'''===
+===计算机视觉===
 '''图像描述生成：'''在生成描述的每一个单词时，注意力机制来选择一些来自于图像的相关信息，关注图像的不同区域。

@@ 第1行： / 第1行： @@
 [[文件:注意力机制的理解.png|缩略图|婴儿在看到一幅图像时的注意力分配，其中红色区域表明视觉系统更加关注的目标<ref>Singh R, Chandra S, Dhusia K, et al. Capacitating surveillance and situational awareness with measure of visual engagement using eyetracker[C]//2016 International Conference on Computing, Communication and Automation (ICCCA). IEEE, 2016: 1161-1165.</ref>。|替代=|400x400像素]]
-在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。通过借鉴人类聚焦关键信息的观察与思考模式，在人工智能领域，注意力机制（Attention Mechanism）是深度学习领域的一项重要技术创新。它允许模型在处理信息时动态地关注最相关的部分，而不是平等对待所有输入信息。注意力机制可以增强可解释性：通过可视化注意力权重，帮助理解模型的决策过程。
+在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。在人工智能领域，注意力机制（Attention Mechanism）是深度学习领域的一项重要技术创新，借鉴了人类聚焦关键信息的观察与思考模式。它允许模型在处理信息时动态地关注最相关的部分，而不是平等对待所有输入信息。注意力机制可以增强可解释性，通过可视化注意力权重，帮助理解模型的决策过程。
 = 注意力机制原理 =
-注意力机制的基本原理可以类比为人类的视觉注意过程。当我们观察一个场景时，会自动将注意力集中在最重要或最相关的区域上。比如，当我们阅读文章或观看图像时，视觉系统会自动将注意力集中在关键信息上，而非均匀处理所有细节。注意力机制是一种在神经网络中模拟人类注意力行为的技术。其核心思想是让模型在处理输入序列时，能够有选择性地关注输入序列中与当前任务相关的部分，并分配不同的权重。权重越高，表示模型对该部分输入的信息给予了更多的关注。
+注意力机制的基本原理可以类比为人类的视觉注意过程。当我们观察一个场景时，会自动将注意力集中在最重要或最相关的区域上。比如，当我们阅读文章或观看图像时，视觉系统会自动将注意力集中在关键信息上，而非均匀处理所有细节。注意力机制的核心思想是让模型在处理输入序列时，能够有选择性地关注输入序列中与当前任务相关的部分，并分配不同的权重。权重越高，表示模型对该部分输入的信息给予了更多的关注。
 注意力机制的计算过程包含三个核心组件：查询（Query, Q）：表示当前需要关注什么；键（Key, K）：表示可以被关注的信息；值（Value, V）：表示实际的信息内容。注意力机制计算一个权重分布，该分布表示了查询与每个键之间的相关性。然后，将这些权重与对应的值进行加权求和，得到最终的注意力输出。这个输出可以被视为模型在处理当前查询时，从输入序列中“提取”出的最相关信息。
 = 注意力机制的类型 =
-根据不同的分类标准，注意力机制可以分为多种类型。如果按注意力范围分类，可以分为'''自注意力（Self-Attention）'''：序列内部元素之间的注意力，如Transformer中的自注意力。'''交叉注意力（Cross-Attention）'''：不同序列之间的注意力，如编码器-解码器结构中的注意力。[[文件:Self-attention.png|缩略图|自注意力机制<ref name=":1" />|替代=|344x344像素]]
+根据不同的分类标准，注意力机制可以分为多种类型。如果按注意力范围分类，可以分为'''自注意力（Self-Attention）'''：序列内部元素之间的注意力，如Transformer编码器中的自注意力。'''交叉注意力（Cross-Attention）'''：不同序列之间的注意力，如Transformer编码器-解码器结构中的注意力。[[文件:Self-attention.png|缩略图|自注意力机制<ref name=":1" />|替代=|344x344像素]]
 === 自注意力机制 ===
 自注意力机制通过动态权重分配，允许序列中每个元素与其他元素进行交互，从而动态聚合全局上下文信息，精确建模元素间的依赖关系。Transformer模型在诸多自然语言处理任务中展现出的卓越性能源于其全局自注意力机制<ref>Feng, Z. & Li, Y. A window attention based Transformer for Automatic Speech Recognition. ''2024 5th International Conference on Computer Engineering and Application (ICCEA).''  449-454, doi: 10.1109/ICCEA62105.2024.10603610 (2024).</ref>。
-具体的步骤为<ref>Han, K. ''et al.'' A Survey on Vision Transformer. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'' '''45''', 87-110, doi:10.1109/TPAMI.2022.3152247 (2023).</ref><ref name=":1">Vaswani, A. ''et al.'' Attention Is All You Need. ''ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)'' Vol. 30   (2017).</ref>：
+具体的实现步骤为<ref name=":1">Vaswani, A. ''et al.'' Attention Is All You Need. ''ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)'' Vol. 30   (2017).</ref><ref>Han, K. ''et al.'' A Survey on Vision Transformer. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'' '''45''', 87-110, doi:10.1109/TPAMI.2022.3152247 (2023).</ref>：
 ==== 查询 (Query),  键(Key), 值 (Value) 的生成 ====
-将输入序列转化形成的嵌入向量（可以是词向量，也可以是词向量加上位置编码向量）分别与3个不同的可学习权重矩阵W(Q), W(K), W(V)相乘生成Q, K, V向量。其中Q, K向量的维度为d(k)，V向量的维度为d(v)。
+将输入序列转化形成的嵌入向量（可以是词向量，也可以是词向量加上位置编码向量），分别与3个不同的可学习权重矩阵W(Q), W(K), W(V)相乘生成Q, K, V向量。
 ==== 注意力分数矩阵 ====
@@ 第21行： / 第21行： @@
 ==== 归一化点乘矩阵 ====
-由于点乘操作，S值可能过大或过小，在归一化之前通常需要除以一个缩放因子来稳定梯度。之后应用Softmax 函数对注意力分数矩阵进行归一化。
+由于点乘操作，Q*K<sup>T</sup>值可能过大或过小，在归一化之前通常需要除以一个缩放因子来稳定梯度。之后应用Softmax 函数对注意力分数矩阵进行归一化。
 ==== 加权输出 ====
-使用归一化后的注意力分数对V向量进行加权求和，作为自注意力机制的输出。整体流程可以概括为缩放点乘注意力 (Scaled dot-product attention)，用公式表示为：
+使用归一化后的注意力分数对V向量进行加权求和，作为自注意力机制的输出。
 [[文件:公式2.png|居中|替代=|无框]]
 具体的代码实现可参考：<syntaxhighlight lang="python3" line="1">
@@ 第36行： / 第38行： @@
      def forward(self, Q, K, V, attn_mask=None):
-         scores = torch.matmul(Q, K.transpose(-1, -2)) / self.sqrt_d_kif attn_mask is not None:
+         scores = torch.matmul(Q, K.transpose(-1, -2)) / self.sqrt_d_k
              scores = scores.masked_fill(attn_mask == 0, -1e9)
          attn = torch.softmax(scores, dim=-1)
@@ 第44行： / 第47行： @@
 === 多头注意力机制 ===
-[[文件:多头注意力机制.png|缩略图|多头注意力机制<ref name=":2">Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref>|替代=|301x301像素]]多头注意力是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。它将输入序列的表示拆分成多个子空间（头），然后在每个子空间内独立地计算注意力权重，最后将各个子空间的结果拼接起来。多头注意力机制使得模型可以在不同的表示子空间中捕获到不同的上下文信息，增强对复杂数据内在结构的建模能力<ref name=":1" /><ref name=":2" /><ref>Voita, E. ''et al.'' Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned. ''57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2019)''    5797-5808 (2019).</ref>。具体流程如下：
+[[文件:多头注意力机制.png|缩略图|多头注意力机制<ref name=":1" />|替代=|301x301像素]]多头注意力是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。它将输入序列的表示拆分成多个子空间（头），然后在每个子空间内独立地计算注意力权重，最后将各个子空间的结果拼接起来。多头注意力机制使得模型可以在不同的表示子空间中捕获到不同的上下文信息，增强对复杂数据内在结构的建模能力<ref name=":1" /><ref name=":2">Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref><ref>Voita, E. ''et al.'' Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned. ''57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2019)''    5797-5808 (2019).</ref>。具体流程如下：
 ==== 子空间Q, K, V 向量的生成 ====
@@ 第57行： / 第60行： @@
 [[文件:公式4.png|居中|400x400px|替代=|无框]]
 = 注意力机制的应用 =
-注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。
+注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大语言模型都广泛使用了注意力机制作为核心技术。
 [[文件:注意力机制在自然语言处理中的应用.png|缩略图|注意力机制在自然语言处理中的应用<ref name=":0">Andrea, G. ''et al''. Attention in Natural Language Processing. ''IEEE Transactions on Neural Networks and Learning Systems'' '''32''', 4291-4308, doi: 10.1109/tnnls.2020.3019893 (2021).</ref>|替代=|250x250像素]]
 === '''自然语言处理''' ===
-[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>|替代=|250x250像素]]'''机器翻译：'''注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。
+[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>。图片中白色区域代表被注意的区域，下方注释画横线的部分表示相关的单词
 '''文本摘要：'''模型可以学习关注文档中的关键句子或段落，生成更准确、更简洁的摘要。

@@ 第44行： / 第44行： @@
 === 多头注意力机制 ===
-[[文件:多头注意力机制.png|缩略图|多头注意力机制<ref name=":2">Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref>|替代=]]多头注意力是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。它将输入序列的表示拆分成多个子空间（头），然后在每个子空间内独立地计算注意力权重，最后将各个子空间的结果拼接起来。多头注意力机制使得模型可以在不同的表示子空间中捕获到不同的上下文信息，增强对复杂数据内在结构的建模能力<ref name=":1" /><ref name=":2" /><ref>Voita, E. ''et al.'' Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned. ''57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2019)''    5797-5808 (2019).</ref>。具体流程如下：
+[[文件:多头注意力机制.png|缩略图|多头注意力机制<ref name=":2">Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref>|替代=|301x301像素]]多头注意力是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。它将输入序列的表示拆分成多个子空间（头），然后在每个子空间内独立地计算注意力权重，最后将各个子空间的结果拼接起来。多头注意力机制使得模型可以在不同的表示子空间中捕获到不同的上下文信息，增强对复杂数据内在结构的建模能力<ref name=":1" /><ref name=":2" /><ref>Voita, E. ''et al.'' Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned. ''57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2019)''    5797-5808 (2019).</ref>。具体流程如下：
 ==== 子空间Q, K, V 向量的生成 ====
@@ 第58行： / 第58行： @@
 = 注意力机制的应用 =
 注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。
 === '''自然语言处理''' ===
-[[文件:注意力机制在自然语言处理中的应用.png|缩略图|注意力机制在自然语言处理中的应用<ref name=":0">Andrea, G. ''et al''. Attention in Natural Language Processing. ''IEEE Transactions on Neural Networks and Learning Systems'' '''32''', 4291-4308, doi: 10.1109/tnnls.2020.3019893 (2021).</ref>]]'''机器翻译：'''注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。
+[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>|替代=|250x250像素]]'''机器翻译：'''注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。
 '''文本摘要：'''模型可以学习关注文档中的关键句子或段落，生成更准确、更简洁的摘要。
@@ 第66行： / 第67行： @@
 ==='''计算机视觉'''===
-[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>]]'''图像描述生成：'''在生成描述的每一个单词时，注意力机制来选择一些来自于图像的相关信息，关注图像的不同区域。
+'''图像描述生成：'''在生成描述的每一个单词时，注意力机制来选择一些来自于图像的相关信息，关注图像的不同区域。
 '''目标检测：'''模型可以使用注意力机制来聚焦于图像中可能存在目标的区域，提高检测的准确性和效率。

@@ 第1行： / 第1行： @@
-[[文件:注意力机制的理解.png|缩略图|婴儿在看到一幅图像时的注意力分配，其中红色区域表明视觉系统更加关注的目标<ref>Singh R, Chandra S, Dhusia K, et al. Capacitating surveillance and situational awareness with measure of visual engagement using eyetracker[C]//2016 International Conference on Computing, Communication and Automation (ICCCA). IEEE, 2016: 1161-1165.</ref>。]]
+[[文件:注意力机制的理解.png|缩略图|婴儿在看到一幅图像时的注意力分配，其中红色区域表明视觉系统更加关注的目标<ref>Singh R, Chandra S, Dhusia K, et al. Capacitating surveillance and situational awareness with measure of visual engagement using eyetracker[C]//2016 International Conference on Computing, Communication and Automation (ICCCA). IEEE, 2016: 1161-1165.</ref>。|替代=|400x400像素]]
 在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。通过借鉴人类聚焦关键信息的观察与思考模式，在人工智能领域，注意力机制（Attention Mechanism）是深度学习领域的一项重要技术创新。它允许模型在处理信息时动态地关注最相关的部分，而不是平等对待所有输入信息。注意力机制可以增强可解释性：通过可视化注意力权重，帮助理解模型的决策过程。
@@ 第25行： / 第25行： @@
 ==== 加权输出 ====
 使用归一化后的注意力分数对V向量进行加权求和，作为自注意力机制的输出。整体流程可以概括为缩放点乘注意力 (Scaled dot-product attention)，用公式表示为：
-[[文件:公式2.png|居中|缩略图]]
+[[文件:公式2.png|居中|替代=|无框]]
 具体的代码实现可参考：<syntaxhighlight lang="python3" line="1">
 import torch
@@ 第51行： / 第51行： @@
 ==== 多头并行计算 ====
 对每个头独立计算缩放点乘注意力：
-[[文件:公式3.png|居中|缩略图|400x400像素]]
+[[文件:公式3.png|居中|400x400像素|替代=|无框]]
 ==== 多头合并输出 ====
 将所有头的输出拼接后通过线性层融合作为多头注意力机制的输出：
-[[文件:公式4.png|居中|缩略图|616x616像素]]
+[[文件:公式4.png|居中|400x400px|替代=|无框]]
 = 注意力机制的应用 =
 注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。

@@ 第8行： / 第8行： @@
 = 注意力机制的类型 =
-根据不同的分类标准，注意力机制可以分为多种类型。按注意力范围分类：'''自注意力（Self-Attention）'''：序列内部元素之间的注意力，如Transformer中的自注意力。'''交叉注意力（Cross-Attention）'''：不同序列之间的注意力，如编码器-解码器结构中的注意力。[[文件:Self-attention.png|缩略图|self-attention<ref>Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref>|替代=|344x344像素]]
+根据不同的分类标准，注意力机制可以分为多种类型。如果按注意力范围分类，可以分为'''自注意力（Self-Attention）'''：序列内部元素之间的注意力，如Transformer中的自注意力。'''交叉注意力（Cross-Attention）'''：不同序列之间的注意力，如编码器-解码器结构中的注意力。[[文件:Self-attention.png|缩略图|自注意力机制<ref name=":1" />|替代=|344x344像素]]
 === 自注意力机制 ===
-自注意力机制通过动态权重分配，允许序列中每个元素与其他元素进行交互，从而动态聚合全局上下文信息，精确建模元素间的依赖关系。Transformer模型在诸多自然语言处理任务中展现出的卓越性能源于其全局自注意力机制<ref>Feng, Z. & Li, Y. in ''2024 5th International Conference on Computer Engineering and Application (ICCEA).''  449-454.</ref>。
+自注意力机制通过动态权重分配，允许序列中每个元素与其他元素进行交互，从而动态聚合全局上下文信息，精确建模元素间的依赖关系。Transformer模型在诸多自然语言处理任务中展现出的卓越性能源于其全局自注意力机制<ref>Feng, Z. & Li, Y. A window attention based Transformer for Automatic Speech Recognition. ''2024 5th International Conference on Computer Engineering and Application (ICCEA).''  449-454, doi: 10.1109/ICCEA62105.2024.10603610 (2024).</ref>。
-具体的步骤为<ref>Han, K. ''et al.'' A Survey on Vision Transformer. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'' '''45''', 87-110, doi:10.1109/TPAMI.2022.3152247 (2023).</ref><ref>Vaswani, A. ''et al.'' in ''ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)'' Vol. 30   (2017).</ref>：
+具体的步骤为<ref>Han, K. ''et al.'' A Survey on Vision Transformer. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'' '''45''', 87-110, doi:10.1109/TPAMI.2022.3152247 (2023).</ref><ref name=":1">Vaswani, A. ''et al.'' Attention Is All You Need. ''ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)'' Vol. 30   (2017).</ref>：
 ===== 1.查询 (Query),  键(Key), 值 (Value) 的生成 =====
@@ 第44行： / 第44行： @@
 === 多头注意力机制 ===
-[[文件:多头注意力机制.png|缩略图|多头注意力机制<ref>Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref>|替代=]]多头注意力是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。它将输入序列的表示拆分成多个子空间（头），然后在每个子空间内独立地计算注意力权重，最后将各个子空间的结果拼接起来。多头注意力机制使得模型可以在不同的表示子空间中捕获到不同的上下文信息，增强对复杂数据内在结构的建模能力(3-5)。
+[[文件:多头注意力机制.png|缩略图|多头注意力机制<ref name=":2">Zhang, Y. ''et al.'' Attention is all you need: utilizing attention in AI-enabled drug discovery. ''Briefings in Bioinformatics'' '''25''', bbad467, doi:10.1093/bib/bbad467 (2024).</ref>|替代=]]多头注意力是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。它将输入序列的表示拆分成多个子空间（头），然后在每个子空间内独立地计算注意力权重，最后将各个子空间的结果拼接起来。多头注意力机制使得模型可以在不同的表示子空间中捕获到不同的上下文信息，增强对复杂数据内在结构的建模能力<ref name=":1" /><ref name=":2" /><ref>Voita, E. ''et al.'' Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned. ''57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2019)''    5797-5808 (2019).</ref>。具体流程如下：
-工作流程:
+==== 1.子空间Q, K, V 向量的生成 ====
+给定嵌入向量和头 (Head) 的数目h，在每个头（子空间）中都会通过一组不同的权重矩阵得到QKV向量。
 对每个头独立计算缩放点乘注意力：
-（3）多头合并输出
+==== 3.多头合并输出 ====
 将所有头的输出拼接后通过线性层融合作为多头注意力机制的输出：
 = 注意力机制的应用 =
-注意力机制在各种人工智能领域都得到了广泛的应用：
+注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。
 [[文件:注意力机制在自然语言处理中的应用.png|缩略图|注意力机制在自然语言处理中的应用<ref name=":0">Andrea, G. ''et al''. Attention in Natural Language Processing. ''IEEE Transactions on Neural Networks and Learning Systems'' '''32''', 4291-4308, doi: 10.1109/tnnls.2020.3019893 (2021).</ref>]]
 ==== '''机器翻译''' ====
@@ 第76行： / 第68行： @@
 ==== '''问答系统''' ====
-注意力机制帮助模型定位问题相关的文档段落，从而给出更准确的答案。[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>]]
+注意力机制帮助模型定位问题相关的文档段落，从而给出更准确的答案。
+==='''计算机视觉'''===
-=== '''计算机视觉''' ===
+[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>]]
 ==== '''图像描述生成''' ====
@@ 第88行： / 第80行： @@
 ==== '''图像分类''' ====
 注意力机制可以帮助模型关注图像中对分类决策至关重要的区域。
 = 参考文献 =
 <references/>