130
个编辑
更改
跳到导航
跳到搜索
第14行：
第14行： − ===== 1.查询 (Query), 键(Key), 值 (Value) 的生成 =====+ 第59行：
第59行： − + − ==== '''机器翻译''' ====+ − 注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。 − ==== '''文本摘要''' ====+ − 模型可以学习关注文档中的关键句子或段落，生成更准确、更简洁的摘要。 − ==== '''问答系统''' ==== − 注意力机制帮助模型定位问题相关的文档段落，从而给出更准确的答案。 − + − ==== '''图像描述生成''' ====+ − 在生成描述的每一个单词时，注意力机制来选择一些来自于图像的相关信息，关注图像的不同区域。 − ==== '''目标检测''' ====+ − 模型可以使用注意力机制来聚焦于图像中可能存在目标的区域，提高检测的准确性和效率。 − ==== '''图像分类''' ==== − 注意力机制可以帮助模型关注图像中对分类决策至关重要的区域。
无编辑摘要
具体的步骤为<ref>Han, K. ''et al.'' A Survey on Vision Transformer. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'' '''45''', 87-110, doi:10.1109/TPAMI.2022.3152247 (2023).</ref><ref name=":1">Vaswani, A. ''et al.'' Attention Is All You Need. ''ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)'' Vol. 30 (2017).</ref>：
具体的步骤为<ref>Han, K. ''et al.'' A Survey on Vision Transformer. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'' '''45''', 87-110, doi:10.1109/TPAMI.2022.3152247 (2023).</ref><ref name=":1">Vaswani, A. ''et al.'' Attention Is All You Need. ''ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017)'' Vol. 30 (2017).</ref>：
==== 1.查询 (Query), 键(Key), 值 (Value) 的生成 ====
将输入序列转化形成的嵌入向量（可以是词向量，也可以是词向量加上位置编码向量）分别与3个不同的可学习权重矩阵W(Q), W(K), W(V)相乘生成Q, K, V向量。其中Q, K向量的维度为d(k)，V向量的维度为d(v)。
将输入序列转化形成的嵌入向量（可以是词向量，也可以是词向量加上位置编码向量）分别与3个不同的可学习权重矩阵W(Q), W(K), W(V)相乘生成Q, K, V向量。其中Q, K向量的维度为d(k)，V向量的维度为d(v)。
注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。
注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。
=== '''自然语言处理''' ===
=== '''自然语言处理''' ===
[[文件:注意力机制在自然语言处理中的应用.png|缩略图|注意力机制在自然语言处理中的应用<ref name=":0">Andrea, G. ''et al''. Attention in Natural Language Processing. ''IEEE Transactions on Neural Networks and Learning Systems'' '''32''', 4291-4308, doi: 10.1109/tnnls.2020.3019893 (2021).</ref>]]
[[文件:注意力机制在自然语言处理中的应用.png|缩略图|注意力机制在自然语言处理中的应用<ref name=":0">Andrea, G. ''et al''. Attention in Natural Language Processing. ''IEEE Transactions on Neural Networks and Learning Systems'' '''32''', 4291-4308, doi: 10.1109/tnnls.2020.3019893 (2021).</ref>]]'''机器翻译：'''注意力机制使得模型在翻译长句子时，能够关注到源语言句子中与目标语言当前词语相关的部分。通过引入注意力机制，我们将源语言中每个位置的信息都保存下来。在解码过程中生成每一个目标语言的单词时，我们都通过注意力机制直接从源语言的信息中选择相关的信息作为辅助。
'''文本摘要：'''模型可以学习关注文档中的关键句子或段落，生成更准确、更简洁的摘要。
'''问答系统：'''注意力机制帮助模型定位问题相关的文档段落，从而给出更准确的答案。
==='''计算机视觉'''===
==='''计算机视觉'''===
[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>]]
[[文件:注意力机制用于计算机视觉.png|缩略图|注意力机制用于计算机视觉<ref>Kelvin, Xu. ''et al''. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).</ref>]]'''图像描述生成：'''在生成描述的每一个单词时，注意力机制来选择一些来自于图像的相关信息，关注图像的不同区域。
'''目标检测：'''模型可以使用注意力机制来聚焦于图像中可能存在目标的区域，提高检测的准确性和效率。
'''图像分类：'''注意力机制可以帮助模型关注图像中对分类决策至关重要的区域。
= 参考文献 =
= 参考文献 =
<references/>
<references/>