更改

[[文件:注意力机制的理解.png|缩略图|婴儿在看到一幅图像时的注意力分配，其中红色区域表明视觉系统更加关注的目标<ref>Singh R, Chandra S, Dhusia K, et al. Capacitating surveillance and situational awareness with measure of visual engagement using eyetracker[C]//2016 International Conference on Computing, Communication and Automation (ICCCA). IEEE, 2016: 1161-1165.</ref>。]]

[[文件:注意力机制的理解.png|缩略图|婴儿在看到一幅图像时的注意力分配，其中红色区域表明视觉系统更加关注的目标<ref>Singh R, Chandra S, Dhusia K, et al. Capacitating surveillance and situational awareness with measure of visual engagement using eyetracker[C]//2016 International Conference on Computing, Communication and Automation (ICCCA). IEEE, 2016: 1161-1165.</ref>。|替代=|400x400像素]]

在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。通过借鉴人类聚焦关键信息的观察与思考模式，在人工智能领域，注意力机制（Attention Mechanism）是深度学习领域的一项重要技术创新。它允许模型在处理信息时动态地关注最相关的部分，而不是平等对待所有输入信息。注意力机制可以增强可解释性：通过可视化注意力权重，帮助理解模型的决策过程。

在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。通过借鉴人类聚焦关键信息的观察与思考模式，在人工智能领域，注意力机制（Attention Mechanism）是深度学习领域的一项重要技术创新。它允许模型在处理信息时动态地关注最相关的部分，而不是平等对待所有输入信息。注意力机制可以增强可解释性：通过可视化注意力权重，帮助理解模型的决策过程。

==== 加权输出 ====

==== 加权输出 ====

使用归一化后的注意力分数对V向量进行加权求和，作为自注意力机制的输出。整体流程可以概括为缩放点乘注意力 (Scaled dot-product attention)，用公式表示为：

使用归一化后的注意力分数对V向量进行加权求和，作为自注意力机制的输出。整体流程可以概括为缩放点乘注意力 (Scaled dot-product attention)，用公式表示为：

[[文件:公式2.png|居中|缩略图]]

[[文件:公式2.png|居中|替代=|无框]]

具体的代码实现可参考：<syntaxhighlight lang="python3" line="1">

具体的代码实现可参考：<syntaxhighlight lang="python3" line="1">

import torch

import torch

==== 多头并行计算 ====

==== 多头并行计算 ====

对每个头独立计算缩放点乘注意力：

对每个头独立计算缩放点乘注意力：

[[文件:公式3.png|居中|缩略图|400x400像素]]

[[文件:公式3.png|居中|400x400像素|替代=|无框]]

==== 多头合并输出 ====

==== 多头合并输出 ====

将所有头的输出拼接后通过线性层融合作为多头注意力机制的输出：

将所有头的输出拼接后通过线性层融合作为多头注意力机制的输出：

[[文件:公式4.png|居中|缩略图|616x616像素]]

[[文件:公式4.png|居中|400x400px|替代=|无框]]

= 注意力机制的应用 =

= 注意力机制的应用 =

注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。

注意力机制在各种人工智能领域都得到了广泛的应用。值得一提的是，ChatGPT等大型语言模型都广泛使用了注意力机制作为核心技术。