201
个编辑
更改
无编辑摘要
核心思想： Transformer 架构的核心是自注意力机制（Self-Attention），它允许模型在处理序列中的每个元素时，同时考虑序列中的所有其他元素，并根据它们之间的相关性分配不同的权重。
核心思想： Transformer 架构的核心是自注意力机制（Self-Attention），它允许模型在处理序列中的每个元素时，同时考虑序列中的所有其他元素，并根据它们之间的相关性分配不同的权重。
Transformer 中的注意力机制可表示为：
:<math>\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^\top}{\sqrt{d_k}} \right) V</math>
其中：
* <math>Q</math>：查询（Query）
* <math>K</math>：键（Key）
* <math>V</math>：值（Value）
* <math>d_k</math>：Key 的维度
主要特点：
主要特点：
==== RWKV 架构 ====
==== RWKV 架构 ====
核心思想： RWKV 旨在结合RNN的效率和Transformer的性能，它将Transformer的并行训练能力与RNN的常数时间推理能力相结合，实现了一种“线性的注意力机制”。
核心思想： RWKV 旨在结合RNN的效率和Transformer的性能，它将Transformer的并行训练能力与RNN的常数时间推理能力相结合，实现了一种“线性的注意力机制”。
RWKV 模拟注意力计算的一种核心结构是 WKV（Receptance Weighted Key Value），WKV 计算可简化为如下形式：
:<math>
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot a_t}{\exp(Kx_t) + \exp(W) \cdot b_t}
</math>
其中：
* <math>x_t</math>：当前输入向量
* <math>R</math>、<math>K</math>、<math>V</math>：线性投影矩阵
* <math>\sigma</math>：激活函数（如 sigmoid）
* <math>W</math>：时间权重参数
* <math>a_t</math>、<math>b_t</math>：递归累加的历史值
主要特点：
主要特点：