更改

*位置编码（Positional Encoding）： 由于自注意力机制本身不包含序列顺序信息，Transformer通过在输入嵌入中添加位置编码来引入位置信息，通常是使用正弦和余弦函数。

*位置编码（Positional Encoding）： 由于自注意力机制本身不包含序列顺序信息，Transformer通过在输入嵌入中添加位置编码来引入位置信息，通常是使用正弦和余弦函数。

*编码器-解码器结构： 经典的[[Transformer架构|Transformer]]通常包含一个编码器堆栈和一个解码器堆栈，编码器处理输入序列，解码器生成输出序列。每个编码器和解码器层都包含多头自注意力机制和前馈神经网络。

*编码器-解码器结构： 经典的[[Transformer架构|Transformer]]通常包含一个编码器堆栈和一个解码器堆栈，编码器处理输入序列，解码器生成输出序列。每个编码器和解码器层都包含多头自注意力机制和前馈神经网络。

*二次复杂度： 传统的自注意力机制的计算复杂度与序列长度的平方成正比（O(L^2)），这使得处理非常长的序列变得计算密集且内存消耗大。

*二次复杂度： 传统的自注意力机制的计算复杂度与序列长度的平方成正比（O(L^2)<math>O(L^2) </math>），这使得处理非常长的序列变得计算密集且内存消耗大。

==== RWKV 架构 ====

==== RWKV 架构 ====

核心思想： RWKV 旨在结合[[RNN]]的效率和[[Transformer架构|Transformer]]的性能，它将[[Transformer架构|Transformer]]的并行训练能力与[[RNN]]的常数时间推理能力相结合，实现了一种“线性的注意力机制”。

核心思想： RWKV 旨在结合[[RNN]]的效率和[[Transformer架构|Transformer]]的性能，它将[[Transformer架构|Transformer]]的并行训练能力与[[RNN]]的常数时间推理能力相结合，实现了一种“线性的注意力机制”。