RWKV模型 - 版本历史

Jake：/* RWKV Block（基本结构） */

2026-04-23T00:51:52Z

RWKV Block（基本结构）

Jake：/* RWKV Block（基本结构） */

2026-04-23T00:51:21Z

RWKV Block（基本结构）

Jake：/* RWKV Block（基本结构） */

2026-04-22T23:41:43Z

RWKV Block（基本结构）

Jake：/* RWKV Block（基本结构） */

2026-04-22T23:41:10Z

RWKV Block（基本结构）

Jake：/* RWKV Block（基本结构） */

2026-04-22T23:40:43Z

RWKV Block（基本结构）

念：/* 参考文献 */

2025-08-09T03:09:09Z

参考文献

念：/* RWKV 架构演进时间线 */

2025-07-20T08:56:07Z

RWKV 架构演进时间线

念：/* RWKV与Transformer的差异 */

2025-07-20T08:54:56Z

RWKV与Transformer的差异

念：/* RWKV与Transformer的差异 */

2025-07-20T08:53:22Z

RWKV与Transformer的差异

念：/* RWKV Block（基本结构） */

2025-07-20T08:51:06Z

RWKV Block（基本结构）

@@ 第58行： / 第58行： @@
 :<math>
-k_t = W_k \cdot \left(x_t \cdot (1 - w_{\text{mixk}}) + x_{t-1} \cdot w_{\text{mixk}}\right)\\
+k_t = W_k \cdot \left(x_t \cdot (1 - w_{\text{mixk}}) + x_{t-1} \cdot w_{\text{mixk}}\right)
+</math>
 v_t = W_v \cdot \left(x_t \cdot (1 - w_{\text{mixv}}) + x_{t-1} \cdot w_{\text{mixv}}\right)\\
+</math>
 r_t = \sigma\left(W_r \cdot \left(x_t \cdot (1 - w_{\text{mixr}}) + x_{t-1} \cdot w_{\text{mixr}}\right)\right)\\
+</math>
 s_t = \sum_{i=0}^{t} \exp\left(-\lambda (t - i)\right) \cdot k_i \odot v_i\\
+</math>
 y_t = r_t \odot s_t
 </math>

@@ 第59行： / 第59行： @@
 :<math>
 k_t = W_k \cdot \left(x_t \cdot (1 - w_{\text{mixk}}) + x_{t-1} \cdot w_{\text{mixk}}\right)\\
 v_t = W_v \cdot \left(x_t \cdot (1 - w_{\text{mixv}}) + x_{t-1} \cdot w_{\text{mixv}}\right)\\
 r_t = \sigma\left(W_r \cdot \left(x_t \cdot (1 - w_{\text{mixr}}) + x_{t-1} \cdot w_{\text{mixr}}\right)\right)\\
 s_t = \sum_{i=0}^{t} \exp\left(-\lambda (t - i)\right) \cdot k_i \odot v_i\\
 y_t = r_t \odot s_t
 </math>

@@ 第58行： / 第58行： @@
 :<math>
-k_t = W_k \cdot \left(x_t \cdot (1 - w_{\text{mixk}}) + x_{t-1} \cdot w_{\text{mixk}}\right)
+k_t = W_k \cdot \left(x_t \cdot (1 - w_{\text{mixk}}) + x_{t-1} \cdot w_{\text{mixk}}\right)\\
-v_t = W_v \cdot \left(x_t \cdot (1 - w_{\text{mixv}}) + x_{t-1} \cdot w_{\text{mixv}}\right)
+v_t = W_v \cdot \left(x_t \cdot (1 - w_{\text{mixv}}) + x_{t-1} \cdot w_{\text{mixv}}\right)\\
-r_t = \sigma\left(W_r \cdot \left(x_t \cdot (1 - w_{\text{mixr}}) + x_{t-1} \cdot w_{\text{mixr}}\right)\right)
+r_t = \sigma\left(W_r \cdot \left(x_t \cdot (1 - w_{\text{mixr}}) + x_{t-1} \cdot w_{\text{mixr}}\right)\right)\\
-s_t = \sum_{i=0}^{t} \exp\left(-\lambda (t - i)\right) \cdot k_i \odot v_i
+s_t = \sum_{i=0}^{t} \exp\left(-\lambda (t - i)\right) \cdot k_i \odot v_i\\
 y_t = r_t \odot s_t
 </math>

@@ 第57行： / 第57行： @@
 TimeMix 的核心计算过程如下：
+:<math>
 其中：

@@ 第57行： / 第57行： @@
 TimeMix 的核心计算过程如下：
-:<math>k_t = W_k \cdot \left(x_t \cdot (1 - w_{\text{mixk}}) + x_{t-1} \cdot w_{\text{mixk}}\right)</math>
 其中：

@@ 第996行： / 第996行： @@
 ----
-此词条由[[王熙霖]]、[[宋鹏举]]编写。
+此词条由[[王熙霖]]、[[宋鹏举]]编写，张江老师审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第168行： / 第168行： @@
 | v2 || 2022 年初 || TimeMix 和 ChannelMix 雏形<br>初步支持并行训练 || 性能有明显提升
 |-
-| v3 || 2022 年中 || 明确使用 <code>time_decay</code> 机制<br>引入 <code>time_mix_k</code> 等精细控制 || 架构逐渐稳定，接近 Transformer 效果
+| v3 || 2022 年中 || 明确使用time_decay机制<br>引入time_mix_k等精细控制 || 架构逐渐稳定，接近 Transformer 效果
 |-
 | v4 || 2023 年初 || 优化 ChannelMix（ReLU 替换 SiLU）<br>更强的泛化能力 || 支持更大规模模型训练

@@ 第128行： / 第128行： @@
 RWKV-7 中的 '''⼴义增量规则（Generalized Delta Rule）'''<ref>Rumelhart, D., Hinton, G. & Williams, R. Learning representations by back-propagating errors. Nature 323, 533‒536 (1986). <nowiki>https://doi.org/10.1038/323533a0</nowiki></ref> 是其架构的核心创新之一，是对传统神经网络中 Delta Rule 的扩展和优化。以下是其核心要点：
-传统 Delta Rule 的基础
+传统 Delta Rule 的基础：
 Delta Rule 是神经网络中的经典学习规则，通过计算目标输出与实际输出的差异（即误差 delta），调整模型参数以减少误差
 。这一规则通常用于监督学习中的梯度下降优化。
-广义 Delta Rule 的扩展
 RWKV-7 将 Delta Rule 从标量形式推广到向量形式，并引入动态状态演化机制。具体来说：
@@ 第151行： / 第154行： @@
 RWKV 架构由一系列堆叠的残差块组成，每个残差块由具有循环结构的时间混合（time-mixing）和通道混合（channel-mixing）子块组成，该循环通过将当前输入和上一时间步的输入之间进行线性插值来实现（在 RWKV-4 架构论文中，这一过程被称为 token shift）。RWKV 6 通过借鉴 LoRA 技术优化了 token shift 过程，使其 RWKV4/5 的简单线性插值（linear interpolation）变成了数据依赖的、动态的线性插值（data-dependent linear interpolation，ddlerp）。
-根据对不同模型的推理复杂度进行比较，[[Transformer架构|Transformer]] 的时间复杂度为：O (T^2)、空间复杂度为：O (T^2)，因此推理速度将会越来越慢，也越来越耗内存。而 RWKV 的时间复杂度为：O(T)、空间复杂度为 O(1)。RWKV 大模型通过对计算流程的优化，实现了恒定的推理速度，极大地减少了推理过程中的时间消耗。
+根据对不同模型的推理复杂度进行比较，[[Transformer架构|Transformer]] 的时间复杂度为：<math>O(L^2) </math>、空间复杂度为：<math>O(L^2) </math>，因此推理速度将会越来越慢，也越来越耗内存。而 RWKV 的时间复杂度为：O(T)、空间复杂度为 O(1)。RWKV 大模型通过对计算流程的优化，实现了恒定的推理速度，极大地减少了推理过程中的时间消耗。
 此外，RWKV 架构设计显著降低了显存占用，使得模型即使在标准配置的 CPU 或非专业级的 GPU上也能高效运行，无需依赖昂贵或高端的计算硬件。这一突破性的进展使得大规模深度学习模型不再受限于特定的硬件平台，拓宽了应用范围。
@@ 第915行： / 第918行： @@
 *位置编码（Positional Encoding）： 由于自注意力机制本身不包含序列顺序信息，Transformer通过在输入嵌入中添加位置编码来引入位置信息，通常是使用正弦和余弦函数。
 *编码器-解码器结构： 经典的[[Transformer架构|Transformer]]通常包含一个编码器堆栈和一个解码器堆栈，编码器处理输入序列，解码器生成输出序列。每个编码器和解码器层都包含多头自注意力机制和前馈神经网络。
-*二次复杂度： 传统的自注意力机制的计算复杂度与序列长度的平方成正比（O(L^2)<math>O(L^2) </math>），这使得处理非常长的序列变得计算密集且内存消耗大。
+*二次复杂度： 传统的自注意力机制的计算复杂度与序列长度的平方成正比（<math>O(L^2) </math>），这使得处理非常长的序列变得计算密集且内存消耗大。
 ==== RWKV 架构 ====
 核心思想： RWKV 旨在结合[[RNN]]的效率和[[Transformer架构|Transformer]]的性能，它将[[Transformer架构|Transformer]]的并行训练能力与[[RNN]]的常数时间推理能力相结合，实现了一种“线性的注意力机制”。

@@ 第84行： / 第84行： @@
 ** 激活函数通常使用 [[ReLU]]，公式如下：
 ** x：当前输入向量；
-** W1,W2：权重矩阵；
+**<math>W_{1} ,W_{2}  </math>：权重矩阵；
-** b1,b2：偏置项；
+**<math>b_{1} ,b_{2}  </math>：偏置项；
 ** [[ReLU]]：常用的非线性激活函数。
 ChannelMix 模块在 RWKV 中承担的是特征变换的职责，它不涉及时间递推，仅作用于当前 token 的维度方向。通过堆叠多个 RWKV Block（包含 TimeMix 和 ChannelMix），模型可以逐步构建复杂的时间和特征层级信息。该模块的设计让 RWKV 能够在保持推理效率的同时，具备强大的特征建模能力。
@@ 第93行： / 第93行： @@
 *'''注意力层简化表达'''
 *<math>x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot a_t}{\exp(Kx_t) + \exp(W) \cdot b_t} </math>
-*xt<math>x_{t}  </math>：当前时间步的输入向量；
+*<math>x_{t}  </math>：当前时间步的输入向量；
-*xt+1<math>x_{t+1}  </math>：下一时间步的输出；
+*<math>x_{t+1}  </math>：下一时间步的输出；
 *R,K,V：分别表示 RWKV 中的 '''Receptance（门控）、Key、Value''' 投影矩阵；
 *W：时间衰减常数，是可学习参数，用于模拟历史的指数衰减；
-*at,bt<math>a_{t} ,b_{t}  </math>：前一时刻累积的加权值与归一化因子，用于递归地保留历史信息；
+*<math>a_{t} ,b_{t}  </math>：前一时刻累积的加权值与归一化因子，用于递归地保留历史信息；
-*σ(Rxt)<math>σ(Rx_t) </math>：Receptance 门控函数，控制信息是否更新，相当于 LSTM 的门结构；
+*<math>σ(Rx_t) </math>：Receptance 门控函数，控制信息是否更新，相当于 LSTM 的门结构；
 *分数部分（分子/分母）：模拟了注意力加权求和的效果，只不过是用递推形式累积，而非对整段序列做自注意力计算。
 这个表达式体现的是 '''RWKV 用递推的方式模拟注意力机制'''。不同于 [[Transformer架构|Transformer]] 的全局注意力（需要对所有 token 做乘积和归一化），RWKV 在每一个时间步只更新当前与历史的加权平均值，用指数衰减模拟注意力分布，极大地提高了推理效率。