更改

RWKV模型 (查看源代码)

2025年7月20日 (日) 16:54的版本

添加29字节、 2025年7月20日 (日) 16:54

第128行：第128行：

RWKV-7 中的 '''⼴义增量规则（Generalized Delta Rule）'''<ref>Rumelhart, D., Hinton, G. & Williams, R. Learning representations by back-propagating errors. Nature 323, 533‒536 (1986). <nowiki>https://doi.org/10.1038/323533a0</nowiki></ref> 是其架构的核心创新之一，是对传统神经网络中 Delta Rule 的扩展和优化。以下是其核心要点：

−

传统 Delta Rule ~~的基础~~

+

传统 Delta Rule 的基础：

+

Delta Rule 是神经网络中的经典学习规则，通过计算目标输出与实际输出的差异（即误差 delta），调整模型参数以减少误差

。这一规则通常用于监督学习中的梯度下降优化。

−

广义 Delta Rule ~~的扩展~~

+

广义 Delta Rule 的扩展：

+

RWKV-7 将 Delta Rule 从标量形式推广到向量形式，并引入动态状态演化机制。具体来说：

第151行：第154行：

RWKV 架构由一系列堆叠的残差块组成，每个残差块由具有循环结构的时间混合（time-mixing）和通道混合（channel-mixing）子块组成，该循环通过将当前输入和上一时间步的输入之间进行线性插值来实现（在 RWKV-4 架构论文中，这一过程被称为 token shift）。RWKV 6 通过借鉴 LoRA 技术优化了 token shift 过程，使其 RWKV4/5 的简单线性插值（linear interpolation）变成了数据依赖的、动态的线性插值（data-dependent linear interpolation，ddlerp）。

−

根据对不同模型的推理复杂度进行比较，[[Transformer架构|Transformer]] ~~的时间复杂度为：O~~ (T^2)~~、空间复杂度为：O~~ (T^2)，因此推理速度将会越来越慢，也越来越耗内存。而 RWKV 的时间复杂度为：O(T)、空间复杂度为 O(1)。RWKV 大模型通过对计算流程的优化，实现了恒定的推理速度，极大地减少了推理过程中的时间消耗。

+

根据对不同模型的推理复杂度进行比较，[[Transformer架构|Transformer]] 的时间复杂度为：<math>O(L^2) </math>、空间复杂度为：<math>O(L^2) </math>，因此推理速度将会越来越慢，也越来越耗内存。而 RWKV 的时间复杂度为：O(T)、空间复杂度为 O(1)。RWKV 大模型通过对计算流程的优化，实现了恒定的推理速度，极大地减少了推理过程中的时间消耗。

此外，RWKV 架构设计显著降低了显存占用，使得模型即使在标准配置的 CPU 或非专业级的 GPU上也能高效运行，无需依赖昂贵或高端的计算硬件。这一突破性的进展使得大规模深度学习模型不再受限于特定的硬件平台，拓宽了应用范围。

第915行：第918行：

*位置编码（Positional Encoding）：由于自注意力机制本身不包含序列顺序信息，Transformer通过在输入嵌入中添加位置编码来引入位置信息，通常是使用正弦和余弦函数。

*编码器-解码器结构：经典的[[Transformer架构|Transformer]]通常包含一个编码器堆栈和一个解码器堆栈，编码器处理输入序列，解码器生成输出序列。每个编码器和解码器层都包含多头自注意力机制和前馈神经网络。

−

*二次复杂度： ~~传统的自注意力机制的计算复杂度与序列长度的平方成正比（O(L^2)~~<math>O(L^2) </math>），这使得处理非常长的序列变得计算密集且内存消耗大。

+

*二次复杂度：传统的自注意力机制的计算复杂度与序列长度的平方成正比（<math>O(L^2) </math>），这使得处理非常长的序列变得计算密集且内存消耗大。

==== RWKV 架构 ====

核心思想： RWKV 旨在结合[[RNN]]的效率和[[Transformer架构|Transformer]]的性能，它将[[Transformer架构|Transformer]]的并行训练能力与[[RNN]]的常数时间推理能力相结合，实现了一种“线性的注意力机制”。

念

761

个编辑