更改

'''RWKV''' （读作 RWaKuV）是一种具有 GPT 级大型语言模型（LLM）性能的 RNN，也可以像 GPT Transformer 一样直接训练（可并行化）。

'''RWKV'''（Receptance Weighted Key Value）是一种创新性的语言模型架构，旨在结合 Transformer 和 RNN 的优势，解决传统模型在推理效率和扩展性上的瓶颈。RWKV 的核心思想是将注意力机制中的 Key-Value 操作以时间步的方式分解，借助类 RNN 的顺序结构，实现 Transformer 水平的建模能力，同时显著降低计算复杂度和内存占用。与传统 Transformer 在每一步生成中都需要处理整个上下文不同，RWKV 模型以类似 RNN 的方式逐步处理序列，每一步的计算依赖于前一步的状态，因此在推理阶段具有常数时间和常数内存的优势。

RWKV 结合了 RNN 和 Transformer 的最佳特性：出色的性能、恒定的显存占用、恒定的推理生成速度、"无限" ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。

RWKV 支持并行训练，兼容 Transformer 的预训练范式，但在推理过程中具备近乎 RNN 的低延迟特性，使其特别适合部署在资源受限设备上，例如边缘计算设备或移动终端。RWKV 模型的设计还充分考虑了可扩展性，已发展出多个版本（如 RWKV-4、RWKV-5），在多个自然语言处理任务中展现出与主流 Transformer 模型相媲美的性能。由于其开源、轻量、高效的特性，RWKV 也正在成为一种受开发者社区关注的替代性语言模型架构。<br>'''RWKV 架构演进时间线'''

 

2020 年，BlinkDL 开始研究 Transformer ，立刻发现其有两个明显的改进方向：引入显式 decay 和 Token-shift（或者说短卷积）。在 <nowiki>https://github.com/BlinkDL/minGPT-tuned</nowiki> 上测试后，发现这些技巧对于 Transformer 的性能有显著提升。

 

随后，他注意到 Apple 的 Attention Free Transformer （AFT）论文并对其进行测试，发现这两种技巧也为 AFT 带来了显著的性能提升。2021 年 8 月，RWKV 架构的初版：RWKV-V1 被提交到 RWKV-LM仓库中。

<br>

'''RWKV 架构演进时间线'''

{| class="wikitable"

{| class="wikitable"

|-

|-