201
个编辑
更改
无编辑摘要
2020 年，BlinkDL 开始研究 Transformer ，立刻发现其有两个明显的改进方向：引入显式 decay 和 Token-shift（或者说短卷积）。在 <nowiki>https://github.com/BlinkDL/minGPT-tuned</nowiki> 上测试后，发现这些技巧对于 Transformer 的性能有显著提升。
2020 年，BlinkDL 开始研究 Transformer ，立刻发现其有两个明显的改进方向：引入显式 decay 和 Token-shift（或者说短卷积）。在 <nowiki>https://github.com/BlinkDL/minGPT-tuned</nowiki> 上测试后，发现这些技巧对于 Transformer 的性能有显著提升。
随后，他注意到 Apple 的 Attention Free Transformer （AFT）论文并对其进行测试，发现这两种技巧也为 AFT 带来了显著的性能提升。2021 年 8 月，RWKV 架构的初版：RWKV-V1 被提交到 RWKV-LM 仓库 中。
随后，他注意到 Apple 的 Attention Free Transformer （AFT）论文并对其进行测试，发现这两种技巧也为 AFT 带来了显著的性能提升。2021 年 8 月，RWKV 架构的初版：RWKV-V1 被提交到 RWKV-LM仓库中。
RWKV 架构演进时间线
{| class="wikitable"
|-
! 版本 !! 时间 !! 核心特性/改进 !! 备注
|-
| v1 || 2021 年底 || 初代结构，融合 Attention 和 RNN || 实验性版本，训练不稳定
|-
| v2 || 2022 年初 || TimeMix 和 ChannelMix 雏形<br>初步支持并行训练 || 性能有明显提升
|-
| v3 || 2022 年中 || 明确使用 <code>time_decay</code> 机制<br>引入 <code>time_mix_k</code> 等精细控制 || 架构逐渐稳定，接近 Transformer 效果
|-
| v4 || 2023 年初 || 优化 ChannelMix（ReLU 替换 SiLU）<br>更强的泛化能力 || 支持更大规模模型训练
|-
| v5 || 2023 底 / 2024 初 || 正式提出 “Transformer as RNN” 理念<br>可用标准 Transformer 训练器<br>性能与效率大幅提升 || 当前主力架构，广泛用于 RWKV-LM 系列
|-
| v6 || 2024 年初 || 引入动态时间衰减机制（Dynamic Time Decay）<br>增强对长上下文的记忆能力 || 进一步提升语言建模的表现
|-
| v7 || 2024 年中 || 模块化设计<br>支持多模态任务（文本、图像、音频等）<br>更高效的推理优化 || 扩展应用场景，迈向通用 AI
|}
----[[文件:RWKV-7 架构图.png|缩略图|替代=RWKV结构示意图|649x649像素|RWKV结构示意图]]
----[[文件:RWKV-7 架构图.png|缩略图|替代=RWKV结构示意图|649x649像素|RWKV结构示意图]]
== RWKV 模型简介 ==
== RWKV 模型简介 ==
此外，RWKV 架构设计显著降低了显存占用，使得模型即使在标准配置的 CPU 或非专业级的 GPU上也能高效运行，无需依赖昂贵或高端的计算硬件。这一突破性的进展使得大规模深度学习模型不再受限于特定的硬件平台，拓宽了应用范围。
此外，RWKV 架构设计显著降低了显存占用，使得模型即使在标准配置的 CPU 或非专业级的 GPU上也能高效运行，无需依赖昂贵或高端的计算硬件。这一突破性的进展使得大规模深度学习模型不再受限于特定的硬件平台，拓宽了应用范围。
----
----
== RWKV 的评测数据 ==
== RWKV 的评测数据 ==