201
个编辑
更改
添加历史
RWKV 结合了 RNN 和 Transformer 的最佳特性：出色的性能、恒定的显存占用、恒定的推理生成速度、"无限" ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。
RWKV 结合了 RNN 和 Transformer 的最佳特性：出色的性能、恒定的显存占用、恒定的推理生成速度、"无限" ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。
2020 年，BlinkDL 开始研究 Transformer ，立刻发现其有两个明显的改进方向：引入显式 decay 和 Token-shift（或者说短卷积）。在 <nowiki>https://github.com/BlinkDL/minGPT-tuned</nowiki> 上测试后，发现这些技巧对于 Transformer 的性能有显著提升。
随后，他注意到 Apple 的 Attention Free Transformer （AFT）论文并对其进行测试，发现这两种技巧也为 AFT 带来了显著的性能提升。2021 年 8 月，RWKV 架构的初版：RWKV-V1 被提交到 RWKV-LM 仓库 中。
----[[文件:RWKV-7 架构图.png|缩略图|替代=RWKV结构示意图|649x649像素|RWKV结构示意图]]
----[[文件:RWKV-7 架构图.png|缩略图|替代=RWKV结构示意图|649x649像素|RWKV结构示意图]]
== RWKV 模型简介 ==
== RWKV 模型简介 ==