201
个编辑
更改
无编辑摘要
'''<big>RWKV</big>'''
'''RWKV''' （读作 RWaKuV）是一种具有 GPT 级大型语言模型（LLM）性能的 RNN，也可以像 GPT Transformer 一样直接训练（可并行化）。
RWKV 结合了 RNN 和 Transformer 的最佳特性：出色的性能、恒定的显存占用、恒定的推理生成速度、"无限" ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。
----[[文件:RWKV-7 架构图.png|缩略图]]
== RWKV 模型简介 ==
== RWKV 模型简介 ==
* '''RWKV''' 是一个融合了 RNN 和 Transformer 优势的新型语言模型架构。
* '''RWKV:'''
** 近年来，基于Transformer架构的大规模语言模型在自然语言处理领域取得了显著成功，但其自注意力机制存在内存和计算复杂度随序列长度平方级增长的问题，限制了其在长序列任务中的效率。同时，传统RNN虽然具有线性复杂度，但在训练并行性和长程依赖建模方面存在不足。在此背景下，RWKV（Receptance Weighted Key-Value）架构被BlinkDL提出，旨在结合Transformer的高效训练能力（可并行化）和RNN的推理效率。RWKV-7 "Goose"作为该系列的最新进展，通过'''恒定内存占用和每token恒定推理时间'''的设计，解决了传统Transformer的长序列处理瓶颈。 2023 年 9 月 20 日，RWKV 开源项目正式加入 Linux 开源基金会。如今的 RWKV 项目是一个开源的非盈利组织，隶属于 Linux 基金会，部分算力曾由赞助商支持。
* '''名称含义'''：
* '''名称含义'''：
** '''R'''：Receptance，作为过去信息的接受程度的接受向量
** '''R'''：Receptance，作为过去信息的接受程度的接受向量
* '''核心特点'''：
* '''核心特点'''：
** 拥有 Transformer 的并行训练能力
** 拥有 Transformer 的并行训练能力
** [[文件:RWKV-7 架构图.png|缩略图]]拥有 RNN 的线性推理效率
** 拥有 RNN 的线性推理效率
----
----