更改

== RWKV 模型简介 ==

== RWKV 模型简介 ==

* '''RWKV:'''  

=== '''RWKV:''' ===

** 近年来，基于Transformer架构的大规模语言模型在自然语言处理领域取得了显著成功，但其自注意力机制存在内存和计算复杂度随序列长度平方级增长的问题，限制了其在长序列任务中的效率。同时，传统RNN虽然具有线性复杂度，但在训练并行性和长程依赖建模方面存在不足。在此背景下，RWKV（Receptance Weighted Key-Value）架构被BlinkDL提出，旨在结合Transformer的高效训练能力（可并行化）和RNN的推理效率。

** 近年来，基于Transformer架构的大规模语言模型在自然语言处理领域取得了显著成功，但其自注意力机制存在内存和计算复杂度随序列长度平方级增长的问题，限制了其在长序列任务中的效率。同时，传统RNN虽然具有线性复杂度，但在训练并行性和长程依赖建模方面存在不足。在此背景下，RWKV（Receptance Weighted Key-Value）架构被BlinkDL提出，旨在结合Transformer的高效训练能力（可并行化）和RNN的推理效率。

** RWKV-7 "Goose"作为该系列的最新进展，通过'''恒定内存占用和每token恒定推理时间'''的设计，解决了传统Transformer的长序列处理瓶颈。

** RWKV-7 "Goose"作为该系列的最新进展，通过'''恒定内存占用和每token恒定推理时间'''的设计，解决了传统Transformer的长序列处理瓶颈。

** 2023 年 9 月 20 日，RWKV 开源项目正式加入 Linux 开源基金会。如今的 RWKV 项目是一个开源的非盈利组织，隶属于 Linux 基金会，部分算力曾由赞助商支持。

** 2023 年 9 月 20 日，RWKV 开源项目正式加入 Linux 开源基金会。如今的 RWKV 项目是一个开源的非盈利组织，隶属于 Linux 基金会，部分算力曾由赞助商支持。

* '''名称含义'''：

 

** '''R'''：Receptance，作为过去信息的接受程度的接受向量

=== '''名称含义'''： ===

** '''W'''：Weight，位置权重衰减向量，可训练的模型参数

**'''R'''：Receptance，作为过去信息的接受程度的接受向量

** '''K & V'''：类似传统注意力机制中的 Key 和 Value 概念

**'''W'''：Weight，位置权重衰减向量，可训练的模型参数

* '''核心特点'''：

**'''K & V'''：类似传统注意力机制中的 Key 和 Value 概念

 

=== '''核心特点'''： ===

** 拥有 Transformer 的并行训练能力

** 拥有 Transformer 的并行训练能力

** 拥有 RNN 的线性推理效率

** 拥有 RNN 的线性推理效率

=== RWKV与Transformer的差异 ===

=== RWKV与Transformer的差异 ===

=== 优势 ===

==== 优势 ====

* 运行和训练时资源使用更低（VRAM、CPU、GPU 等）。

* 运行和训练时资源使用更低（VRAM、CPU、GPU 等）。

* RWKV 模型的训练数据包括英文以外的其他语言（例如中文、日文等），多语言能力比大多数现有的开源模型要好。

* RWKV 模型的训练数据包括英文以外的其他语言（例如中文、日文等），多语言能力比大多数现有的开源模型要好。

=== 不足 ===

==== 不足 ====

* RWKV 基底模型对提示词（prompt）的格式非常敏感，提示词的格式对生成结果影响较大。

* RWKV 基底模型对提示词（prompt）的格式非常敏感，提示词的格式对生成结果影响较大。