201
个编辑
更改
→RWKV与Transformer的差异
=== RWKV与Transformer的差异 ===
=== RWKV与Transformer的差异 ===
RWKV (Receptance Weighted Key Value) 架构和Transformer架构都是在自然语言处理领域取得巨大成功的深度学习模型，但它们在处理序列数据的方式上有着根本性的区别。以下是它们的详细对比：
RWKV (Receptance Weighted Key Value) 架构和Transformer架构都是在自然语言处理领域取得成功的深度学习模型，但它们在处理序列数据的方式上有着根本性的区别。以下是它们的详细对比：
==== Transformer 架构 ====
==== Transformer 架构 ====
*Token Shifting： RWKV引入了Token Shifting机制，通过线性插值当前和前一个token的嵌入来为每个块提供时间上下文，这有助于模型更好地理解序列中的局部依赖。
*Token Shifting： RWKV引入了Token Shifting机制，通过线性插值当前和前一个token的嵌入来为每个块提供时间上下文，这有助于模型更好地理解序列中的局部依赖。
*没有位置编码： RWKV的设计使其能够通过其时间混合机制自然地处理序列顺序信息，因此不需要像Transformer那样显式添加位置编码。
*没有位置编码： RWKV的设计使其能够通过其时间混合机制自然地处理序列顺序信息，因此不需要像Transformer那样显式添加位置编码。
'''优势'''
* 运行和训练时资源使用更低（VRAM、CPU、GPU 等）。
* 与较大上下文的 Transformer 相比，计算需求低 10 倍到 100 倍。
* 支持以线性方式扩展到任何上下文长度（Transformer 以二次方扩展）。
* 在答案质量和泛化能力方面的表现与 Transformer 架构一样好。
* RWKV 模型的训练数据包括英文以外的其他语言（例如中文、日文等），多语言能力比大多数现有的开源模型要好。
==== 不足 ====
* RWKV 基底模型对提示词（prompt）的格式非常敏感，提示词的格式对生成结果影响较大。
* 出于架构设计，RWKV 模型在需要回顾的任务上较弱，因此需要恰当地对提示词进行排序。比如先给模型提供任务指令，再提供需要执行任务的材料文本。
----
----