201
个编辑
更改
跳到导航
跳到搜索
第162行：
第162行： + + + + + + + + + + + + + + +
→RWKV 与其他模型对比
| 参数共享压缩性 || 中等 || 强 || 强
| 参数共享压缩性 || 中等 || 强 || 强
|}
|}
=== RWKV与Transformer的差异 ===
=== 优势 ===
* 运行和训练时资源使用更低（VRAM、CPU、GPU 等）。
* 与较大上下文的 Transformer 相比，计算需求低 10 倍到 100 倍。
* 支持以线性方式扩展到任何上下文长度（Transformer 以二次方扩展）。
* 在答案质量和泛化能力方面的表现与 Transformer 架构一样好。
* RWKV 模型的训练数据包括英文以外的其他语言（例如中文、日文等），多语言能力比大多数现有的开源模型要好。
=== 不足 ===
* RWKV 基底模型对提示词（prompt）的格式非常敏感，提示词的格式对生成结果影响较大。
* 出于架构设计，RWKV 模型在需要回顾的任务上较弱，因此需要恰当地对提示词进行排序。比如先给模型提供任务指令，再提供需要执行任务的材料文本。
----
----