201
个编辑
更改
跳到导航
跳到搜索
第22行：
第22行： − +
→核心特点：
*线性推理效率：RWKV 采用类 RNN 的时间递推结构，每一步仅依赖前一状态，推理时无需处理整个上下文，具备常数内存与线性时间复杂度，适合实时和资源受限场景，'''提高线性推理效率'''。
*线性推理效率：RWKV 采用类 RNN 的时间递推结构，每一步仅依赖前一状态，推理时无需处理整个上下文，具备常数内存与线性时间复杂度，适合实时和资源受限场景，'''提高线性推理效率'''。
*并行训练能力：尽管具有递归结构，RWKV 引入了 Token-Shift与 Time-Mix<ref>arXiv:2305.13048</ref> 等机制，使其训练过程可以像 Transformer 一样实现高度并行，显著提升训练效率。
*并行训练能力：尽管具有递归结构，RWKV 引入了 Token-Shift与 Time-Mix<ref>Peng B, Alcaide E, Anthony Q, et al. Rwkv: Reinventing rnns for the transformer era[J]. arXiv preprint arXiv:2305.13048, 2023.</ref> 等机制，使其训练过程可以像 Transformer 一样实现高度并行，显著提升训练效率。
*兼容 Transformer 的训练范式：RWKV 可无缝使用 Transformer 社区常见的预训练与微调方法（如语言建模、指令微调、LoRA 等），便于迁移与应用。
*兼容 Transformer 的训练范式：RWKV 可无缝使用 Transformer 社区常见的预训练与微调方法（如语言建模、指令微调、LoRA 等），便于迁移与应用。
*更低的部署成本：推理过程中不需要全序列缓存和大规模注意力计算，相比传统 Transformer 更轻量，适合部署在边缘设备或移动端。
*更低的部署成本：推理过程中不需要全序列缓存和大规模注意力计算，相比传统 Transformer 更轻量，适合部署在边缘设备或移动端。