更改

RWKV 结合了 RNN 和 Transformer 的最佳特性：出色的性能、恒定的显存占用、恒定的推理生成速度、"无限" ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。

RWKV 结合了 RNN 和 Transformer 的最佳特性：出色的性能、恒定的显存占用、恒定的推理生成速度、"无限" ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。

----[[文件:RWKV-7 架构图.png|缩略图]]

----[[文件:RWKV-7 架构图.png|缩略图|替代=RWKV结构示意图|649x649像素|RWKV结构示意图]]

== RWKV 模型简介 ==

== RWKV 模型简介 ==

* 就像人类在思考时，大脑会保留与当前任务最相关的“关键信息”一样，RNN 的隐藏状态存储了网络在处理序列时的上下文信息。

* 就像人类在思考时，大脑会保留与当前任务最相关的“关键信息”一样，RNN 的隐藏状态存储了网络在处理序列时的上下文信息。

* 每当 RNN 处理一个新的输入（如一个 '''token'''），它会结合 '''当前隐藏状态''' 计算输出，并更新自身的隐藏状态，以便影响后续的计算。

* 每当 RNN 处理一个新的输入（如一个 '''token'''），它会结合 '''当前隐藏状态''' 计算输出，并更新自身的隐藏状态，以便影响后续的计算。

[[文件:RNN.png|缩略图|替代=RNN结构示意图|居中|RNN结构示意图]]

[[文件:RNN.png|缩略图|替代=RNN结构示意图|居中|RNN结构示意图|800x800像素]]

==== '''RNN 的工作流程''' ====

==== '''RNN 的工作流程''' ====