201
个编辑
更改
→RNN 的工作流程
* 就像人类在思考时，大脑会保留与当前任务最相关的“关键信息”一样，RNN 的隐藏状态存储了网络在处理序列时的上下文信息。
* 就像人类在思考时，大脑会保留与当前任务最相关的“关键信息”一样，RNN 的隐藏状态存储了网络在处理序列时的上下文信息。
* 每当 RNN 处理一个新的输入（如一个 '''token'''），它会结合 '''当前隐藏状态''' 计算输出，并更新自身的隐藏状态，以便影响后续的计算。
* 每当 RNN 处理一个新的输入（如一个 '''token'''），它会结合 '''当前隐藏状态''' 计算输出，并更新自身的隐藏状态，以便影响后续的计算。
==== '''RNN 的工作流程''' ====
==== '''RNN 的工作流程''' ====
# '''输出预测（可选）'''：如果有任务需求（如语言建模），RNN 可以在每一步生成预测结果（如下一个可能的 token）。
# '''输出预测（可选）'''：如果有任务需求（如语言建模），RNN 可以在每一步生成预测结果（如下一个可能的 token）。
这一过程不断循环，直到整个序列处理完毕或达到终止条件，如下图所示：[[文件:RNN.png|缩略图|替代=RNN结构示意图|居中|RNN结构示意图|800x800像素]]
=== RWKV Block（基本结构） ===
=== RWKV Block（基本结构） ===