打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
RWKV模型
(查看源代码)
2025年7月20日 (日) 11:35的版本
添加5字节
、
2025年7月20日 (日) 11:35
→RWKV Block(基本结构)
第129行:
第129行:
<math>x_t</math>:当前时间步的输入向量;
<math>x_t</math>:当前时间步的输入向量;
+
<math>x_{t+1}</math>:下一时间步的输出向量;
<math>x_{t+1}</math>:下一时间步的输出向量;
+
<math>R, K, V</math>:分别表示 RWKV 中的 Receptance(门控)、Key、Value 的线性投影矩阵;
<math>R, K, V</math>:分别表示 RWKV 中的 Receptance(门控)、Key、Value 的线性投影矩阵;
+
<math>W</math>:时间衰减常数,是一个可学习参数,用于模拟历史信息的指数衰减;
<math>W</math>:时间衰减常数,是一个可学习参数,用于模拟历史信息的指数衰减;
+
<math>a_t, b_t</math>:前一时刻累积的加权值与归一化因子,用于递归地保留历史状态;
<math>a_t, b_t</math>:前一时刻累积的加权值与归一化因子,用于递归地保留历史状态;
+
<math>\sigma(R x_t)</math>:Receptance 门控函数,控制新信息是否被写入输出,功能类似于 LSTM 中的门控机制;
<math>\sigma(R x_t)</math>:Receptance 门控函数,控制新信息是否被写入输出,功能类似于 LSTM 中的门控机制;
分数部分(分子/分母):模拟了注意力加权求和的效果,但通过递推方式实现,而非传统 Transformer 中的全局自注意力机制。
分数部分(分子/分母):模拟了注意力加权求和的效果,但通过递推方式实现,而非传统 Transformer 中的全局自注意力机制。
RWKV
201
个编辑