更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
RWKV模型
(查看源代码)
2025年7月20日 (日) 11:35的版本
添加5字节
、
2025年7月20日 (日) 11:35
→RWKV Block(基本结构)
第129行:
第129行:
<math>x_t</math>:当前时间步的输入向量;
<math>x_t</math>:当前时间步的输入向量;
+
<math>x_{t+1}</math>:下一时间步的输出向量;
<math>x_{t+1}</math>:下一时间步的输出向量;
+
<math>R, K, V</math>:分别表示 RWKV 中的 Receptance(门控)、Key、Value 的线性投影矩阵;
<math>R, K, V</math>:分别表示 RWKV 中的 Receptance(门控)、Key、Value 的线性投影矩阵;
+
<math>W</math>:时间衰减常数,是一个可学习参数,用于模拟历史信息的指数衰减;
<math>W</math>:时间衰减常数,是一个可学习参数,用于模拟历史信息的指数衰减;
+
<math>a_t, b_t</math>:前一时刻累积的加权值与归一化因子,用于递归地保留历史状态;
<math>a_t, b_t</math>:前一时刻累积的加权值与归一化因子,用于递归地保留历史状态;
+
<math>\sigma(R x_t)</math>:Receptance 门控函数,控制新信息是否被写入输出,功能类似于 LSTM 中的门控机制;
<math>\sigma(R x_t)</math>:Receptance 门控函数,控制新信息是否被写入输出,功能类似于 LSTM 中的门控机制;
分数部分(分子/分母):模拟了注意力加权求和的效果,但通过递推方式实现,而非传统 Transformer 中的全局自注意力机制。
分数部分(分子/分母):模拟了注意力加权求和的效果,但通过递推方式实现,而非传统 Transformer 中的全局自注意力机制。
RWKV
201
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本