打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
RWKV模型
(查看源代码)
2025年5月11日 (日) 10:13的版本
删除13字节
、
2025年5月11日 (日) 10:13
→RWKV Block(基本结构)
第50行:
第50行:
* '''自注意力层简化表达''':
* '''自注意力层简化表达''':
−
<math>
[math]
\displaystyle{
+
<math>\displaystyle{
−
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) + \exp(W) \cdot
b_t
}{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot
a_t
}
+
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) + \exp(W) \cdot
a_t
}{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot
b_t
}
−
}
[/math]
</math>
+
}</math>
----
----
RWKV
201
个编辑