201
个编辑
更改
跳到导航
跳到搜索
第50行：
第50行： − + − + − +
→RWKV Block（基本结构）
* '''自注意力层简化表达'''：
* '''自注意力层简化表达'''：
<math>[math]\displaystyle{
<math>\displaystyle{
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) + \exp(W) \cdot b_t}{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot a_t}
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) + \exp(W) \cdot a_t}{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot b_t}
}[/math]</math>
}</math>
----
----