201
个编辑
更改
→RWKV Block（基本结构）
* '''自注意力层简化表达'''：
* '''自注意力层简化表达'''：
<math>\displaystyle{
<math>x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot a_t}{\exp(Kx_t) + \exp(W) \cdot b_t} </math>
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) + \exp(W) \cdot a_t}{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot b_t}
}</math>
----
----