201
个编辑
更改
跳到导航
跳到搜索
第47行：
第47行： + + + + + +
→RWKV Block（基本结构）
** 激活函数通常使用 ReLU，公式如下：
** 激活函数通常使用 ReLU，公式如下：
<math>\mathrm{output} = \mathrm{ReLU}(W_1 \times x + b_1) \times W_2 + b_2</math>
<math>\mathrm{output} = \mathrm{ReLU}(W_1 \times x + b_1) \times W_2 + b_2</math>
* '''自注意力层简化表达'''：
<math>[math]\displaystyle{
x_{t+1} = \sigma(Rx_t) \cdot \frac{\exp(Kx_t) + \exp(W) \cdot b_t}{\exp(Kx_t) \cdot (Vx_t) + \exp(W) \cdot a_t}
}[/math]</math>
----
----