201
个编辑
更改
跳到导航
跳到搜索
第53行：
第53行： + + + + + + + + + + + + + + + + + + + + + +
→RWKV Block（基本结构）
* '''LayerNorm'''
* '''LayerNorm'''
LayerNorm 的标准定义如下：
:<math>\text{LayerNorm}(x) = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \cdot \gamma + \beta</math>
其中：
<math>x \in \mathbb{R}^d</math>：输入向量
<math>\mu = \frac{1}{d} \sum_{i=1}^{d} x_i</math>：均值
<math>\sigma^2 = \frac{1}{d} \sum_{i=1}^{d} (x_i - \mu)^2</math>：方差
<math>\epsilon</math>：小常数，防止除零
<math>\gamma, \beta</math>：可学习的缩放和平移参数
LayerNorm 通常作用于每个时间步的输入向量 <math>x_t</math>，即：
:<math>\tilde{x}_t = \text{LayerNorm}(x_t)</math>
然后将 <math>\tilde{x}_t</math> 用于后续的 TimeMix 操作，如：
:<math>k_t = W_k \cdot \left(\tilde{x}t \cdot (1 - w{\text{mixk}}) + \tilde{x}{t-1} \cdot w{\text{mixk}}\right)</math>
* '''TimeMix'''
* '''TimeMix'''
TimeMix 的核心计算过程如下：
TimeMix 的核心计算过程如下：