201
个编辑
更改
跳到导航
跳到搜索
第102行：
第102行： − * <math>\mathrm{output} = \mathrm{ReLU}(W_1 \times x + b_1) \times W_2 + b_2</math>+ − ** 类似 Transformer 的 FFN 模块。+ − ** 激活函数通常使用 ReLU，公式如下：+ − ** x：当前输入向量；+ − ** W1,W2：权重矩阵；+ − ** b1,b2：偏置项；+ − ** ReLU：常用的非线性激活函数。+ + + + + + +
→RWKV Block（基本结构）
* '''ChannelMix'''
* '''ChannelMix'''
类似 Transformer 的 FFN 模块。
其数学形式如下：
:<math>\mathrm{FFN}(x) = \mathrm{ReLU}(W_1 x + b_1) W_2 + b_2</math>
其中：
<math>x \in \mathbb{R}^d</math>：当前时间步的输入向量
<math>W_1 \in \mathbb{R}^{d \times d_{ff}},; W_2 \in \mathbb{R}^{d_{ff} \times d}</math>：线性变换的权重矩阵
<math>b_1 \in \mathbb{R}^{d_{ff}},; b_2 \in \mathbb{R}^{d}</math>：对应的偏置项
<math>\mathrm{ReLU}(z) = \max(0, z)</math>：常用的非线性激活函数 ReLU
ChannelMix 模块在 RWKV 中承担的是特征变换的职责，它不涉及时间递推，仅作用于当前 token 的维度方向。通过堆叠多个 RWKV Block（包含 TimeMix 和 ChannelMix），模型可以逐步构建复杂的时间和特征层级信息。该模块的设计让 RWKV 能够在保持推理效率的同时，具备强大的特征建模能力。
ChannelMix 模块在 RWKV 中承担的是特征变换的职责，它不涉及时间递推，仅作用于当前 token 的维度方向。通过堆叠多个 RWKV Block（包含 TimeMix 和 ChannelMix），模型可以逐步构建复杂的时间和特征层级信息。该模块的设计让 RWKV 能够在保持推理效率的同时，具备强大的特征建模能力。
* '''Token-Shift'''
* '''Token-Shift'''