201
个编辑
更改
跳到导航
跳到搜索
第81行：
第81行： − + − + − +
→RWKV Block（基本结构）
* '''ChannelMix'''
* '''ChannelMix'''
* <math>\mathrm{output} = \mathrm{ReLU}(W_1 \times x + b_1) \times W_2 + b_2</math>
* <math>\mathrm{output} = \mathrm{ReLU}(W_1 \times x + b_1) \times W_2 + b_2</math>
** 类似 Transformer 的 FFN 模块。
** 类似 [[Transformer架构|Transformer]] 的 [[FFN]] 模块。
** 激活函数通常使用 ReLU，公式如下：
** 激活函数通常使用 [[ReLU]]，公式如下：
** x：当前输入向量；
** x：当前输入向量；
** W1,W2：权重矩阵；
** W1,W2：权重矩阵；
** b1,b2：偏置项；
** b1,b2：偏置项；
** ReLU：常用的非线性激活函数。
** [[ReLU]]：常用的非线性激活函数。
ChannelMix 模块在 RWKV 中承担的是特征变换的职责，它不涉及时间递推，仅作用于当前 token 的维度方向。通过堆叠多个 RWKV Block（包含 TimeMix 和 ChannelMix），模型可以逐步构建复杂的时间和特征层级信息。该模块的设计让 RWKV 能够在保持推理效率的同时，具备强大的特征建模能力。
ChannelMix 模块在 RWKV 中承担的是特征变换的职责，它不涉及时间递推，仅作用于当前 token 的维度方向。通过堆叠多个 RWKV Block（包含 TimeMix 和 ChannelMix），模型可以逐步构建复杂的时间和特征层级信息。该模块的设计让 RWKV 能够在保持推理效率的同时，具备强大的特征建模能力。
* '''Token-Shift'''
* '''Token-Shift'''