201
个编辑
更改
跳到导航
跳到搜索
第61行：
第61行： − + + + + + + + + + + + + + + + +
→RWKV Block（基本结构）
decay = exp(-exp(time_decay))
decay = exp(-exp(time_decay))
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
</syntaxhighlight>
</syntaxhighlight>xk：用于 Key；
xv：用于 Value；
xr：用于 Receptance（门控）；
<code>time_decay</code> 是一个可学习的参数，用于控制历史信息的衰减；
<code>time_mix_k</code> 是控制当前和前一个 token 特征混合比例的系数（同样是可学习的）；
<code>x_k_prev</code> 表示前一个 token 的特征；
<code>k</code> 是融合后的 Key 值，用于参与后续注意力（递推）计算。
'''作用：''' 融合当前时刻和上一个时刻的信息，引入时间动态权重。
TimeMix 模块通过对当前输入和上一时刻输入进行线性加权融合，并引入时间衰减因子，实现了模拟 Transformer 注意力中“历史上下文影响”的能力。这种设计既保证了 RWKV 在推理时能保持序列的因果性，又能在训练时支持并行计算，是 RWKV 能够兼顾效率与表现力的关键。
* '''数学公式形式'''：
* '''数学公式形式'''：
:Decay定义：
:Decay定义：