201
个编辑
更改
跳到导航
跳到搜索
第65行：
第65行： − +
→RWKV 模型结构
** <code>k</code> 是融合后的 Key 值，用于参与后续注意力（递推）计算。
** <code>k</code> 是融合后的 Key 值，用于参与后续注意力（递推）计算。
<syntaxhighlight lang="python">
<syntaxhighlight lang="python">
decay = exp(-exp(time_decay))
decay = exp(-exp(time_decay))
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
</syntaxhighlight>
</syntaxhighlight>