201
个编辑
更改
跳到导航
跳到搜索
第55行：
第55行： − + + + + + 第65行：
第69行： − <syntaxhighlight lang="python"> − decay = exp(-exp(time_decay)) − k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k) − </syntaxhighlight>
→RWKV Block（基本结构）
* '''TimeMix'''
* '''TimeMix'''
** 输入：<code>x</code>
<syntaxhighlight lang="python">
decay = exp(-exp(time_decay))
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
</syntaxhighlight>
* 输入：<code>x</code>
** 拆分为：<math>x_k, x_v, x_r</math>
** 拆分为：<math>x_k, x_v, x_r</math>
** 加入时间加权参数（Python代码）：
** 加入时间加权参数（Python代码）：
** <code>x_k_prev</code> 表示前一个 token 的特征；
** <code>x_k_prev</code> 表示前一个 token 的特征；
** <code>k</code> 是融合后的 Key 值，用于参与后续注意力（递推）计算。
** <code>k</code> 是融合后的 Key 值，用于参与后续注意力（递推）计算。
'''作用：''' 融合当前时刻和上一个时刻的信息，引入时间动态权重。
'''作用：''' 融合当前时刻和上一个时刻的信息，引入时间动态权重。