更改

跳到导航 跳到搜索
添加5字节 、 2025年7月20日 (日) 11:35
第129行: 第129行:     
<math>x_t</math>:当前时间步的输入向量;
 
<math>x_t</math>:当前时间步的输入向量;
 +
 
<math>x_{t+1}</math>:下一时间步的输出向量;
 
<math>x_{t+1}</math>:下一时间步的输出向量;
 +
 
<math>R, K, V</math>:分别表示 RWKV 中的 Receptance(门控)、Key、Value 的线性投影矩阵;
 
<math>R, K, V</math>:分别表示 RWKV 中的 Receptance(门控)、Key、Value 的线性投影矩阵;
 +
 
<math>W</math>:时间衰减常数,是一个可学习参数,用于模拟历史信息的指数衰减;
 
<math>W</math>:时间衰减常数,是一个可学习参数,用于模拟历史信息的指数衰减;
 +
 
<math>a_t, b_t</math>:前一时刻累积的加权值与归一化因子,用于递归地保留历史状态;
 
<math>a_t, b_t</math>:前一时刻累积的加权值与归一化因子,用于递归地保留历史状态;
 +
 
<math>\sigma(R x_t)</math>:Receptance 门控函数,控制新信息是否被写入输出,功能类似于 LSTM 中的门控机制;
 
<math>\sigma(R x_t)</math>:Receptance 门控函数,控制新信息是否被写入输出,功能类似于 LSTM 中的门控机制;
 
分数部分(分子/分母):模拟了注意力加权求和的效果,但通过递推方式实现,而非传统 Transformer 中的全局自注意力机制。
 
分数部分(分子/分母):模拟了注意力加权求和的效果,但通过递推方式实现,而非传统 Transformer 中的全局自注意力机制。
201

个编辑

导航菜单