更改

TimeMix 模块通过对当前输入和上一时刻输入进行线性加权融合，并引入时间衰减因子，实现了模拟 Transformer 注意力中“历史上下文影响”的能力。这种设计既保证了 RWKV 在推理时能保持序列的因果性，又能在训练时支持并行计算，是 RWKV 能够兼顾效率与表现力的关键。

TimeMix 模块通过对当前输入和上一时刻输入进行线性加权融合，并引入时间衰减因子，实现了模拟 Transformer 注意力中“历史上下文影响”的能力。这种设计既保证了 RWKV 在推理时能保持序列的因果性，又能在训练时支持并行计算，是 RWKV 能够兼顾效率与表现力的关键。

decay = exp(-exp(time_decay))

decay = exp(-exp(time_decay))

k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)

k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)