打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
RWKV模型
(查看源代码)
2025年7月20日 (日) 11:02的版本
删除2字节
、
2025年7月20日 (日) 11:02
→RWKV Block(基本结构)
第56行:
第56行:
* '''TimeMix'''
* '''TimeMix'''
<syntaxhighlight lang="python">
<syntaxhighlight lang="python">
−
decay = exp(-exp(time_decay))
+
decay = exp(-exp(time_decay))
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
k = x_k * time_mix_k + x_k_prev * (1 - time_mix_k)
</syntaxhighlight>
</syntaxhighlight>
RWKV
201
个编辑