761
个编辑
更改
跳到导航
跳到搜索
第168行：
第168行： − +
→RWKV 架构演进时间线
| v2 || 2022 年初 || TimeMix 和 ChannelMix 雏形<br>初步支持并行训练 || 性能有明显提升
| v2 || 2022 年初 || TimeMix 和 ChannelMix 雏形<br>初步支持并行训练 || 性能有明显提升
|-
|-
| v3 || 2022 年中 || 明确使用 <code>time_decay</code> 机制<br>引入 <code>time_mix_k</code> 等精细控制 || 架构逐渐稳定，接近 Transformer 效果
| v3 || 2022 年中 || 明确使用time_decay机制<br>引入time_mix_k等精细控制 || 架构逐渐稳定，接近 Transformer 效果
|-
|-
| v4 || 2023 年初 || 优化 ChannelMix（ReLU 替换 SiLU）<br>更强的泛化能力 || 支持更大规模模型训练
| v4 || 2023 年初 || 优化 ChannelMix（ReLU 替换 SiLU）<br>更强的泛化能力 || 支持更大规模模型训练