761
个编辑
更改
跳到导航
跳到搜索
第133行：
第133行： − + − 。+ +
→RWKV架构特性
广义 Delta Rule 的扩展
广义 Delta Rule 的扩展
RWKV-7 将 Delta Rule 从标量形式推广到向量形式，并引入动态状态演化机制。具体来说：
RWKV-7 将 Delta Rule 从标量形式推广到向量形式，并引入动态状态演化机制。具体来说：
'''向量化门控（Vector-Valued State Gating）'''<ref name=":0">Peng, Bo, Ruichong Zhang, Daniel Goldstein, Eric Alcaide, Xingjian Du, Haowen Hou, Jiaju Lin, 等. 《RWKV-7 〈Goose〉 with Expressive Dynamic State Evolution》. arXiv, 2025年3⽉30⽇. <nowiki>https://doi.org/10.48550/arXiv.2503.14456</nowiki>.</ref>：原始 Delta Rule 中的衰减系数 a 被定义为向量而非标量，允许每个状态通道独立控制信息的保留与更新，从而增强模型对状态信息的精细操控能力
'''向量化门控（Vector-Valued State Gating）'''<ref name=":0">Peng, Bo, Ruichong Zhang, Daniel Goldstein, Eric Alcaide, Xingjian Du, Haowen Hou, Jiaju Lin, 等. 《RWKV-7 〈Goose〉 with Expressive Dynamic State Evolution》. arXiv, 2025年3⽉30⽇. <nowiki>https://doi.org/10.48550/arXiv.2503.14456</nowiki>.</ref>：原始 Delta Rule 中的衰减系数 a 被定义为向量而非标量，允许每个状态通道独立控制信息的保留与更新，从而增强模型对状态信息的精细操控能力 。
'''动态状态调整'''<ref name=":0" /> ：通过结合输入序列的历史状态与当前误差信号，广义 Delta Rule 能够更高效地调整状态表示，实现长序列依赖建模
'''动态状态调整'''<ref name=":0" /> ：通过结合输入序列的历史状态与当前误差信号，广义 Delta Rule 能够更高效地调整状态表示，实现长序列依赖建模
。
。