更改

跳到导航 跳到搜索
添加244字节 、 2025年7月6日 (日) 17:10
第135行: 第135行:  
'''向量化门控(Vector-Valued State Gating)'''<ref>Peng, Bo, Ruichong Zhang, Daniel Goldstein, Eric Alcaide, Xingjian Du, Haowen Hou, Jiaju Lin, 等. 《RWKV-7 〈Goose〉 with Expressive Dynamic State Evolution》. arXiv, 2025年3⽉30⽇. <nowiki>https://doi.org/10.48550/arXiv.2503.14456</nowiki>.</ref>:原始 Delta Rule 中的衰减系数 a 被定义为向量而非标量,允许每个状态通道独立控制信息的保留与更新,从而增强模型对状态信息的精细操控能力  
 
'''向量化门控(Vector-Valued State Gating)'''<ref>Peng, Bo, Ruichong Zhang, Daniel Goldstein, Eric Alcaide, Xingjian Du, Haowen Hou, Jiaju Lin, 等. 《RWKV-7 〈Goose〉 with Expressive Dynamic State Evolution》. arXiv, 2025年3⽉30⽇. <nowiki>https://doi.org/10.48550/arXiv.2503.14456</nowiki>.</ref>:原始 Delta Rule 中的衰减系数 a 被定义为向量而非标量,允许每个状态通道独立控制信息的保留与更新,从而增强模型对状态信息的精细操控能力  
 
。
 
。
−
'''动态状态调整''' :通过结合输入序列的历史状态与当前误差信号,广义 Delta Rule 能够更高效地调整状态表示,实现长序列依赖建模  
+
'''动态状态调整'''<ref>Peng, Bo, Ruichong Zhang, Daniel Goldstein, Eric Alcaide, Xingjian Du, Haowen Hou, Jiaju Lin, 等. 《RWKV-7 〈Goose〉 with Expressive Dynamic State Evolution》. arXiv, 2025年3⽉30⽇. https://doi.org/10.48550/arXiv.2503.14456.
 +
</ref> :通过结合输入序列的历史状态与当前误差信号,广义 Delta Rule 能够更高效地调整状态表示,实现长序列依赖建模  
 
。
 
。
 
----
 
----
201

个编辑

导航菜单