201
个编辑
更改
跳到导航
跳到搜索
第78行：
第78行： + + + + + + + + + +
无编辑摘要
</syntaxhighlight>
</syntaxhighlight>
* '''Delta Rule'''
* '''Delta Rule'''
RWKV-7 中的 广义 Delta Rule 是其架构的核心创新之一，是对传统神经网络中 Delta Rule 的扩展和优化。以下是其核心要点：
传统 Delta Rule 的基础
Delta Rule 是神经网络中的经典学习规则，通过计算目标输出与实际输出的差异（即误差 delta），调整模型参数以减少误差
。这一规则通常用于监督学习中的梯度下降优化。
广义 Delta Rule 的扩展
RWKV-7 将 Delta Rule 从标量形式推广到向量形式，并引入动态状态演化机制。具体来说：
向量化门控（Vector-Valued State Gating） ：原始 Delta Rule 中的衰减系数 a 被定义为向量而非标量，允许每个状态通道独立控制信息的保留与更新，从而增强模型对状态信息的精细操控能力
。
动态状态调整 ：通过结合输入序列的历史状态与当前误差信号，广义 Delta Rule 能够更高效地调整状态表示，实现长序列依赖建模
。
----
----