201
个编辑
更改
→RWKV Block（基本结构）
'''作用：''' 融合当前时刻和上一个时刻的信息，引入时间动态权重。
'''作用：''' 融合当前时刻和上一个时刻的信息，引入时间动态权重。
TimeMix 模块通过对当前输入和上一时刻输入进行线性加权融合，并引入时间衰减因子，实现了模拟 Transformer 注意力中“历史上下文影响”的能力。这种设计既保证了 RWKV 在推理时能保持序列的因果性，又能在训练时支持并行计算，是 RWKV 能够兼顾效率与表现力的关键。
TimeMix 模块通过对当前输入和上一时刻输入进行线性加权融合，并引入时间衰减因子，实现了模拟 [[Transformer架构|Transformer]] 注意力中“历史上下文影响”的能力。这种设计既保证了 RWKV 在推理时能保持序列的因果性，又能在训练时支持并行计算，是 RWKV 能够兼顾效率与表现力的关键。
* '''ChannelMix'''
* '''ChannelMix'''
=== 训练 ===
=== 训练 ===
* 并行训练兼容 Transformer-style 训练器
* 并行训练兼容 [[Transformer架构|Transformer]]-style 训练器
* 对时间参数稳定性要求高（需梯度裁剪、精调）
* 对时间参数稳定性要求高（需梯度裁剪、精调）
RWKV 架构由一系列堆叠的残差块组成，每个残差块由具有循环结构的时间混合（time-mixing）和通道混合（channel-mixing）子块组成，该循环通过将当前输入和上一时间步的输入之间进行线性插值来实现（在 RWKV-4 架构论文中，这一过程被称为 token shift）。RWKV 6 通过借鉴 LoRA 技术优化了 token shift 过程，使其 RWKV4/5 的简单线性插值（linear interpolation）变成了数据依赖的、动态的线性插值（data-dependent linear interpolation，ddlerp）。
RWKV 架构由一系列堆叠的残差块组成，每个残差块由具有循环结构的时间混合（time-mixing）和通道混合（channel-mixing）子块组成，该循环通过将当前输入和上一时间步的输入之间进行线性插值来实现（在 RWKV-4 架构论文中，这一过程被称为 token shift）。RWKV 6 通过借鉴 LoRA 技术优化了 token shift 过程，使其 RWKV4/5 的简单线性插值（linear interpolation）变成了数据依赖的、动态的线性插值（data-dependent linear interpolation，ddlerp）。
*长距离依赖： 通过直接计算任意两个位置之间的注意力权重，[[Transformer架构|Transformer]]能够有效地捕获序列中的长距离依赖关系，克服了传统[[RNN]]（循环神经网络）在处理长序列时遇到的梯度消失/爆炸问题。
*长距离依赖： 通过直接计算任意两个位置之间的注意力权重，[[Transformer架构|Transformer]]能够有效地捕获序列中的长距离依赖关系，克服了传统[[RNN]]（循环神经网络）在处理长序列时遇到的梯度消失/爆炸问题。
*位置编码（Positional Encoding）： 由于自注意力机制本身不包含序列顺序信息，Transformer通过在输入嵌入中添加位置编码来引入位置信息，通常是使用正弦和余弦函数。
*位置编码（Positional Encoding）： 由于自注意力机制本身不包含序列顺序信息，Transformer通过在输入嵌入中添加位置编码来引入位置信息，通常是使用正弦和余弦函数。
*编码器-解码器结构： 经典的Transformer通常包含一个编码器堆栈和一个解码器堆栈，编码器处理输入序列，解码器生成输出序列。每个编码器和解码器层都包含多头自注意力机制和前馈神经网络。
*编码器-解码器结构： 经典的[[Transformer架构|Transformer]]通常包含一个编码器堆栈和一个解码器堆栈，编码器处理输入序列，解码器生成输出序列。每个编码器和解码器层都包含多头自注意力机制和前馈神经网络。
*二次复杂度： 传统的自注意力机制的计算复杂度与序列长度的平方成正比（O(L^2)），这使得处理非常长的序列变得计算密集且内存消耗大。
*二次复杂度： 传统的自注意力机制的计算复杂度与序列长度的平方成正比（O(L^2)），这使得处理非常长的序列变得计算密集且内存消耗大。
==== RWKV 架构 ====
==== RWKV 架构 ====