更改

在奖励函数设计方面，研究者采用了归一化处理策略，将正向奖励设为+1，负向奖励设为-1，其余情况为0，这种标准化方法有效控制了误差范围并实现了跨游戏的统一训练速度。经验回放机制与奖励归一化的协同作用，使得算法能够在不同游戏间保持一致的性能表现。

在奖励函数设计方面，研究者采用了归一化处理策略，将正向奖励设为+1，负向奖励设为-1，其余情况为0，这种标准化方法有效控制了误差范围并实现了跨游戏的统一训练速度。经验回放机制与奖励归一化的协同作用，使得算法能够在不同游戏间保持一致的性能表现。

针对大规模训练数据的高冗余特性，研究采用了'''RMSProp优化算法'''，其核心机制是通过将梯度除以其近期幅度的滑动平均值来调整学习率。训练过程中引入衰减系数ϵ，采用ϵ-greedy策略进行探索-利用权衡：在前1百万训练步中，ϵ值从1线性衰减至0.1，之后保持恒定。这种动态调整策略与经验回放机制相结合，有效避免了过早收敛问题，特别适合处理非平稳目标函数。值得注意的是，经验回放缓冲区的容量设置为1,000,000个样本，并在训练前预填充50,000帧数据以确保初始采样质量。

针对大规模训练数据的高冗余特性，研究采用了'''[[RMSProp优化算法]]'''，其核心机制是通过将梯度除以其近期幅度的滑动平均值来调整学习率。训练过程中引入衰减系数ϵ，采用ϵ-greedy策略进行探索-利用权衡：在前1百万训练步中，ϵ值从1线性衰减至0.1，之后保持恒定。这种动态调整策略与经验回放机制相结合，有效避免了过早收敛问题，特别适合处理非平稳目标函数。值得注意的是，经验回放缓冲区的容量设置为1,000,000个样本，并在训练前预填充50,000帧数据以确保初始采样质量。

为提高计算效率，研究者对所有游戏采用了跳帧技术（每4帧处理1帧），在保证性能无明显下降的前提下显著提升了训练速度。这种时间抽象方法与经验回放机制协同工作，使得样本复杂度相比在线策略降低了约10倍。实验结果表明，移除经验回放会导致性能下降58.7%，充分验证了该机制的必要性。这些创新设计共同构成了DQN算法的核心框架，为后续深度强化学习研究奠定了重要基础。

为提高计算效率，研究者对所有游戏采用了跳帧技术（每4帧处理1帧），在保证性能无明显下降的前提下显著提升了训练速度。这种时间抽象方法与经验回放机制协同工作，使得样本复杂度相比在线策略降低了约10倍。实验结果表明，移除经验回放会导致性能下降58.7%，充分验证了该机制的必要性。这些创新设计共同构成了DQN算法的核心框架，为后续深度强化学习研究奠定了重要基础。

**随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

**随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

**目标Q值计算​​： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>

**目标Q值计算​​： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>

**[https://baike.baidu.com/item/梯度下降?fromModule=lemma_search-box 梯度下降]​​: <math> ∇_{θ} 1/ {|'''B'''|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math> ，'''B'''为batch数据

**[https://baike.baidu.com/item/梯度下降?fromModule=lemma_search-box 梯度下降]​​: <math> ∇_{θ} 1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math> ，B为batch数据

*目标网络同步​​：每隔C步将主网络参数θ复制至目标网络Q^-，即θ^-←θ。

*目标网络同步​​：每隔C步将主网络参数θ复制至目标网络Q^-，即θ^-←θ。