更改

*动作-价值函数网络：

*动作-价值函数网络：

**主网络Q：随机初始化网络参数θ，负责实时动作选择和价值估计。

**主网络Q：随机初始化网络参数θ，负责实时动作选择和价值估计。

**目标网络Q⁻：初始参数θ⁻=θ，用于稳定化计算目标Q值。

**目标网络<math>Q^{-}</math>：初始参数<math>θ^{-}</math>，用于稳定化计算目标Q值。

**超参数设定：设置训练总回合数M、单回合最大步数T、目标网络同步频率C、折扣因子γ、探索率ϵ等。

**超参数设定：设置训练总回合数M、单回合最大步数T、目标网络同步频率C、折扣因子γ、探索率ϵ等。

2. 回合（Episode）循环

2. 回合（Episode）循环

对每个回合episode=1,2,...,M执行：

对每个回合episode=1,2,...,M执行：

状态预处理：初始化环境观测x₁,通过预处理函数ϕ生成初始状态表征ϕ₁=ϕ(s₁)。

状态预处理：初始化环境观测<math>x_{1}</math>,通过预处理函数<math>ϕ</math>生成初始状态表征<math>ϕ_{1}=ϕ(s_{1})</math>。

3. 时间步（Timestep）循环

3. 时间步（Timestep）循环

**利用策略：否则，根据主网络选择最优动作：<math> a_{t} =arg /max_{a} Q(ϕ(s_{t}),a;θ)</math>

**利用策略：否则，根据主网络选择最优动作：<math> a_{t} =arg /max_{a} Q(ϕ(s_{t}),a;θ)</math>

*执行与环境交互​​：

*执行与环境交互​​：

**执行动作a_t，获取奖励r_t和下一帧图像x _t+1。

**执行动作a_t，获取奖励r_t和下一帧图像<math>x _{t+1}</math>。

**预处理下一状态<math> ϕ_{t+1}=ϕ(s_{t+1})</math>。

**预处理下一状态<math> ϕ_{t+1}=ϕ(s_{t+1})</math>。

*存储转移数据​​：将转移元组(ϕ_t,a_t,r_t,ϕ_t+1)存入回放记忆库D。

*存储转移数据​​：将转移元组<math>(ϕ_{t},a_{t},r_{t},ϕ_{t+1})</math>存入回放记忆库D。

*经验回放与网络更新​​：

*经验回放与网络更新​​：

**随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

**随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。