281
个编辑
更改
无编辑摘要
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
其中，符号含义如下：<math>s_t</math>：当前状态<math>a_t</math>：当前动作<math>r_t</math>：即时奖励<math>s_{t+1}</math>：执行动作后的新状态<math>\alpha \in (0,1]</math>：学习率<math>\gamma \in [0,1)</math>：折扣因子
其中，符号含义如下：<math>s_t</math>：当前状态；<math>a_t</math>：当前动作；<math>r_t</math>：即时奖励；<math>s_{t+1}</math>：执行动作后的新状态；<math>\alpha \in (0,1]</math>：学习率；<math>\gamma \in [0,1)</math>：折扣因子。
此公式基于贝尔曼方程的时序差分（TD）更新思想，逐步调整 <math>Q</math> 值函数以逼近最优策略。
此公式基于贝尔曼方程的时序差分（TD）更新思想，逐步调整 <math>Q</math> 值函数以逼近最优策略。