281
个编辑
更改
无编辑摘要
(1)智能体观察当前状态<math>s_t</math>。
(1)智能体观察当前状态<math>s_t</math>。
(2)根据策略 π，选择一个动作<math>a_t</math>。
(2)根据策略 <math>π</math>，选择一个动作<math>a_t</math>。
(3)环境根据状态转移概率 P，转移到下一个状态 <math>s_{t+1}</math>，并给予智能体奖励 <math>r_t</math>。
(3)环境根据状态转移概率<math>P</math> ，转移到下一个状态 <math>s_{t+1}</math>，并给予智能体奖励 <math>r_t</math>。
(4)智能体根据获得的奖励和新的状态，更新策略 π，以期获得更高的累计奖励。
(4)智能体根据获得的奖励和新的状态，更新策略 <math>π</math>，以期获得更高的累计奖励。
这一过程持续进行，智能体通过不断与环境交互，学习最优策略。
这一过程持续进行，智能体通过不断与环境交互，学习最优策略。
====策略与价值函数====
====策略与价值函数====
*'''策略 π(a∣s)'''：在状态 s 下选择动作 a 的概率分布。
*'''策略 π(a∣s)'''：在状态 <math>s</math>下选择动作 <math>a</math> 的概率分布。
*'''状态值函数 Vπ(s)'''：在策略 π 下，从状态 s 开始，期望获得的累计奖励。
*'''状态值函数 Vπ(s)'''：在策略 <math>π</math> 下，从状态<math>s</math> 开始，期望获得的累计奖励。
*'''动作值函数 Qπ(s,a)'''：在策略 π 下，从状态 s 开始，采取动作 a 后，期望获得的累计奖励。
*'''动作值函数 Qπ(s,a)'''：在策略<math>π</math>下，从状态 <math>s</math>开始，采取动作 <math>a</math> 后，期望获得的累计奖励。
这些函数用于评估策略的优劣，指导策略的改进。
这些函数用于评估策略的优劣，指导策略的改进。