更改

====策略与价值函数====

====策略与价值函数====

*'''策略 π(a∣s)<math> π(a | s) </math>'''：在状态 <math>s</math>​下选择动作 <math>a</math>​ 的概率分布。

*'''策略 <math> π(a | s) </math>'''：在状态 <math>s</math>​下选择动作 <math>a</math>​ 的概率分布。

*'''状态值函数<math> V_{π}(s) </math>'''：在策略 <math>π</math>​ 下，从状态<math>s</math>​ 开始，期望获得的累计奖励。

*'''状态值函数<math> V_{π}(s) </math>'''：在策略 <math>π</math>​ 下，从状态<math>s</math>​ 开始，期望获得的累计奖励。

*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>​下，从状态 <math>s</math>​开始，采取动作 <math>a</math>​ 后，期望获得的累计奖励。

*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>​下，从状态 <math>s</math>​开始，采取动作 <math>a</math>​ 后，期望获得的累计奖励。

===Q 值函数的定义与更新公式===

===Q 值函数的定义与更新公式===

====定义====

====定义====

Q 值函数 Q(s, a) 表示智能体在状态 s 下采取动作 a 后，遵循某一策略所能获得的期望累积奖励。

Q 值函数 '''<math> Q(s, a) </math>''' 表示智能体在状态 <math>s</math>​下采取动作 <math>a</math>​  后，遵循某一策略所能获得的期望累积奖励。

====更新公式====

====更新公式====