更改

*'''策略 <math> π(a | s) </math>'''：在状态 <math>s</math>​下选择动作 <math>a</math>​ 的概率分布。

*'''策略 <math> π(a | s) </math>'''：在状态 <math>s</math>​下选择动作 <math>a</math>​ 的概率分布。

*'''状态值函数<math> V_{π}(s) </math>'''：在策略 <math>π</math>​ 下，从状态<math>s</math>​ 开始，期望获得的累计奖励。其定义为：

*'''状态值函数<math> V_{π}(s) </math>'''：在策略 <math>π</math>​ 下，从状态<math>s</math>​ 开始，期望获得的累计奖励。其定义为：

<math>\displaystyle{V^{\pi}(s) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t r_{t+1} \middle| s_0 = s \right]}</math>

<math>\displaystyle{V_{π}(s) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t r_{t+1} \middle| s_0 = s \right]}</math>

其中<math>\displaystyle{ \gamma \in [0, 1) }</math>为折扣因子，控制未来奖励的权重；<math>r_{t+1}</math>​为从<math>s_t</math>​到<math>s_{t+1}</math>​获得的即时奖励。

其中<math>\displaystyle{ \gamma \in [0, 1) }</math>为折扣因子，控制未来奖励的权重；<math>r_{t+1}</math>​为从<math>s_t</math>​到<math>s_{t+1}</math>​获得的即时奖励。

*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>​下，从状态 <math>s</math>​开始，采取动作 <math>a</math>​ 后，期望获得的累计奖励。其定义为：

*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>​下，从状态 <math>s</math>​开始，采取动作 <math>a</math>​ 后，期望获得的累计奖励。其定义为：

<math>\displaystyle{Q^{\pi}(s, a) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t r_{t+1} \middle| s_0 = s,a_0 = a \right]}</math>

<math>\displaystyle{Q_{π}(s, a) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t r_{t+1} \middle| s_0 = s,a_0 = a \right]}</math>

这些函数用于评估策略的优劣，指导策略的改进。

这些函数用于评估策略的优劣，指导策略的改进。