281
个编辑
更改
→策略与价值函数
<math>\displaystyle{V^{\pi}(s) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t r_{t+1} \middle| s_0 = s \right]}</math>
<math>\displaystyle{V^{\pi}(s) = \mathbb{E}{\pi} \left[ \sum{t=0}^{\infty} \gamma^t r_{t+1} \middle| s_0 = s \right]}</math>
其中<math>\gamma^t</math>为折扣因子，控制未来奖励的权重；获得的即时奖励。
其中<math>\displaystyle{ \gamma \in [0, 1) }</math>为折扣因子，控制未来奖励的权重；获得的即时奖励。
*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>下，从状态 <math>s</math>开始，采取动作 <math>a</math> 后，期望获得的累计奖励。其定义为：
*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>下，从状态 <math>s</math>开始，采取动作 <math>a</math> 后，期望获得的累计奖励。其定义为：