281
个编辑
更改
无编辑摘要
====MDP 的核心思想====
====MDP 的核心思想====
在 MDP 中，智能体与环境的[https://zhuanlan.zhihu.com/p/568155357 交互过程]如下：
在 MDP 中，智能体与环境的[https://zhuanlan.zhihu.com/p/568155357 交互过程]如右图所示：
(1)智能体观察当前状态<math>s_t</math>。
(1)智能体观察当前状态<math>s_t</math>。
====策略与价值函数====
====策略与价值函数====
在MDP中，策略与价值函数是强化学习的核心概念，它们共同构成了智能体学习与决策的理论基础。以下是关于策略与价值函数的定义：
*'''策略 <math> π(a | s) </math>'''：在状态 <math>s</math>下选择动作 <math>a</math> 的概率分布。
*'''策略 <math> π(a | s) </math>'''：在状态 <math>s</math>下选择动作 <math>a</math> 的概率分布。
*'''状态值函数<math> V_{π}(s) </math>'''：在策略 <math>π</math> 下，从状态<math>s</math> 开始，期望获得的累计奖励。
*'''状态值函数<math> V_{π}(s) </math>'''：在策略 <math>π</math> 下，从状态<math>s</math> 开始，期望获得的累计奖励。其定义为：
*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>下，从状态 <math>s</math>开始，采取动作 <math>a</math> 后，期望获得的累计奖励。
*'''动作值函数 <math> Q_{π}(s, a) </math>'''：在策略<math>π</math>下，从状态 <math>s</math>开始，采取动作 <math>a</math> 后，期望获得的累计奖励。