281
个编辑
更改
跳到导航
跳到搜索
第194行：
第194行： − + + 第202行：
第203行： + − + +
无编辑摘要
Q-Learning 收敛性的证明主要基于以下几点：
Q-Learning 收敛性的证明主要基于以下几点：
（1）Bellman 最优算子是压缩映射
（1）Bellman 最优算子是压缩映射<ref>Overmars M G. Analyzing the convergence of Q-learning through Markov decision theory[D]. University of Twente, 2021.</ref>
Bellman 最优算子 B 定义为：
Bellman 最优算子 B 定义为：
<math> (BQ)(s,a) = \mathbb{E} \left[ r(s,a) + \gamma \max_{a'} Q(s', a') \right] </math>
<math> (BQ)(s,a) = \mathbb{E} \left[ r(s,a) + \gamma \max_{a'} Q(s', a') \right] </math>
（2）Banach 不动点定理保证唯一固定点
（2）Banach 不动点定理保证唯一固定点
因为B是压缩映射，存在唯一的固定点Q∗满足：
因为B是压缩映射，存在唯一的固定点Q∗满足：
<math> Q^* = B Q^* </math>
<math> Q^* = B Q^* </math>
这就是最优状态-动作值函数。
这就是最优状态-动作值函数。
（3）随机逼近框架中的收敛条件
（3）随机逼近框架中的收敛条件<ref>Even-Dar E, Mansour Y. Convergence of optimistic and incremental Q-learning[J]. Advances in neural information processing systems, 2001, 14.</ref>
Q-Learning 通过随机采样和迭代逼近Q∗，在学习率满足以下条件时收敛：
Q-Learning 通过随机采样和迭代逼近Q∗，在学习率满足以下条件时收敛：
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>