281
个编辑
更改
无编辑摘要
（3）随机逼近框架中的收敛条件<ref>Even-Dar E, Mansour Y. Convergence of optimistic and incremental Q-learning[J]. Advances in neural information processing systems, 2001, 14.</ref>
（3）随机逼近框架中的收敛条件<ref>Even-Dar E, Mansour Y. Convergence of optimistic and incremental Q-learning[J]. Advances in neural information processing systems, 2001, 14.</ref>
Q-Learning 通过随机采样和迭代逼近Q∗，在学习率满足以下条件时收敛：
Q-Learning 通过随机采样和迭代逼近<math> Q^* </math>，在学习率满足以下条件时收敛：
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>
同时，算法需保证每个状态-动作对 (s,a) 被无限次访问。
同时，算法需保证每个状态-动作对 (s,a) 被无限次访问。