281
个编辑
更改
跳到导航
跳到搜索
第193行：
第193行： + 第204行：
第205行： + − 收敛的关键条件+ − + − 学习率衰减：学习率αt随时间衰减，但不宜过快。+ − 折扣因子限制：γ∈[0,1)，保证未来奖励的影响递减。+ +
无编辑摘要
===Q-Learning 的收敛性===
===Q-Learning 的收敛性===
Q-Learning 收敛性的证明主要基于以下几点：
Q-Learning 收敛性的证明主要基于以下几点：
（1）Bellman 最优算子是压缩映射
（1）Bellman 最优算子是压缩映射
Bellman 最优算子 B 定义为：
Bellman 最优算子 B 定义为：
<math> Q^* = B Q^* </math>
<math> Q^* = B Q^* </math>
这就是最优状态-动作值函数。
这就是最优状态-动作值函数。
（3）随机逼近框架中的收敛条件
（3）随机逼近框架中的收敛条件
Q-Learning 通过随机采样和迭代逼近Q∗，在学习率满足以下条件时收敛：
Q-Learning 通过随机采样和迭代逼近Q∗，在学习率满足以下条件时收敛：
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>
同时，算法需保证每个状态-动作对 (s,a) 被无限次访问。
同时，算法需保证每个状态-动作对 (s,a) 被无限次访问。
充分探索：智能体必须保证所有对无限次访问，通常通过 ε-greedy 等策略实现。
收敛的关键条件：
充分探索：智能体必须保证所有对无限次访问，通常通过 ε-greedy 等策略实现。学习率衰减：学习率αt随时间衰减，但不宜过快。折扣因子限制：γ∈[0,1)，保证未来奖励的影响递减。
在满足适当的学习率调节、充分探索、以及折扣因子约束的情况下，Q-Learning 算法能够以概率 1 收敛到最优值函数Q∗，其数学表达为：
在满足适当的学习率调节、充分探索、以及折扣因子约束的情况下，Q-Learning 算法能够以概率 1 收敛到最优值函数Q∗，其数学表达为：
<math> \lim_{t \to \infty} Q_t(s,a) = Q^*(s,a) </math>
<math> \lim_{t \to \infty} Q_t(s,a) = Q^*(s,a) </math>