281
个编辑
更改
无编辑摘要
===Q-Learning 的收敛性===
===Q-Learning 的收敛性===
Q-Learning 收敛性的证明主要基于以下几点：
（1）Bellman 最优算子是压缩映射
Bellman 最优算子 B 定义为：
<math> (BQ)(s,a) = \mathbb{E} \left[ r(s,a) + \gamma \max_{a'} Q(s', a') \right] </math>
它满足：
<math> \| BQ_1 - BQ_2 \|_\infty \leq \gamma \| Q_1 - Q_2 \|_\infty </math>
即B是以折扣因子γ为压缩率的压缩映射。
（2）Banach 不动点定理保证唯一固定点
因为B是压缩映射，存在唯一的固定点Q∗满足：
<math> Q^* = B Q^* </math>
这就是最优状态-动作值函数。
（3）随机逼近框架中的收敛条件
Q-Learning 通过随机采样和迭代逼近Q∗，在学习率满足以下条件时收敛：
<math> \sum_{t=0}^\infty \alpha_t(s,a) = \infty, \quad \sum_{t=0}^\infty \alpha_t(s,a)^2 < \infty </math>
同时，算法需保证每个状态-动作对 (s,a) 被无限次访问。
收敛的关键条件
充分探索：智能体必须保证所有对无限次访问，通常通过 ε-greedy 等策略实现。
学习率衰减：学习率αt随时间衰减，但不宜过快。
折扣因子限制：γ∈[0,1)，保证未来奖励的影响递减。
在满足适当的学习率调节、充分探索、以及折扣因子约束的情况下，Q-Learning 算法能够以概率 1 收敛到最优值函数Q∗，其数学表达为：
<math> \lim_{t \to \infty} Q_t(s,a) = Q^*(s,a) </math>
这为强化学习算法的理论可靠性提供了坚实基础。
===Q-Learning 的局限性===
===Q-Learning 的局限性===