281
个编辑
更改
跳到导航
跳到搜索
第192行：
第192行： − 因为B是压缩映射，存在唯一的固定点Q∗满足：+ 第206行：
第206行： − 学习率衰减：学习率αt随时间衰减，但不宜过快。折扣因子限制：γ∈[0,1)，保证未来奖励的影响递减。+ − +
无编辑摘要
（2）Banach 不动点定理保证唯一固定点
（2）Banach 不动点定理保证唯一固定点
因为B是压缩映射，存在唯一的固定点<math> Q^* </math>满足：
<math> Q^* = B Q^* </math>
<math> Q^* = B Q^* </math>
这就是最优状态-动作值函数。
这就是最优状态-动作值函数。
充分探索：智能体必须保证所有对无限次访问，通常通过 ε-greedy 等策略实现。
充分探索：智能体必须保证所有对无限次访问，通常通过 ε-greedy 等策略实现。
学习率衰减：学习率<math> α_t </math>随时间衰减，但不宜过快。折扣因子限制：γ∈[0,1)，保证未来奖励的影响递减。
在满足适当的学习率调节、充分探索、以及折扣因子约束的情况下，Q-Learning 算法能够以概率 1 收敛到最优值函数Q∗，其数学表达为：
在满足适当的学习率调节、充分探索、以及折扣因子约束的情况下，Q-Learning 算法能够以概率 1 收敛到最优值函数<math> Q^* </math>，其数学表达为：
<math> \lim_{t \to \infty} Q_t(s,a) = Q^*(s,a) </math>
<math> \lim_{t \to \infty} Q_t(s,a) = Q^*(s,a) </math>
这为强化学习算法的理论可靠性提供了坚实基础。
这为强化学习算法的理论可靠性提供了坚实基础。