281
个编辑
更改
跳到导航
跳到搜索
第195行：
第195行： + + + + + + + + + + + +
→ε-greedy 策略与探索-利用权衡
===ε-greedy 策略与探索-利用权衡===
===ε-greedy 策略与探索-利用权衡===
Q-learning 通常面临“探索（exploration）”与“利用（exploitation）”之间的权衡问题。为了解决这一问题，通常采用 ε-greedy 策略。ε-greedy 策略是一种简单而有效的动作选择策略，旨在平衡探索与利用。
* '''利用（Exploitation）'''：以 1−ϵ 的概率选择当前状态下 Q 值最大的动作，即选择已知的最佳动作。
* '''探索（Exploration）'''：以 ϵ 的概率随机选择一个动作，从而探索新的可能性。
其中，ϵ 是一个介于 0 和 1 之间的参数，控制探索的频率。较大的 ϵ 值鼓励更多的探索，而较小的 ϵ 值则倾向于更多的利用。
在实际应用中，通常会随着训练的进行逐步减小 ϵ 值，从而实现以下目标：
* '''初期阶段'''：设置较大的 ϵ 值，鼓励智能体进行充分的探索。
* '''后期阶段'''：逐步减小 ϵ 值，增加利用已知最佳策略的频率。
这种策略有助于智能体在学习初期获取足够的经验，在后期则能够稳定地执行最优策略。
===Q-Learning 的收敛性===
===Q-Learning 的收敛性===