281
个编辑
更改
无编辑摘要
Q-Learning 的核心在于通过以下公式更新 Q 值：
Q-Learning 的核心在于通过以下公式更新 Q 值：
[[文件:Q值更新公式.png|缩略图]]
[[文件:Q值更新公式.png|缩略图]]
====策略与价值函数====
====策略与价值函数====
* '''策略 π(a∣s)'''：在状态 s 下选择动作 a 的概率分布。
*'''策略 π(a∣s)'''：在状态 s 下选择动作 a 的概率分布。
* '''状态值函数 Vπ(s)'''：在策略 π 下，从状态 s 开始，期望获得的累计奖励。
*'''状态值函数 Vπ(s)'''：在策略 π 下，从状态 s 开始，期望获得的累计奖励。
* '''动作值函数 Qπ(s,a)'''：在策略 π 下，从状态 s 开始，采取动作 a 后，期望获得的累计奖励。
*'''动作值函数 Qπ(s,a)'''：在策略 π 下，从状态 s 开始，采取动作 a 后，期望获得的累计奖励。
这些函数用于评估策略的优劣，指导策略的改进。
这些函数用于评估策略的优劣，指导策略的改进。
===Q 值函数的定义与更新公式 ===
===Q 值函数的定义与更新公式===
====定义====
====定义====
Q 值函数 Q(s, a) 表示智能体在状态 s 下采取动作 a 后，遵循某一策略所能获得的期望累积奖励。
Q 值函数 Q(s, a) 表示智能体在状态 s 下采取动作 a 后，遵循某一策略所能获得的期望累积奖励。
Q-learning 通常面临“探索（exploration）”与“利用（exploitation）”之间的权衡问题。为了解决这一问题，通常采用 ε-greedy 策略。ε-greedy 策略是一种简单而有效的动作选择策略，旨在平衡探索与利用。
Q-learning 通常面临“探索（exploration）”与“利用（exploitation）”之间的权衡问题。为了解决这一问题，通常采用 ε-greedy 策略。ε-greedy 策略是一种简单而有效的动作选择策略，旨在平衡探索与利用。
* '''利用（Exploitation）'''：以 1−ϵ 的概率选择当前状态下 Q 值最大的动作，即选择已知的最佳动作。
*'''利用（Exploitation）'''：以 1−ϵ 的概率选择当前状态下 Q 值最大的动作，即选择已知的最佳动作。
* '''探索（Exploration）'''：以 ϵ 的概率随机选择一个动作，从而探索新的可能性。
*'''探索（Exploration）'''：以 ϵ 的概率随机选择一个动作，从而探索新的可能性。
其中，ϵ 是一个介于 0 和 1 之间的参数，控制探索的频率。较大的 ϵ 值鼓励更多的探索，而较小的 ϵ 值则倾向于更多的利用。
其中，ϵ 是一个介于 0 和 1 之间的参数，控制探索的频率。较大的 ϵ 值鼓励更多的探索，而较小的 ϵ 值则倾向于更多的利用。
在实际应用中，通常会随着训练的进行逐步减小 ϵ 值，从而实现以下目标：
在实际应用中，通常会随着训练的进行逐步减小 ϵ 值，从而实现以下目标：
* '''初期阶段'''：设置较大的 ϵ 值，鼓励智能体进行充分的探索。
*'''初期阶段'''：设置较大的 ϵ 值，鼓励智能体进行充分的探索。
* '''后期阶段'''：逐步减小 ϵ 值，增加利用已知最佳策略的频率。
*'''后期阶段'''：逐步减小 ϵ 值，增加利用已知最佳策略的频率。
这种策略有助于智能体在学习初期获取足够的经验，在后期则能够稳定地执行最优策略。
这种策略有助于智能体在学习初期获取足够的经验，在后期则能够稳定地执行最优策略。
===Q-Learning 的收敛性===
===Q-Learning 的收敛性===
<math>\hat{z}_t = f_\theta(z_{t-1}, a_{t-1})</math>
===Q-Learning 的局限性===
===Q-Learning 的局限性===
==DQN 的核心思想与结构==
==DQN 的核心思想与结构==
=== 使用神经网络逼近 Q 值函数===
===使用神经网络逼近 Q 值函数===
===经验回放（Experience Replay）机制===
===经验回放（Experience Replay）机制===