281
个编辑
更改
跳到导航
跳到搜索
第42行：
第42行： − + − 第145行：
第144行： − + 第177行：
第176行： − [[文件:Q值更新公式.png|缩略图]] − 其中：+ − − 𝑠𝑡：当前状态 − − 𝑎𝑡：当前动作 − − 𝑟𝑡：执行动作后获得的奖励 − − 𝑠𝑡+1：执行动作后的新状态 − 𝛼：学习率（0 < 𝛼 ≤ 1）+ − + − 𝛾：折扣因子（0 ≤ 𝛾 < 1） 第212行：
第201行： − − <math>\hat{z}_t = f_\theta(z_{t-1}, a_{t-1})</math> 第267行：
第254行： − +
无编辑摘要
Q-Learning 的核心在于通过以下公式更新 Q 值：
Q-Learning 的核心在于通过以下公式更新 Q 值：
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
[[文件:Q值更新公式.png|缩略图]]
𝑠𝑡：当前状态
𝑠𝑡：当前状态
==Q-Learning 基础==
==Q-Learning 基础==
===马尔可夫决策过程（MDP）简介===
=== 马尔可夫决策过程（MDP）简介===
马尔可夫决策过程（Markov Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。
马尔可夫决策过程（Markov Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。
====更新公式====
====更新公式====
Q-Learning 算法使用以下更新公式来迭代 Q 值：
Q-Learning 算法使用以下更新公式来迭代 Q 值：
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
其中，符号含义如下：
<ul> <li><math>s_t</math>：当前状态</li> <li><math>a_t</math>：当前动作</li> <li><math>r_t</math>：即时奖励</li> <li><math>s_{t+1}</math>：执行动作后的新状态</li> <li><math>\alpha \in (0,1]</math>：学习率</li> <li><math>\gamma \in [0,1)</math>：折扣因子</li> </ul>
此公式基于贝尔曼方程的时序差分（TD）更新思想，逐步调整 <math>Q</math> 值函数以逼近最优策略。
===ε-greedy 策略与探索-利用权衡===
===ε-greedy 策略与探索-利用权衡===
===Q-Learning 的收敛性===
===Q-Learning 的收敛性===
===训练过程中的样本效率问题===
===训练过程中的样本效率问题===
=== 策略收敛速度慢与稳定性问题===
===策略收敛速度慢与稳定性问题===
===泛化能力与过拟合风险===
===泛化能力与过拟合风险===