更改

<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>

<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>

 

<ul> <li><math>s_t</math>：当前状态</li> <li><math>a_t</math>：当前动作</li> <li><math>r_t</math>：即时奖励</li> <li><math>s_{t+1}</math>：执行动作后的新状态</li> <li><math>\alpha \in (0,1]</math>：学习率</li> <li><math>\gamma \in [0,1)</math>：折扣因子</li> </ul>

 

 

𝑠𝑡+1：执行动作后的新状态

 

𝛼：学习率（0 < 𝛼 ≤ 1）

 

𝛾：折扣因子（0 ≤ 𝛾 < 1）

（4）策略选择：ε-贪婪策略

（4）策略选择：ε-贪婪策略

==Q-Learning 基础==

==Q-Learning 基础==

=== 马尔可夫决策过程（MDP）简介===

===马尔可夫决策过程（MDP）简介===

马尔可夫决策过程（Markov Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。

马尔可夫决策过程（Markov Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。