281
个编辑
更改
跳到导航
跳到搜索
第30行：
第30行： − + − **吃到奶酪：+10 − **误入毒药：-10 − **其他移动：0 第44行：
第41行： − + − <ul> <li><math>s_t</math>：当前状态</li> <li><math>a_t</math>：当前动作</li> <li><math>r_t</math>：即时奖励</li> <li><math>s_{t+1}</math>：执行动作后的新状态</li> <li><math>\alpha \in (0,1]</math>：学习率</li> <li><math>\gamma \in [0,1)</math>：折扣因子</li> </ul> 第70行：
第66行： − 通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。+ − − 该示例展示了 Q-Learning 如何通过与环境的交互，学习最优策略以最大化累积奖励。通过不断更新 Q 值，智能体能够在复杂的环境中找到最优路径。 第170行：
第164行： − + − <ul> <li><math>s_t</math>：当前状态</li> <li><math>a_t</math>：当前动作</li> <li><math>r_t</math>：即时奖励</li> <li><math>s_{t+1}</math>：执行动作后的新状态</li> <li><math>\alpha \in (0,1]</math>：学习率</li> <li><math>\gamma \in [0,1)</math>：折扣因子</li> </ul>
无编辑摘要
*'''障碍（Obstacle）'''：迷宫中某些位置有毒药，老鼠需要避免这些位置。
*'''障碍（Obstacle）'''：迷宫中某些位置有毒药，老鼠需要避免这些位置。
*'''动作（Actions）'''：老鼠可以选择向上、下、左、右移动。
*'''动作（Actions）'''：老鼠可以选择向上、下、左、右移动。
*'''奖励（Rewards）'''：
*'''奖励（Rewards）'''：吃到奶酪：+10；误入毒药：-10；其他移动：0
（2）Q-Learning 学习过程
（2）Q-Learning 学习过程
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
其中：
其中：<math>s_t</math>：当前状态；<math>a_t</math>：当前动作；<math>r_t</math>：即时奖励；<math>s_{t+1}</math>：执行动作后的新状态；<math>\alpha \in (0,1]</math>：学习率；<math>\gamma \in [0,1)</math>：折扣因子
（4）策略选择：ε-贪婪策略
（4）策略选择：ε-贪婪策略
'''e.重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
'''e.重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。该示例展示了 Q-Learning 如何通过与环境的交互，学习最优策略以最大化累积奖励。通过不断更新 Q 值，智能体能够在复杂的环境中找到最优路径。
===深度学习与强化学习的融合背景===
===深度学习与强化学习的融合背景===
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>
其中，符号含义如下：
其中，符号含义如下：<math>s_t</math>：当前状态<math>a_t</math>：当前动作<math>r_t</math>：即时奖励<math>s_{t+1}</math>：执行动作后的新状态<math>\alpha \in (0,1]</math>：学习率<math>\gamma \in [0,1)</math>：折扣因子
此公式基于贝尔曼方程的时序差分（TD）更新思想，逐步调整 <math>Q</math> 值函数以逼近最优策略。
此公式基于贝尔曼方程的时序差分（TD）更新思想，逐步调整 <math>Q</math> 值函数以逼近最优策略。