更改

Deep Q Network (查看源代码)

2025年6月4日 (三) 18:16的版本

删除132字节、 2025年6月4日 (三) 18:16

无编辑摘要

第30行：第30行：

*'''障碍（Obstacle）'''：迷宫中某些位置有毒药，老鼠需要避免这些位置。

*'''动作（Actions）'''：老鼠可以选择向上、下、左、右移动。

−

*'''奖励（Rewards）'''：

+

*'''奖励（Rewards）'''：吃到奶酪：+10；误入毒药：-10；其他移动：0

−

**吃到奶酪：+10

−

**误入毒药：-10

−

**其他移动：0

（2）Q-Learning 学习过程

第44行：第41行：

<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>

−

其中：

+

其中：<math>s_t</math>：当前状态；<math>a_t</math>：当前动作；<math>r_t</math>：即时奖励；<math>s_{t+1}</math>：执行动作后的新状态；<math>\alpha \in (0,1]</math>：学习率；<math>\gamma \in [0,1)</math>：折扣因子

−

~~<ul> <li>~~<math>s_t</math>~~：当前状态</li> <li>~~<math>a_t</math>~~：当前动作</li> <li>~~<math>r_t</math>~~：即时奖励</li> <li>~~<math>s_{t+1}</math>~~：执行动作后的新状态</li> <li>~~<math>\alpha \in (0,1]</math>~~：学习率</li> <li>~~<math>\gamma \in [0,1)</math>：折扣因子~~</li> </ul>~~

（4）策略选择：ε-贪婪策略

第70行：第66行：

'''e.重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。

−

~~通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。~~

+

通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。该示例展示了 Q-Learning 如何通过与环境的交互，学习最优策略以最大化累积奖励。通过不断更新 Q 值，智能体能够在复杂的环境中找到最优路径。

−

~~该示例展示了~~ Q-Learning 如何通过与环境的交互，学习最优策略以最大化累积奖励。通过不断更新 Q 值，智能体能够在复杂的环境中找到最优路径。

===深度学习与强化学习的融合背景===

第170行：第164行：

<math> Q_{t+1}(s_t, a_t) = Q_t(s_t, a_t) + \alpha_t \left[ r_t + \gamma \max_{a} Q_t(s_{t+1}, a) - Q_t(s_t, a_t) \right] </math>

−

其中，符号含义如下：

+

其中，符号含义如下：<math>s_t</math>：当前状态<math>a_t</math>：当前动作<math>r_t</math>：即时奖励<math>s_{t+1}</math>：执行动作后的新状态<math>\alpha \in (0,1]</math>：学习率<math>\gamma \in [0,1)</math>：折扣因子

−

<ul> <li><math>s_t</math>：当前状态</li> <li><math>a_t</math>：当前动作</li> <li><math>r_t</math>：即时奖励</li> <li><math>s_{t+1}</math>：执行动作后的新状态</li> <li><math>\alpha \in (0,1]</math>：学习率</li> <li><math>\gamma \in [0,1)</math>：折扣因子</li> </ul>

此公式基于贝尔曼方程的时序差分（TD）更新思想，逐步调整 <math>Q</math> 值函数以逼近最优策略。

DeepQ

281

个编辑