281
个编辑
更改
跳到导航
跳到搜索
第21行：
第21行： + − 环境设定+ 第36行：
第37行： − Q-Learning 学习过程+ + − Q 值更新公式+ + 第55行：
第58行： − 策略选择：ε-贪婪策略+ + 第63行：
第67行： − 学习过程+ + − #'''初始化'''：将所有状态-动作对的 Q 值初始化为 0。+ − #'''选择动作'''：根据 ε-贪婪策略选择一个动作。+ − #'''执行动作'''：老鼠移动到新的位置，获得相应的奖励。+ − #'''更新 Q 值'''：根据 Q 值更新公式，更新当前状态下该动作的 Q 值。+ − #'''重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。+ + + + +
无编辑摘要
===Q-Learning 简介===
===Q-Learning 简介===
Q-Learning 是强化学习中一种经典且广泛应用的无模型（model-free）算法，属于基于值（value-based）的方法。其核心目标是通过学习一个动作价值函数（Q函数），指导智能体在不同状态下选择最优动作，以最大化长期累积奖励。
Q-Learning 是强化学习中一种经典且广泛应用的无模型（model-free）算法，属于基于值（value-based）的方法。其核心目标是通过学习一个动作价值函数（Q函数），指导智能体在不同状态下选择最优动作，以最大化长期累积奖励。
举例老鼠在迷宫中寻找奶酪来理解Q-Learning ：
举例老鼠在迷宫中寻找奶酪来理解Q-Learning ：
（1）环境设定
*'''智能体（Agent）'''：一只老鼠，起始位置固定。
*'''智能体（Agent）'''：一只老鼠，起始位置固定。
**其他移动：0
**其他移动：0
（2）Q-Learning 学习过程
老鼠通过不断尝试不同的路径，学习如何从起点移动到奶酪所在的位置，同时避免毒药。每次移动后，老鼠根据获得的奖励更新其对当前状态下各个动作的价值估计（即 Q 值）。随着学习的进行，老鼠逐渐形成一套策略，使其能够更快、更安全地找到奶酪。
老鼠通过不断尝试不同的路径，学习如何从起点移动到奶酪所在的位置，同时避免毒药。每次移动后，老鼠根据获得的奖励更新其对当前状态下各个动作的价值估计（即 Q 值）。随着学习的进行，老鼠逐渐形成一套策略，使其能够更快、更安全地找到奶酪。
（3）Q 值更新公式
Q-Learning 的核心在于通过以下公式更新 Q 值：
Q-Learning 的核心在于通过以下公式更新 Q 值：
[[文件:Q值更新公式.png|缩略图]]
[[文件:Q值更新公式.png|缩略图]]
𝛾：折扣因子（0 ≤ 𝛾 < 1）
𝛾：折扣因子（0 ≤ 𝛾 < 1）
（4）策略选择：ε-贪婪策略
为了在探索新路径和利用已知最佳路径之间取得平衡，采用 ε-贪婪策略：
为了在探索新路径和利用已知最佳路径之间取得平衡，采用 ε-贪婪策略：
随着训练的进行，逐渐减小 ε 的值，以减少探索，增加利用。
随着训练的进行，逐渐减小 ε 的值，以减少探索，增加利用。
（5）学习过程
以下是老鼠在迷宫中学习的简要过程：
以下是老鼠在迷宫中学习的简要过程：
a'''初始化'''：将所有状态-动作对的 Q 值初始化为 0。
'''b选择动作'''：根据 ε-贪婪策略选择一个动作。
'''c执行动作'''：老鼠移动到新的位置，获得相应的奖励。
'''d更新 Q 值'''：根据 Q 值更新公式，更新当前状态下该动作的 Q 值。
'''e重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。