281
个编辑
更改
跳到导航
跳到搜索
第25行：
第25行： − ===<small>环境设定</small>===+ 第36行：
第36行： − === <small>Q-Learning 学习过程</small> ===+ − === <small>Q 值更新公式</small> ===+ 第55行：
第55行： − === <small>策略选择：ε-贪婪策略</small> ===+ − + − + − === <small>学习过程</small> ===+ − + − + − + − + − + 第157行：
第157行： − +
无编辑摘要
举例老鼠在迷宫中寻找奶酪来理解Q-Learning ：
举例老鼠在迷宫中寻找奶酪来理解Q-Learning ：
环境设定
*'''智能体（Agent）'''：一只老鼠，起始位置固定。
*'''智能体（Agent）'''：一只老鼠，起始位置固定。
**其他移动：0
**其他移动：0
Q-Learning 学习过程
老鼠通过不断尝试不同的路径，学习如何从起点移动到奶酪所在的位置，同时避免毒药。每次移动后，老鼠根据获得的奖励更新其对当前状态下各个动作的价值估计（即 Q 值）。随着学习的进行，老鼠逐渐形成一套策略，使其能够更快、更安全地找到奶酪。
老鼠通过不断尝试不同的路径，学习如何从起点移动到奶酪所在的位置，同时避免毒药。每次移动后，老鼠根据获得的奖励更新其对当前状态下各个动作的价值估计（即 Q 值）。随着学习的进行，老鼠逐渐形成一套策略，使其能够更快、更安全地找到奶酪。
Q 值更新公式
Q-Learning 的核心在于通过以下公式更新 Q 值：
Q-Learning 的核心在于通过以下公式更新 Q 值：
[[文件:Q值更新公式.png|缩略图]]
[[文件:Q值更新公式.png|缩略图]]
𝛾：折扣因子（0 ≤ 𝛾 < 1）
𝛾：折扣因子（0 ≤ 𝛾 < 1）
策略选择：ε-贪婪策略
为了在探索新路径和利用已知最佳路径之间取得平衡，采用 ε-贪婪策略：
为了在探索新路径和利用已知最佳路径之间取得平衡，采用 ε-贪婪策略：
* 以概率 ε 随机选择一个动作（探索）
*以概率 ε 随机选择一个动作（探索）
* 以概率 1 - ε 选择当前 Q 值最大的动作（利用）
*以概率 1 - ε 选择当前 Q 值最大的动作（利用）
随着训练的进行，逐渐减小 ε 的值，以减少探索，增加利用。
随着训练的进行，逐渐减小 ε 的值，以减少探索，增加利用。
学习过程
以下是老鼠在迷宫中学习的简要过程：
以下是老鼠在迷宫中学习的简要过程：
# '''初始化'''：将所有状态-动作对的 Q 值初始化为 0。
#'''初始化'''：将所有状态-动作对的 Q 值初始化为 0。
# '''选择动作'''：根据 ε-贪婪策略选择一个动作。
#'''选择动作'''：根据 ε-贪婪策略选择一个动作。
# '''执行动作'''：老鼠移动到新的位置，获得相应的奖励。
#'''执行动作'''：老鼠移动到新的位置，获得相应的奖励。
# '''更新 Q 值'''：根据 Q 值更新公式，更新当前状态下该动作的 Q 值。
#'''更新 Q 值'''：根据 Q 值更新公式，更新当前状态下该动作的 Q 值。
# '''重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
#'''重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。
===机器人控制与路径规划===
===机器人控制与路径规划===
===推荐系统中的策略优化===
=== 推荐系统中的策略优化===