281
个编辑
更改
→深度学习与强化学习的融合背景
===Q-Learning 简介===
===Q-Learning 简介===
Q-Learning 是强化学习中一种经典且广泛应用的无模型（model-free）算法，属于基于值（value-based）的方法。其核心目标是通过学习一个动作价值函数（Q函数），指导智能体在不同状态下选择最优动作，以最大化长期累积奖励。
Q-Learning 是强化学习中一种经典且广泛应用的无模型（model-free）算法，属于基于值（value-based）的方法。其核心目标是通过学习一个动作价值函数（Q函数），指导智能体在不同状态下选择最优动作，以最大化长期累积奖励。
举例老鼠在迷宫中寻找奶酪来理解Q-Learning ：
举例老鼠在迷宫中寻找奶酪来理解Q-Learning ：
以下是老鼠在迷宫中学习的简要过程：
以下是老鼠在迷宫中学习的简要过程：
'''a.初始化'''：将所有状态-动作对的 Q 值初始化为 0。
'''b选择动作'''：根据 ε-贪婪策略选择一个动作。
'''b.选择动作'''：根据 ε-贪婪策略选择一个动作。
'''c执行动作'''：老鼠移动到新的位置，获得相应的奖励。
'''c.执行动作'''：老鼠移动到新的位置，获得相应的奖励。
'''d更新 Q 值'''：根据 Q 值更新公式，更新当前状态下该动作的 Q 值。
'''d.更新 Q 值'''：根据 Q 值更新公式，更新当前状态下该动作的 Q 值。
'''e重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
'''e.重复'''：将新位置作为当前状态，重复步骤 2 至 4，直到达到终止条件（如找到奶酪或达到最大步数）。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。
通过多次迭代，老鼠能够学习到从起点到奶酪的最优路径，同时避免毒药。
===深度学习与强化学习的融合背景===
===深度学习与强化学习的融合背景===
深度学习与强化学习的融合起源于两者互补的优势：强化学习擅长决策与策略优化，而深度学习擅长处理高维感知数据（如图像、语音、文本等）。传统强化学习方法在面对大规模状态空间（例如图像输入）时，因无法使用查表的方式存储 Q 值而表现不佳。为了解决这一瓶颈，研究者引入深度神经网络作为函数逼近器，用以估计状态-动作值函数（Q 值）或策略函数，从而大幅提升了强化学习在复杂环境中的泛化能力和实用性。
这一融合的代表性成果是 2015 年 DeepMind 提出的深度 Q 网络（DQN），首次在无需人工特征设计的情况下，仅凭像素输入便在多款 Atari 游戏中实现了超越人类水平的表现。
===DQN 的提出及其在 Atari 游戏中的突破性成果===
===DQN 的提出及其在 Atari 游戏中的突破性成果===
===马尔可夫决策过程（MDP）简介===
===马尔可夫决策过程（MDP）简介===
===Q 值函数的定义与更新公式===
马尔可夫决策过程（Markov Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。
====MDP 的核心思想====
在 MDP 中，智能体与环境的交互过程如下：
(1)智能体观察当前状态 st。
(2)根据策略 π，选择一个动作 at。
(3)环境根据状态转移概率 P，转移到下一个状态 st+1，并给予智能体奖励 rt。
(4)智能体根据获得的奖励和新的状态，更新策略 π，以期获得更高的累计奖励。
这一过程持续进行，智能体通过不断与环境交互，学习最优策略。
====策略与价值函数====
* '''策略 π(a∣s)'''：在状态 s 下选择动作 a 的概率分布。
* '''状态值函数 Vπ(s)'''：在策略 π 下，从状态 s 开始，期望获得的累计奖励。
* '''动作值函数 Qπ(s,a)'''：在策略 π 下，从状态 s 开始，采取动作 a 后，期望获得的累计奖励。
这些函数用于评估策略的优劣，指导策略的改进。
===Q 值函数的定义与更新公式 ===
===ε-greedy 策略与探索-利用权衡===
===ε-greedy 策略与探索-利用权衡===
===机器人控制与路径规划===
===机器人控制与路径规划===
=== 推荐系统中的策略优化===
===推荐系统中的策略优化===