| 第1行： |
第1行： |
| − | '''1.背景'''
| + | ==背景 == |
| | | | |
| − | 1.1 强化学习的基本概念与挑战
| + | ===强化学习的基本概念与挑战=== |
| | | | |
| − | 1.2 Q-Learning 简介
| + | ===Q-Learning 简介=== |
| | | | |
| − | 1.3 深度学习与强化学习的融合背景
| + | ===深度学习与强化学习的融合背景=== |
| | | | |
| − | 1.4 DQN 的提出及其在 Atari 游戏中的突破性成果
| + | ===DQN 的提出及其在 Atari 游戏中的突破性成果=== |
| | | | |
| | | | |
| | | | |
| − | '''2.Q-Learning 基础'''
| + | ==Q-Learning 基础== |
| | | | |
| − | 2.1 马尔可夫决策过程（MDP）简介
| + | ===马尔可夫决策过程（MDP）简介=== |
| | | | |
| − | 2.2 Q 值函数的定义与更新公式
| + | ===Q 值函数的定义与更新公式=== |
| | | | |
| − | 2.3 ε-greedy 策略与探索-利用权衡
| + | ===ε-greedy 策略与探索-利用权衡=== |
| | | | |
| − | 2.4 Q-Learning 的收敛性
| + | === Q-Learning 的收敛性=== |
| | | | |
| − | 2.5 Q-Learning 的局限性（如状态空间维度高、Q 表存储问题）
| + | ===Q-Learning 的局限性=== |
| | | | |
| | | | |
| | | | |
| − | '''3.DQN 的核心思想与结构'''
| + | ==DQN 的核心思想与结构== |
| | | | |
| − | 3.1 使用神经网络逼近 Q 值函数
| + | === 使用神经网络逼近 Q 值函数=== |
| | | | |
| − | 3.2 经验回放（Experience Replay）机制
| + | ===经验回放（Experience Replay）机制=== |
| | | | |
| − | 3.3 目标网络（Target Network）的引入与参数更新策略
| + | === 目标网络（Target Network）的引入与参数更新策略=== |
| | | | |
| − | 3.4 DQN 的训练流程与伪代码
| + | ===DQN 的训练流程与伪代码=== |
| | | | |
| | | | |
| | | | |
| − | '''4.DQN 的关键技术细节'''
| + | ==4.DQN 的关键技术细节== |
| | | | |
| − | 4.1 输入状态的预处理与特征提取（如图像处理）
| + | ===输入状态的预处理与特征提取（如图像处理）=== |
| | | | |
| − | 4.2神经网络架构设计（如卷积神经网络）
| + | ===神经网络架构设计=== |
| | | | |
| − | 4.3 损失函数的定义与优化方法
| + | ===损失函数的定义与优化方法=== |
| | | | |
| − | 4.4 训练中的稳定性问题与解决方案
| + | ===训练中的稳定性问题与解决方案=== |
| | | | |
| | | | |
| | | | |
| − | '''5.DQN 的主要改进算法'''
| + | ==5.DQN 的主要改进算法== |
| | | | |
| − | 5.1 Double DQN：解决 Q 值过高估计问题
| + | === Double DQN：解决 Q 值过高估计问题=== |
| | | | |
| − | 5.2 Dueling DQN：分离状态价值与优势函数
| + | ===Dueling DQN：分离状态价值与优势函数=== |
| | | | |
| − | 5.3 Prioritized Experience Replay：优先经验回放机制
| + | === Prioritized Experience Replay：优先经验回放机制=== |
| | | | |
| − | 5.4 +RNN DRQN
| + | === DRQN === |
| | | | |
| | | | |
| | | | |
| − | '''6.DQN 的应用领域'''
| + | ==6.DQN 的应用领域== |
| | | | |
| − | 6.1 Atari 游戏中的应用与表现
| + | ===Atari 游戏中的应用与表现=== |
| | | | |
| − | 6.2 机器人控制与路径规划
| + | ===机器人控制与路径规划=== |
| | | | |
| − | 6.3 推荐系统中的策略优化
| + | ===推荐系统中的策略优化=== |
| | | | |
| | | | |
| | | | |
| − | '''7.DQN 的局限性与挑战'''
| + | ==DQN 的局限性与挑战== |
| | | | |
| − | 7.1 对连续动作空间的处理困难
| + | === 对连续动作空间的处理困难=== |
| | | | |
| − | 7.2 训练过程中的样本效率问题
| + | ===训练过程中的样本效率问题=== |
| | | | |
| − | 7.3 策略收敛速度慢与稳定性问题
| + | ===策略收敛速度慢与稳定性问题=== |
| | | | |
| − | 7.4 泛化能力与过拟合风险
| + | ===泛化能力与过拟合风险=== |
| | | | |
| − | '''8.参考文献与延伸阅读'''
| + | |
| | + | |
| | + | ==8.参考文献与延伸阅读== |