761
个编辑
更改
→Dreamer框架原理
==='''3.3 规划与决策机制'''===
==='''3.3 规划与决策机制'''===
[[File:解释图片.png|400px]]<br>Dreamer 算法的三阶段流程。左图 (a)：学习环境的潜在动力学模型；中图 (b)：在潜在空间中基于想象轨迹训练策略网络（Actor）与价值函数（Critic）；右图 (c)：在真实环境中执行已学习的策略。Dreamer 模型的规划与决策机制依赖于对环境潜在动力学的建模，并在潜在空间中生成“想象”轨迹，用以评估和优化智能体的行为策略。该机制可从两个核心过程展开：其一，在潜在空间中生成未来状态的想象轨迹；其二，基于这些轨迹进行动作序列的评估与选择，方法包括模型预测控制（MPC）与策略梯度优化。
====潜在空间中的imagined trajectory====
====潜在空间中的imagined trajectory====
在 Dreamer 中，环境的动态特性由潜在空间中的世界模型进行建模与学习，典型如包含随机与确定性成分的循环状态空间模型（RSSM）。给定当前观测所对应的潜在状态，代理使用该模型沿时间轴向前展开，模拟出一系列未来的潜在状态与对应的奖励。这一模拟过程产生的状态–奖励序列即被称为想象轨迹（imagined trajectory），用于描述在当前策略下，不同动作序列可能导致的未来演化路径。
由于想象是在压缩后的潜在空间中进行，轨迹的生成计算量远低于在高维观测空间中的模拟，因此模型可在 GPU 上高效并行生成成千上万条候选轨迹。代理随后在这些轨迹上评估长期回报：通过计算轨迹的累计奖励总和，或利用价值函数对未来回报进行估计，每一条想象轨迹都可被赋予一个预期回报值。这些预估值可作为策略优化的依据，从而在无需实际交互的前提下，持续提升策略表现。
====使用MPC或policy gradient进行action selection====
====使用MPC或policy gradient进行action selection====
在获得想象轨迹后，智能体需要根据这些虚拟演练的结果选择实际执行的动作。一般而言，可采取两种途径在想象轨迹上进行决策：其一是采用模型预测控制（MPC）进行在线规划；其二是采用策略梯度方法训练出一个策略网络直接输出动作。
*'''模型预测控制（MPC）'''：模型预测控制（Model Predictive Control, MPC）将决策问题转化为基于模型的序列优化过程：在每一个决策时刻，智能体从当前的潜在状态出发，搜索一系列未来动作，旨在最大化预期的累计回报。通常设定有限的规划视野<math>H</math>，通过对候选动作序列进行随机采样与优化（如采用交叉熵法，Cross-Entropy Method, CEM）以评估其预期奖励，并选择回报最高的动作序列，执行其中的首个动作。<br>PlaNet 算法正是基于此策略，利用 MPC 在潜在空间中实现高效的在线规划。该方法在每一步都结合最新观测信息重新生成规划序列，从而实现动态更新与快速响应。此类基于模型的控制方式充分发挥了世界模型对未来状态与回报的预测能力，即使在策略尚未成熟时，也能辅助代理做出较优的行动决策。然而，MPC 的一个主要限制在于其较高的计算成本——由于每个环境步长均需重新求解优化问题，因此在高频交互任务中可能成为性能瓶颈。
*'''策略梯度策略优化'''：策略梯度方法通过学习参数化策略函数，规避了逐步规划所带来的计算开销。Dreamer 架构采用演员-评论家（actor-critic）方法，在潜在空间中分别训练一个策略网络（actor）作为“动作模型”，以及一个价值网络（critic）用于评估潜在状态的长期价值。在由世界模型生成的想象轨迹上，价值网络为每个潜在状态估计期望的累计回报，而策略网络则基于当前潜在状态生成相应的动作。Dreamer 利用这些估计值沿着想象轨迹反向传播梯度，更新策略参数，使其倾向于生成在模型中预期回报更高的动作序列。本质上，这一过程可被视为在潜在空间中进行基于梯度的“规划”，借助模型的可微结构直接优化策略，从而摆脱了如 PlaNet 中每一步均需从头优化动作序列的负担，实现了规划与执行的有效解耦。通过反复的想象训练，Dreamer 得以获得一个在执行时即可输出近似最优动作的策略模型，从而显著提升了决策的效率与响应速度。
----
----