761
个编辑
更改
跳到导航
跳到搜索
第197行：
第197行： + + + + + + + + + + + + + + + + + + + + + + + +
→基于潜在空间的Rollout与策略优化（这部分内容可以融合到3.4策略学习）
=== 策略网络与值函数 ===
=== 策略网络与值函数 ===
====基于潜在空间的Rollout与策略优化[[（这部分内容可以融合到3.4策略学习）]]====
当表征学习阶段完成后，DreamerV1就能够在潜在空间中进行“想象”，并基于这种想象进行策略学习。这个阶段的核心任务是通过'''Rollout（想象轨迹）来优化策略，具体来说，就是通过价值估计'''来优化策略，使得智能体可以在潜在空间中学到解决长期任务的策略。
具体来说，在Rollout阶段，DreamerV1会生成'''想象轨迹'''，每当从环境中收集到一段真实轨迹并得到当前潜在状态<math>s_t </math>后，DreamerV1 便以该潜在状态为起点，在潜在动力学模型中模拟生成一条长度为<math>H </math>的想象轨迹。对于想象过程中的每个时间步<math>\tau </math>：先由策略网络<math>q_\phi(a_\tau\mid s_\tau) </math> 采样动作 <math>a_\tau </math>，再用转移模型 <math>q_\theta(s_{\tau+1}\mid s_\tau,a_\tau) </math> 生成下一个潜在状态，并通过奖励模型 <math>q_\theta(r_\tau\mid s_\tau) </math> 预测相应的奖励 。这样就构造了一个在潜在状态空间中'''完全可观测的马尔可夫决策过程（MDP）''' 。这些生成的轨迹是在潜在空间中进行的，并不需要实际执行在真实环境中。换句话说，DreamerV1在潜在状态空间中“提前演练”其行为。
DreamerV1采用了'''actor-critic方法'''来优化策略。其中，策略网络通过采样动作来引导智能体的行为，而价值网络则评估每个状态的“好坏”，并将反馈的价值信息回传给策略网络，从而改进策略。
'''策略网络（Action Model）'''：
该网络通过给定潜在状态<math>s_t </math>来输出一个动作的分布（通常是高斯分布），从中采样动作：
<math>a_t \sim \mathcal{N}(\mu_\phi(s_t), \sigma_\phi(s_t)) </math>
'''价值网络（Value Model）'''：
该网络根据潜在状态预测一个期望的累计奖励，即价值估计。优化的目标是通过反馈给策略网络，最大化这些估计的价值：
<math>V_\lambda(s_t) = \sum_{t=1}^{H} \gamma^{t} r_t </math>
式中，<math>\gamma </math>是折扣因子，<math>r_t </math>是每个时刻的奖励。
通过反向传播，DreamerV1会利用梯度信息来更新策略网络和价值网络，从而确保在想象空间中的策略能够最大化预期的累积奖励。
*'''从在线规划到潜在空间策略学习'''：在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。
*'''从在线规划到潜在空间策略学习'''：在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。
<br>
<br>