更改

[[File:解释图片.png|400px]]<br>Dreamer 算法的三阶段流程。左图 (a)：学习环境的潜在动力学模型；中图 (b)：在潜在空间中基于想象轨迹训练策略网络（Actor）与价值函数（Critic）；右图 (c)：在真实环境中执行已学习的策略。Dreamer 模型的规划与决策机制依赖于对环境潜在动力学的建模，并在潜在空间中生成“想象”轨迹，用以评估和优化智能体的行为策略。该机制可从两个核心过程展开：其一，在潜在空间中生成未来状态的想象轨迹；其二，基于这些轨迹进行动作序列的评估与选择，方法包括模型预测控制（MPC）与策略梯度优化。

[[File:解释图片.png|400px]]<br>Dreamer 算法的三阶段流程。左图 (a)：学习环境的潜在动力学模型；中图 (b)：在潜在空间中基于想象轨迹训练策略网络（Actor）与价值函数（Critic）；右图 (c)：在真实环境中执行已学习的策略。Dreamer 模型的规划与决策机制依赖于对环境潜在动力学的建模，并在潜在空间中生成“想象”轨迹，用以评估和优化智能体的行为策略。该机制可从两个核心过程展开：其一，在潜在空间中生成未来状态的想象轨迹；其二，基于这些轨迹进行动作序列的评估与选择，方法包括模型预测控制（MPC）与策略梯度优化。

====潜在空间中的imagined trajectory====

====潜在空间中的imagined trajectory====

PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为 低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省 roll-out：：<br>'''前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<br><math>\tau = \bigl{(s_0,a_0,\hat r_0,\hat d_0),,\dots,,(s_H,\varnothing,\hat r_H,\hat d_H)\bigr}</math>。<br>'''价值评估（return estimation）'''：累计回报：<math>\hat R(\tau)=\sum_{t=0}^{H}\gamma^{t},\hat r_t</math>，<math>\lambda</math>-return（可选）：若引入价值函数 <math>\hat V_\psi(s_t)</math>，可计算<math>\hat R^\lambda_0=\sum_{t=0}^{H-1}(\gamma\lambda)^{t},\bigl(\hat r_t+\gamma(1-\lambda),\hat V_\psi(s_{t+1})\bigr)+(\gamma\lambda)^{H},\hat V_\psi(s_H)</math>以兼顾方差与偏差，提升长期估计质量。<br>'''并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。<br>利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。

由于想象是在压缩后的潜在空间中进行，轨迹的生成计算量远低于在高维观测空间中的模拟，因此模型可在 GPU 上高效并行生成成千上万条候选轨迹。代理随后在这些轨迹上评估长期回报：通过计算轨迹的累计奖励总和，或利用价值函数对未来回报进行估计，每一条想象轨迹都可被赋予一个预期回报值。这些预估值可作为策略优化的依据，从而在无需实际交互的前提下，持续提升策略表现。

====使用MPC或policy gradient进行action selection====

====使用MPC或policy gradient进行action selection====

在获得想象轨迹后，智能体需要根据这些虚拟演练的结果选择实际执行的动作。一般而言，可采取两种途径在想象轨迹上进行决策：其一是采用模型预测控制（MPC）进行在线规划；其二是采用策略梯度方法训练出一个策略网络直接输出动作。

在获得想象轨迹后，智能体需要根据这些虚拟演练的结果选择实际执行的动作。一般而言，可采取两种途径在想象轨迹上进行决策：其一是采用模型预测控制（MPC）进行在线规划；其二是采用策略梯度方法训练出一个策略网络直接输出动作。