761
个编辑
更改
跳到导航
跳到搜索
第176行：
第176行： − [[File:解释图片.png|400px]]<br>Dreamer 算法的三阶段流程。左图 (a)：学习环境的潜在动力学模型；中图 (b)：在潜在空间中基于想象轨迹训练策略网络（Actor）与价值函数（Critic）；右图 (c)：在真实环境中执行已学习的策略。Dreamer 模型的规划与决策机制依赖于对环境潜在动力学的建模，并在潜在空间中生成“想象”轨迹，用以评估和优化智能体的行为策略。该机制可从两个核心过程展开：其一，在潜在空间中生成未来状态的想象轨迹；其二，基于这些轨迹进行动作序列的评估与选择，方法包括模型预测控制（MPC）与策略梯度优化。
→规划与决策机制（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）
===规划与决策机制<u><big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）]]</big></u>===
===规划与决策机制<u><big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）]]</big></u>===
====潜在空间中的imagined trajectory====
====潜在空间中的imagined trajectory====
PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为 低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省 roll-out：<br>'''前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<math>\tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\}</math>。<br>'''价值评估（return estimation）'''：累计回报：<math>\hat R(\tau)=\sum_{t=0}^{H}\gamma^{t},\hat r_t</math>，<math>\lambda</math>-return（可选）：若引入价值函数 <math>\hat V_\psi(s_t)</math>，可计算<math>\hat R^\lambda_0=\sum_{t=0}^{H-1}(\gamma\lambda)^{t},\bigl(\hat r_t+\gamma(1-\lambda),\hat V_\psi(s_{t+1})\bigr)+(\gamma\lambda)^{H},\hat V_\psi(s_H)</math>以兼顾方差与偏差，提升长期估计质量。<br>'''并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。<br>利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。
PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为 低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省 roll-out：<br>'''前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<math>\tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\}</math>。<br>'''价值评估（return estimation）'''：累计回报：<math>\hat R(\tau)=\sum_{t=0}^{H}\gamma^{t},\hat r_t</math>，<math>\lambda</math>-return（可选）：若引入价值函数 <math>\hat V_\psi(s_t)</math>，可计算<math>\hat R^\lambda_0=\sum_{t=0}^{H-1}(\gamma\lambda)^{t},\bigl(\hat r_t+\gamma(1-\lambda),\hat V_\psi(s_{t+1})\bigr)+(\gamma\lambda)^{H},\hat V_\psi(s_H)</math>以兼顾方差与偏差，提升长期估计质量。<br>'''并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。<br>利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。