761
个编辑
更改
跳到导航
跳到搜索
第113行：
第113行： − +
→规划与决策机制
==规划与决策机制==
==规划与决策机制==
在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过模型预测控制（MPC）或策略梯度等方式，完成对实际动作的选择与优化。
在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过[[模型预测控制（MPC）]]或[[策略梯度]]等方式，完成对实际动作的选择与优化。
===潜在空间中的imagined trajectory===
===潜在空间中的imagined trajectory===
PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为 低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省：<br>'''·前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<math>\tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\}</math>。<br>'''·并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。<br>利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。
PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为 低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省：<br>'''·前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<math>\tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\}</math>。<br>'''·并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。<br>利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。