更改

=== 从在线规划到潜在空间策略学习 ===

=== 从在线规划到潜在空间策略学习 ===

在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。<br>

在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的[[世界模型]]，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。

=== 想象环境与模拟轨迹 ===

=== 想象环境与模拟轨迹 ===

Dreamer通过在潜在空间中进行想象（imagination）生成训练数据。整体流程如下：首先，从真实环境交互中收集初步经验，并将其存入经验回放池。随后，智能体在潜在空间中反复执行以下训练循环：<br>1. 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹'''Rollout'''的起点；<br>2. 在世界模型内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：1. 策略网络（actor）<math>q_\phi(a_\tau\mid s_\tau) </math>根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；2. RSSM的转移模型<math>q_\theta(s_{\tau+1}\mid s_\tau,a_\tau) </math>根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；3. 奖励模型<math>q_\theta(r_\tau\mid s_\tau) </math>预测当前步的奖励<math>r_t</math>；4. 终止模型判断是否达到episode结束条件。<br>通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>。这样就构造了一个在潜在状态空间中'''完全可观测的马尔可夫决策过程（MDP）''' 。这些生成的轨迹是在潜在空间中进行的，并不需要实际执行在真实环境中。换句话说，DreamerV1在潜在状态空间中“提前演练”其行为。由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。<br>

 

 

 

* 1. 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹'''Rollout'''的起点；

* 2. 在[[世界模型]]内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：

** ①策略网络（actor）<math>q_\phi(a_\tau\mid s_\tau) </math>根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；

** ②RSSM的转移模型<math>q_\theta(s_{\tau+1}\mid s_\tau,a_\tau) </math>根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；

** ③奖励模型<math>q_\theta(r_\tau\mid s_\tau) </math>预测当前步的奖励<math>r_t</math>；

 

<br>通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>。这样就构造了一个在潜在状态空间中'''完全可观测的马尔可夫决策过程（MDP）''' 。这些生成的轨迹是在潜在空间中进行的，并不需要实际执行在真实环境中。换句话说，DreamerV1在潜在状态空间中“提前演练”其行为。由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。

=== 价值函数训练 ===

=== 价值函数训练 ===