761
个编辑
更改
→3. Dreamer框架原理
*'''多步预测与潜在轨迹训练'''：
*'''多步预测与潜在轨迹训练'''：
<br>
由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即在每个时间步重构观测并施加一次KL正则化——实际上只直接优化了单步状态转移，使得梯度仅能感知到单步预测误差。这种训练方式虽然在单步预测上效果良好，但在多步滚动预测中，误差易于累积，显著削弱了长期推理与规划的能力。为了解决这一问题，PlaNet提出了**潜在超前（latent overshooting）**的多步变分训练目标。其核心思想是：不仅对单步转移（即先验分布<math>p(s_t \mid s_{t-1}, a_{t-1})</math>与后验分布<math>q(s_t \mid h_t, x_t)</math>）施加KL正则化，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型从时刻<math>t-2</math>起，仅基于先验动力学连续预测<math>\hat{s}_{t-1}</math>和<math>\hat{s}_t</math>，然后将预测得到的<math>\hat{s}t</math>与基于真实观测得到的后验<math>q(s_t \mid o{\leq t})</math>进行KL正则化，从而优化连续转移过程中的准确性。更一般地，对于超前<math>d</math>步的overshooting，训练目标中引入了如下KL项：<div align="center"><math>\mathrm{KL}\left[q(s_t \mid o_{\leq t}) \, \| \, p(s_t \mid s_{t-d:t-1})\right]</math></div>其中，<math>p(s_t \mid s_{t-d:t-1})</math>表示从<math>t-d</math>到<math>t-1</math>的先验连续预测，<math>q(s_t \mid o_{\leq t})</math>则是基于真实观测的后验分布（具体推导详见PlaNet附录）。通过这种overshooting策略，RSSM的随机状态转移机制能够接收到连续多步的训练信号，梯度得以沿着多步预测链条反向传播，从而显著提升长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting在提升基于潜在模型的规划性能方面的有效性。
由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即在每个时间步重构观测并施加一次KL正则化——实际上只直接优化了单步状态转移，使得梯度仅能感知到单步预测误差。这种训练方式虽然在单步预测上效果良好，但在多步滚动预测中，误差易于累积，显著削弱了长期推理与规划的能力。为了解决这一问题，PlaNet提出了**潜在超前（latent overshooting）**的多步变分训练目标。其核心思想是：不仅对单步转移（即先验分布<math>p(s_t \mid s_{t-1}, a_{t-1})</math>与后验分布<math>q(s_t \mid h_t, x_t)</math>）施加KL正则化，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型从时刻<math>t-2</math>起，仅基于先验动力学连续预测<math>\hat{s}_{t-1}</math>和<math>\hat{s}_t</math>，然后将预测得到的<math>\hat{s}t</math>与基于真实观测得到的后验<math>q(s_t \mid o{\leq t})</math>进行KL正则化，从而优化连续转移过程中的准确性。更一般地，对于超前<math>d</math>步的overshooting，训练目标中引入了如下KL项：<div align="center"><math>\mathrm{KL}\left[q(s_t \mid o_{\leq t}) \, \| \, p(s_t \mid s_{t-d:t-1})\right]</math></div>其中，<math>p(s_t \mid s_{t-d:t-1})</math>表示从<math>t-d</math>到<math>t-1</math>的先验连续预测，<math>q(s_t \mid o_{\leq t})</math>则是基于真实观测的后验分布（具体推导详见PlaNet附录）。通过这种overshooting策略，RSSM的随机状态转移机制能够接收到连续多步的训练信号，梯度得以沿着多步预测链条反向传播，从而显著提升长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting在提升基于潜在模型的规划性能方面的有效性。
<br>
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测<math>\hat{s}_t</math>与后验推断<math>s_t</math>的一致性，这一目标通常通过引入KL散度损失来实现。然而，在训练中存在一个关键挑战：编码器分布<math>q(s_t \mid h_t, x_t)</math>与动力学先验分布<math>p(s_t \mid h_t)</math>之间可能出现学习速度不匹配或“责任分配”（credit assignment）问题。具体而言，当编码器过于强大时，模型可能倾向于仅依赖后验推断，从而使先验动力学变得无关紧要；反之，若动力学先验过强，则编码器可能无法有效地从观测数据中提取信息。为了应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径以实现平衡。具体做法是：将KL散度分解为两个部分；其中一部分以**停止梯度（stop gradient）**的后验分布为参考，用于更新动力学先验，促使先验动态更好地跟随后验推断；另一部分则以停止梯度的先验分布为参考，用于更新编码器后验，防止后验偏离潜在动态建模。这种双路径更新机制，有效避免了模型在训练过程中过度依赖后验推断的问题，促使动态预测模块与观测编码模块在训练中保持合理协作。在此基础上，DreamerV3进一步引入了**自由nats（free nats）**的机制，即为KL散度设定一个最小阈值。当实际KL值低于该阈值时，不再继续压缩KL损失，从而防止潜在状态退化为无信息的情况——即虽然动力学先验易于预测，但潜在状态本身携带的信息量极低或接近于零，仅仅是为了最小化KL散度。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测<math>\hat{s}_t</math>与后验推断<math>s_t</math>的一致性，这一目标通常通过引入KL散度损失来实现。然而，在训练中存在一个关键挑战：编码器分布<math>q(s_t \mid h_t, x_t)</math>与动力学先验分布<math>p(s_t \mid h_t)</math>之间可能出现学习速度不匹配或“责任分配”（credit assignment）问题。具体而言，当编码器过于强大时，模型可能倾向于仅依赖后验推断，从而使先验动力学变得无关紧要；反之，若动力学先验过强，则编码器可能无法有效地从观测数据中提取信息。为了应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径以实现平衡。具体做法是：将KL散度分解为两个部分；其中一部分以**停止梯度（stop gradient）**的后验分布为参考，用于更新动力学先验，促使先验动态更好地跟随后验推断；另一部分则以停止梯度的先验分布为参考，用于更新编码器后验，防止后验偏离潜在动态建模。这种双路径更新机制，有效避免了模型在训练过程中过度依赖后验推断的问题，促使动态预测模块与观测编码模块在训练中保持合理协作。在此基础上，DreamerV3进一步引入了**自由nats（free nats）**的机制，即为KL散度设定一个最小阈值。当实际KL值低于该阈值时，不再继续压缩KL损失，从而防止潜在状态退化为无信息的情况——即虽然动力学先验易于预测，但潜在状态本身携带的信息量极低或接近于零，仅仅是为了最小化KL散度。
<br>
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
<br>
==== 策略网络与值函数 ====
**'''从在线规划到潜在空间策略学习'''：PlaNet作为早期的基于世界模型的方法，采用了纯模型规划的策略。在每一个决策时刻，智能体通过使用当前学习到的世界模型，进行在线规划来选择动作：具体而言，智能体会通过随机采样或进化算法（如交叉熵方法CEM）生成多个备选动作序列，并在潜在空间中模拟它们的演化轨迹，评估每条序列对应的预计累积奖励，最终选取期望回报最高的动作作为执行。这种方法能够充分发挥世界模型的预测能力，动态适应每一次决策。然而，它的局限性也非常明显：由于每一步决策都需要实时进行大量的模型模拟与动作搜索，计算开销极大，难以扩展到大规模连续控制任务或实时决策需求较高的环境中。为了解决这一问题，Dreamer系列提出了另一条进化路径：潜在空间中策略的离线学习。Dreamer的核心思想是，让智能体在内部建构的“梦境”中反复模拟与练习，通过世界模型生成的虚拟经验，训练一个策略网络（actor），使其能够直接从潜在状态中预测动作输出，从而在实际执行阶段完全摆脱昂贵的在线规划过程。为了高效优化策略，Dreamer还引入了一个价值网络（critic），用于评估每个潜在状态的长期累积价值（return），作为引导策略网络学习的重要信号。这种架构形成了一个闭环：世界模型基于潜在状态生成模拟经验；策略网络根据模拟经验更新动作选择策略；价值网络评估潜在状态的价值并为策略优化提供梯度指导。这一方法属于典型的**基于模型的策略梯度（model-based actor-critic）**框架，不仅兼顾了模型预测的优势，还大幅降低了推理时的计算负担，使得训练出的智能体可以在不依赖实时规划的前提下，高效决策与执行。
**'''从在线规划到潜在空间策略学习'''：PlaNet作为早期的基于世界模型的方法，采用了纯模型规划的策略。在每一个决策时刻，智能体通过使用当前学习到的世界模型，进行在线规划来选择动作：具体而言，智能体会通过随机采样或进化算法（如交叉熵方法CEM）生成多个备选动作序列，并在潜在空间中模拟它们的演化轨迹，评估每条序列对应的预计累积奖励，最终选取期望回报最高的动作作为执行。这种方法能够充分发挥世界模型的预测能力，动态适应每一次决策。然而，它的局限性也非常明显：由于每一步决策都需要实时进行大量的模型模拟与动作搜索，计算开销极大，难以扩展到大规模连续控制任务或实时决策需求较高的环境中。为了解决这一问题，Dreamer系列提出了另一条进化路径：潜在空间中策略的离线学习。Dreamer的核心思想是，让智能体在内部建构的“梦境”中反复模拟与练习，通过世界模型生成的虚拟经验，训练一个策略网络（actor），使其能够直接从潜在状态中预测动作输出，从而在实际执行阶段完全摆脱昂贵的在线规划过程。为了高效优化策略，Dreamer还引入了一个价值网络（critic），用于评估每个潜在状态的长期累积价值（return），作为引导策略网络学习的重要信号。这种架构形成了一个闭环：世界模型基于潜在状态生成模拟经验；策略网络根据模拟经验更新动作选择策略；价值网络评估潜在状态的价值并为策略优化提供梯度指导。这一方法属于典型的**基于模型的策略梯度（model-based actor-critic）**框架，不仅兼顾了模型预测的优势，还大幅降低了推理时的计算负担，使得训练出的智能体可以在不依赖实时规划的前提下，高效决策与执行。
**'''想象环境与模拟轨迹'''：Dreamer通过在潜在空间中进行**想象（imagination）**来生成训练数据。具体流程如下：首先，从真实环境交互中收集初步经验，并将这些数据存入经验回放池。然后，智能体在潜在空间内反复执行以下训练循环：首先，从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测编码得到的隐表示）作为想象轨迹的起点。随后，在世界模型内部展开一段长度为H步的潜在轨迹扩展（通常H约为15步）：从当前潜在状态zₜ出发，策略网络（actor）根据zₜ采样一个动作aₜ； RSSM的状态转移模型根据当前状态zₜ和动作aₜ生成下一潜在状态zₜ₊₁； 奖励预测模型给出当前步骤的奖励预测rₜ； 终止预测模型判断当前步骤是否到达episode结束条件。通过上述循环，可以生成一条完全由世界模型预测产生的“伪轨迹”序列：(z₀, a₀, r₀), (z₁, a₁, r₁), …, (zₕ)。由于潜在状态的维度相较原始观测（如图像）大大降低，且RSSM模块采用神经网络实现，这一模拟过程可以在GPU上实现高度并行。DreamerV2的实验报告显示，其能够在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟生成的潜在轨迹上，Dreamer分别对价值网络（critic）和策略网络（actor）进行训练更新，通过想象经验不断优化策略表现。需要特别注意的是，Dreamer在策略学习阶段固定世界模型的参数不再更新。也就是说，在进入基于想象的行为学习环节前，世界模型已经预先训练完毕，并在后续训练中保持冻结。这种设计带来了两大优势：1. 避免策略梯度直接干扰潜在表示学习，使得世界模型训练与策略优化过程有效分离，从而提高整体训练的稳定性；2. 在策略优化过程中无需重建观测图像，仅需在潜在空间内操作，大幅度提升了模拟与训练的计算效率。 '''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态zₜ，或更完整的隐状态对(hₜ, sₜ)作为输入，输出一个标量vᵩ(zₜ)，用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，以在训练中平衡估计的偏差与方差。具体地，给定一条想象轨迹 (z₀, r₀), (z₁, r₁), ..., (zₕ, rₕ)，其中zₕ为轨迹末端状态，可以利用λ-return为每个中间潜在状态构造目标价值Rₜ^λ。λ-return的基本思路是对不同步长n的回报进行加权平均，定义为：R<sup>λ</sup><sub>t</sub> = rₜ + γrₜ₊₁ + γ²rₜ₊₂ + … + γⁿ⁻¹rₜ₊ₙ₋₁ + γⁿvᵩ(zₜ₊ₙ)。并在n趋于轨迹终点时进行截断。直观地说，λ-return方法在有限长度的模拟轨迹内考虑累计奖励，并在轨迹末端使用价值网络的估计vᵩ(zₕ)作为未来无穷远回报的近似，从而估计每个状态的全局长期价值。在具体实现中，Dreamer通常设置λ=0.95，以获得较平滑且兼顾偏差和方差的多步回报目标。随后，价值网络通过最小化以下均方误差损失来进行训练：(1/2) × (vᵩ(zₜ) − Rₜ^λ)²。此外，为了进一步提升训练的稳定性与鲁棒性，Dreamer引入了若干优化措施： 1. 终止状态折扣修正：对于模拟轨迹中预测为终止的状态，Dreamer根据预测的折扣因子γₜ，对后续步骤的损失贡献进行适当削弱。如果模型判断某步之后情节可能终止，则对应时间步之后的价值误差会乘以γₜ的累积折扣进行衰减，以降低无意义误差对训练的干扰。 2. 回报尺度归一化（Symlog变换与Two-Hot编码）：针对不同任务环境下回报尺度差异悬殊的问题，DreamerV3采用了对称log变换（symlog）结合Two-Hot编码的方式来稳定价值训练。*Symlog变换通过如下公式压缩原始回报：symlog(x) = sign(x) × log(1 + |x|)。*在训练中，价值网络直接回归symlog变换后的值，推理时再通过反变换symexp(·)还原实际尺度。这种压缩方式有效缓解了极端大正负回报导致的梯度爆炸问题，使得价值网络的训练更加稳定可靠。同时，为了进一步平滑回归目标，DreamerV3并未直接预测连续实数，而是将symlog后的目标值离散化到相邻的离散桶之间，并采Two-Hot编码表示目标概率分布。价值网络输出每个桶的预测概率，训练时使用交叉熵或KL散度作为损失。相较于传统的One-Hot分桶或直接回归，Two-Hot编码能够减缓因回报分布跨度大带来的训练不稳定性，使得价值估计更加平滑且精确。 3. 目标网络机制（Exponential Moving Average, EMA）：为了进一步稳定训练，DreamerV3引入了目标价值网络机制。具体做法是：维护价值网络参数的指数滑动平均版本，并在训练损失中引入正则项，促使在线价值网络的输出逐步向目标网络靠拢。这一技术与DQN中的目标网络设计类似，能够防止价值估计在训练过程中因交互追逐而产生的不稳定震荡现象。
**'''想象环境与模拟轨迹'''：Dreamer通过在潜在空间中进行**想象（imagination）**来生成训练数据。具体流程如下：首先，从真实环境交互中收集初步经验，并将这些数据存入经验回放池。然后，智能体在潜在空间内反复执行以下训练循环：首先，从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测编码得到的隐表示）作为想象轨迹的起点。随后，在世界模型内部展开一段长度为H步的潜在轨迹扩展（通常H约为15步）：从当前潜在状态zₜ出发，策略网络（actor）根据zₜ采样一个动作aₜ； RSSM的状态转移模型根据当前状态zₜ和动作aₜ生成下一潜在状态zₜ₊₁； 奖励预测模型给出当前步骤的奖励预测rₜ； 终止预测模型判断当前步骤是否到达episode结束条件。通过上述循环，可以生成一条完全由世界模型预测产生的“伪轨迹”序列：(z₀, a₀, r₀), (z₁, a₁, r₁), …, (zₕ)。由于潜在状态的维度相较原始观测（如图像）大大降低，且RSSM模块采用神经网络实现，这一模拟过程可以在GPU上实现高度并行。DreamerV2的实验报告显示，其能够在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟生成的潜在轨迹上，Dreamer分别对价值网络（critic）和策略网络（actor）进行训练更新，通过想象经验不断优化策略表现。需要特别注意的是，Dreamer在策略学习阶段固定世界模型的参数不再更新。也就是说，在进入基于想象的行为学习环节前，世界模型已经预先训练完毕，并在后续训练中保持冻结。这种设计带来了两大优势：1. 避免策略梯度直接干扰潜在表示学习，使得世界模型训练与策略优化过程有效分离，从而提高整体训练的稳定性；2. 在策略优化过程中无需重建观测图像，仅需在潜在空间内操作，大幅度提升了模拟与训练的计算效率。 '''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态zₜ，或更完整的隐状态对(hₜ, sₜ)作为输入，输出一个标量vᵩ(zₜ)，用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，以在训练中平衡估计的偏差与方差。具体地，给定一条想象轨迹 (z₀, r₀), (z₁, r₁), ..., (zₕ, rₕ)，其中zₕ为轨迹末端状态，可以利用λ-return为每个中间潜在状态构造目标价值Rₜ^λ。λ-return的基本思路是对不同步长n的回报进行加权平均，定义为：R<sup>λ</sup><sub>t</sub> = rₜ + γrₜ₊₁ + γ²rₜ₊₂ + … + γⁿ⁻¹rₜ₊ₙ₋₁ + γⁿvᵩ(zₜ₊ₙ)。并在n趋于轨迹终点时进行截断。直观地说，λ-return方法在有限长度的模拟轨迹内考虑累计奖励，并在轨迹末端使用价值网络的估计vᵩ(zₕ)作为未来无穷远回报的近似，从而估计每个状态的全局长期价值。在具体实现中，Dreamer通常设置λ=0.95，以获得较平滑且兼顾偏差和方差的多步回报目标。随后，价值网络通过最小化以下均方误差损失来进行训练：(1/2) × (vᵩ(zₜ) − Rₜ^λ)²。此外，为了进一步提升训练的稳定性与鲁棒性，Dreamer引入了若干优化措施： 1. 终止状态折扣修正：对于模拟轨迹中预测为终止的状态，Dreamer根据预测的折扣因子γₜ，对后续步骤的损失贡献进行适当削弱。如果模型判断某步之后情节可能终止，则对应时间步之后的价值误差会乘以γₜ的累积折扣进行衰减，以降低无意义误差对训练的干扰。 2. 回报尺度归一化（Symlog变换与Two-Hot编码）：针对不同任务环境下回报尺度差异悬殊的问题，DreamerV3采用了对称log变换（symlog）结合Two-Hot编码的方式来稳定价值训练。*Symlog变换通过如下公式压缩原始回报：symlog(x) = sign(x) × log(1 + |x|)。*在训练中，价值网络直接回归symlog变换后的值，推理时再通过反变换symexp(·)还原实际尺度。这种压缩方式有效缓解了极端大正负回报导致的梯度爆炸问题，使得价值网络的训练更加稳定可靠。同时，为了进一步平滑回归目标，DreamerV3并未直接预测连续实数，而是将symlog后的目标值离散化到相邻的离散桶之间，并采Two-Hot编码表示目标概率分布。价值网络输出每个桶的预测概率，训练时使用交叉熵或KL散度作为损失。相较于传统的One-Hot分桶或直接回归，Two-Hot编码能够减缓因回报分布跨度大带来的训练不稳定性，使得价值估计更加平滑且精确。 3. 目标网络机制（Exponential Moving Average, EMA）：为了进一步稳定训练，DreamerV3引入了目标价值网络机制。具体做法是：维护价值网络参数的指数滑动平均版本，并在训练损失中引入正则项，促使在线价值网络的输出逐步向目标网络靠拢。这一技术与DQN中的目标网络设计类似，能够防止价值估计在训练过程中因交互追逐而产生的不稳定震荡现象。