更改

Dreamer (查看源代码)

2025年7月20日 (日) 18:59的版本

添加12字节、 2025年7月20日 (日) 18:59

无编辑摘要

第70行：第70行：

*'''RSSM架构的改进与增强'''： 在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。

+

==世界模型训练过程==

[[世界模型]]的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种[[强化学习]]方法，通过学习一个紧凑的'''潜在世界模型（[[世界模型]]，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

+

===[[表征学习]]阶段===

第97行：第99行：

[[文件:1-3.png|替代=|无|有框|Dreamer 的组成部分。引自<ref name=":0" />]]

在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型。

+

===重参数技巧与ELBO目标函数===

第110行：第113行：

这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。

−

第132行：第134行：

== 策略网络与值函数 ==

尽管基于世界模型的在线规划方法（如 PlaNet 的 MPC-CEM 策略）能够充分利用模型的预测能力，并在任务早期提供良好性能，但这类方法在每一步都需高频、实时地执行代价昂贵的轨迹优化，因此在长期训练和高频交互任务中难以扩展。为了解决这一瓶颈，Dreamer 系列算法提出了一种新的路径：通过在潜在空间中生成高质量的 imagined trajectories，用于训练策略网络与价值网络，从而实现“思维先行”的策略学习。这一机制允许智能体脱离实际环境、在模型内部高效地反复试错，并通过 Actor-Critic 框架在潜在空间内持续优化其行为策略。下面将详细介绍 Dreamer 如何在这一模拟世界中训练策略网络（actor）与价值函数（critic），并探讨其在稳定性与泛化能力上的一系列优化设计。

+

=== 从在线规划到潜在空间策略学习 ===

在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的[[世界模型]]，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。

+

=== 想象环境与模拟轨迹 ===

第151行：第155行：

通过上述过程，生成一条完全由[[世界模型]]预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>。这样就构造了一个在潜在状态空间中[['''完全可观测的马尔可夫决策过程（MDP）''']] 。这些生成的轨迹是在潜在空间中进行的，并不需要实际执行在真实环境中。换句话说，DreamerV1在潜在状态空间中“提前演练”其行为。由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。

+

=== 价值函数训练 ===

第172行：第177行：

# 回报尺度归一化（Symlog变换与Two-Hot编码）：为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：Symlog变换压缩回报尺度，公式为：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。

# 目标网络机制（Exponential Moving Average, EMA）：为了防止价值估计在训练中发生不稳定震荡，DreamerV3引入了目标价值网络。具体做法是：维护一个价值网络参数的指数滑动平均版本（EMA），并在训练中添加正则项，促使在线价值网络输出逐步向目标网络靠拢。

+

=== 策略网络的训练与优化 ===

第294行：第300行：

='''应用与性能'''=

+

== 在Mujoco、Atari、DMC等环境下的表现 ==

第303行：第310行：

==== DreamerV3 ====

在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。 [[File:picture1.png|替代=|无|缩略图|600x600像素|DreamerV3 在多个基准环境中的平均得分表现。引自<ref name=":6" />]] 图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。

+

== 与SAC、TD3、PPO等方法的对比 ==

第310行：第318行：

在连续控制领域，DreamerV3 超越了 SAC/TD3 风格的多种方法，包括 DeepMind 提出的 D4PG、DMPO 和 MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3 采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性<ref name=":6" />。 在高维视觉输入任务中，DreamerV3 同样领先于依赖数据增强或对比学习的对手，如基于 SAC 的 DrQ-v2 及使用表征学习的 CURL。这进一步体现了 DreamerV3 在从图像观测中提取潜在动态结构方面的强大能力。 在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow 和 IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法 MuZero，且所需计算资源仅为后者的一小部分。 在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。 在需要高级空间和时间推理能力的 DeepMind Lab (DMLab) 3D 环境中，DreamerV3 在仅使用 1 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA 在 10 亿帧（1B）下的表现，展现出数量级的样本效率提升。 此外，在所有测试环境中，DreamerV3 相较于 PPO 表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3 依然大幅超越高质量实现的 PPO 策略梯度算法。这充分表明，DreamerV3 不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。

+

== 在高维视觉输入上的优势 ==

第315行：第324行：

==== DreamerV3 ====

DreamerV3 在高维像素观测任务中展现出显著优势，能够无需针对图像任务进行特殊调整，便在视觉控制、Atari、ProcGen、DMLab、Minecraft 等典型像素输入环境中取得领先表现<ref name=":6" />。例如，在视觉控制套件中，DreamerV3 凭借统一配置、无任何额外数据增强，便超越了专为图像环境设计的强化学习算法，如 DrQ-v2 和 CURL，取得更高分数。 在具备程序生成关卡的 ProcGen 游戏中，DreamerV3 在仅使用 5000 万帧数据的情况下，便达到与经过调参优化的 PPO 派生算法（PPG）相当的表现，并显著优于 Rainbow 等传统方法。这些结果表明，DreamerV3 在处理高变异性视觉任务时具备出色的泛化能力和鲁棒性。 更为关键的是，DreamerV3 所构建的世界模型能够从高维像素观测中捕捉环境的潜在结构。上图展示了其在 DMLab 迷宫环境（上）与四足机器人任务（下）中的视频预测示例：在仅观察初始5帧真实图像后（True，左侧），模型可基于其内部状态连续预测未来45帧的环境演化（Model，右侧），而无需进一步依赖真实图像输入。结果显示，预测序列与真实轨迹在空间结构和动态变化上高度一致，表明 DreamerV3 能够有效学习3D迷宫的布局规则和机器人运动的动力学特征。 凭借这一结构化世界模型，DreamerV3 能够在需要复杂时空推理的任务中实现高效探索与长时规划。在 DMLab 的30个三维任务中，DreamerV3 仅用 1 亿帧交互数据（100M）即达到并超过 IMPALA 在 10 亿帧（1B）下的表现，实现了超过 10 倍的数据效率提升。 总体而言，DreamerV3 在高维视觉输入环境中展现出强大的表征学习与前瞻性规划能力，显著超越了多数模型无关强化学习算法的能力上限。 [[File:picture2.png|替代=|无|缩略图|600x600像素|DreamerV3 在视觉输入中的表征学习与前瞻性规划能力示例图。引自<ref name=":6" />]]

+

== 其他应用 ==

第343行：第353行：

'''Dreamer 系列框架'''作为近年来[[世界模型]]研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，其开创的 “端到端潜在空间建模+策略学习”架构，解决了传统 MBRL 在高维感知与长期规划中的根本性难题，将[[世界模型]]从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了'''基于模型强化学习（MBRL）'''的应用边界。

+

== 对后续研究的启发 ==

第351行：第362行：

* 此外，Dreamer 框架也被广泛用于多智能体系统、元学习、自监督强化学习等方向，成为构建'''可解释、具备抽象理解能力的智能体核心模块'''。

*

+

==世界模型在通用人工智能（AGI）中的作用展望 ==

念

761

个编辑