761
个编辑
更改
跳到导航
跳到搜索
第10行：
第10行： − + 第260行：
第260行： − + − + − + 第295行：
第295行： − + − + − − 第306行：
第304行： − + − + 第351行：
第349行： − − # Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations. − # Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations. − # Hafner D, Pasukonis J, Ba J, et al. Mastering diverse domains through world models[J]. arXiv preprint arXiv:2301.04104, 2023. − # Wu P, Escontrela A, Hafner D, et al. Daydreamer: World models for physical robot learning[C]//Conference on robot learning. PMLR, 2023: 2226-2240.
→DreamerV2：消融研究
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref>HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref>HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref>Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref>Hafner D, Pasukonis J, Ba J, et al. Mastering diverse domains through world models[J]. arXiv preprint arXiv:2301.04104, 2023.</ref>。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明[[世界模型]]已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref name=":1">Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref>Hafner D, Pasukonis J, Ba J, et al. Mastering diverse domains through world models[J]. arXiv preprint arXiv:2301.04104, 2023.</ref>。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明[[世界模型]]已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
----
----
==== DreamerV2 ====
==== DreamerV2 ====
DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。
DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。
[[文件:3-1.png|替代=|无|缩略图|300x300像素|Atari 游戏性能，引自]]
[[文件:3-1.png|替代=|无|缩略图|300x300像素|Atari 游戏性能，引自<ref name=":1" />]]
[[文件:3-4.png|替代=|无|缩略图|600x600像素|Atari performance over 200M steps. 引自]]
[[文件:3-4.png|替代=|无|缩略图|600x600像素|2 亿步时的Atari游戏性能。 引自<ref name=":1" />]]
[[文件:3-T1.png|替代=|无|缩略图|600x600像素|Atari performance at 200M steps. 引自]]
[[文件:3-T1.png|替代=|无|缩略图|600x600像素|2 亿步时的Atari游戏性能。引自<ref name=":1" />]]
==== DreamerV3 ====
==== DreamerV3 ====
综上所述，这些消融研究全面且细致地揭示了离散潜在变量、KL平衡、图像梯度和强化梯度等因素，在DreamerV2实现卓越性能过程中所发挥的不可或缺的作用。它们不仅为深入理解DreamerV2算法的内在机制提供了关键线索，也为后续对该算法的进一步优化和改进指明了方向，具有重要的理论和实践意义。
综上所述，这些消融研究全面且细致地揭示了离散潜在变量、KL平衡、图像梯度和强化梯度等因素，在DreamerV2实现卓越性能过程中所发挥的不可或缺的作用。它们不仅为深入理解DreamerV2算法的内在机制提供了关键线索，也为后续对该算法的进一步优化和改进指明了方向，具有重要的理论和实践意义。
[[文件:3-5.png|替代=|无|缩略图|600x600像素|DreamerV2 智能体各种消融实验的裁剪记录归一化分数。引自<ref name=":1" />]]
[[文件:3-5.png|无框|600x600像素]]
[[文件:3-T2.png|替代=|无|缩略图|600x600像素|通过 2 亿帧时的Atari性能对 DreamerV2 进行的消融实验，按最后一列排序。引自<ref name=":1" />]]
[[文件:3-T2.png|无框|600x600像素]]
==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====
==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====
='''影响与发展'''=
='''影响与发展'''=
'''Dreamer 系列框架'''作为近年来世界模型研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，这一系列工作不断推动世界模型从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了**基于模型强化学习（MBRL）**的应用边界。
'''Dreamer 系列框架'''作为近年来世界模型研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，这一系列工作不断推动世界模型从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了'''基于模型强化学习（MBRL）'''的应用边界。
==== 1. 对后续研究的启发 ====
==== 1. 对后续研究的启发 ====
Dreamer 系列提出的关键思想——'''在潜在空间中建模环境动态并进行策略优化'''，为后续研究提供了可扩展且高效的范式。在 Dreamer 的基础上，一系列工作相继发展：
Dreamer 系列提出的关键思想——'''在潜在空间中建模环境动态并进行策略优化'''，为后续研究提供了可扩展且高效的范式。在 Dreamer 的基础上，一系列工作相继发展：
* '''DayDreamer（2023）''' 将 Dreamer 的策略迁移能力扩展到现实机器人系统中，实现在现实世界中低样本效率下的持续学习与控制，标志着世界模型从模拟器走向真实物理环境的一大步。
* '''DayDreamer（2023）'''<ref>Wu P, Escontrela A, Hafner D, et al. Daydreamer: World models for physical robot learning[C]//Conference on robot learning. PMLR, 2023: 2226-2240.</ref> 将 Dreamer 的策略迁移能力扩展到现实机器人系统中，实现在现实世界中低样本效率下的持续学习与控制，标志着世界模型从模拟器走向真实物理环境的一大步。
* '''World Models + LLM（2023-2025）'''：近年来，研究者尝试将大型语言模型（LLM）与世界模型结合，构建能够进行语言理解、因果推理和行动规划的多模态智能体。例如，将 Dreamer 的潜在空间表示与 LLM 的推理能力对接，使智能体不仅能够理解图像中的物理动态，还能通过语言进行任务解释与目标设定，开启了世界模型与通用语言智能协同发展的新范式。
* '''World Models + LLM（2023-2025）'''：近年来，研究者尝试将大型语言模型（LLM）与世界模型结合，构建能够进行语言理解、因果推理和行动规划的多模态智能体。例如，将 Dreamer 的潜在空间表示与 LLM 的推理能力对接，使智能体不仅能够理解图像中的物理动态，还能通过语言进行任务解释与目标设定，开启了世界模型与通用语言智能协同发展的新范式。
* 此外，Dreamer 框架也被广泛用于多智能体系统、元学习、自监督强化学习等方向，成为构建'''可解释、具备抽象理解能力的智能体核心模块'''。
* 此外，Dreamer 框架也被广泛用于多智能体系统、元学习、自监督强化学习等方向，成为构建'''可解释、具备抽象理解能力的智能体核心模块'''。
|[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
|[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
|}
|}
= =
= =
本中文词条由程嘉、潘琳莉、牟牧云参与编译。
本中文词条由程嘉、潘琳莉、牟牧云参与编译。