Dreamer - 版本历史

念：/* 参考文献与外部链接 */

2025-08-14T15:00:19Z

参考文献与外部链接

念：/* 参考文献与外部链接 */

2025-08-14T14:59:36Z

参考文献与外部链接

念：/* 参考文献与外部链接 */

2025-08-14T14:54:55Z

参考文献与外部链接

相信未来：/* 参考文献与外部链接 */

2025-08-14T01:56:23Z

参考文献与外部链接

念：/* 参考文献与外部链接 */

2025-08-09T03:07:46Z

参考文献与外部链接

念：/* 世界模型架构 */

2025-07-22T10:21:16Z

世界模型架构

念：/* 世界模型架构 */

2025-07-22T10:20:40Z

世界模型架构

念：/* 应用与性能 */

2025-07-20T11:00:08Z

应用与性能

2025年7月20日 (日) 10:59 念

2025-07-20T10:59:07Z

显示更改

念：/* 潜在动力学模型（Latent Dynamics Model） */

2025-07-20T10:57:35Z

潜在动力学模型（Latent Dynamics Model）

@@ 第411行： / 第411行： @@
 |[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
 |}
-<references />此词条由[[潘琳莉]]、[[[https://pattern.swarma.org/user/160806 程嘉]]]编写，[[牟牧云]]及[[张江]]老师审校。
+<references />此词条由[[潘琳莉]]、[[[https://pattern.swarma.org/user/160806 程嘉]]]编写，[[[https://pattern.swarma.org/mobile/user/29 牟牧云]]]及[[张江]]老师审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第411行： / 第411行： @@
 |[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
 |}
-<references />此词条由[[潘琳莉]]、[[程嘉]]编写，[[牟牧云]]及[[张江]]老师审校。
+<references />此词条由[[潘琳莉]]、[[[https://pattern.swarma.org/user/160806 程嘉]]]编写，[[牟牧云]]及[[张江]]老师审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第411行： / 第411行： @@
 |[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
 |}
-<references />此词条由[[潘琳莉]]、[[程嘉]]编写，[[张江]]老师审校。
+<references />此词条由[[潘琳莉]]、[[程嘉]]编写，[[牟牧云]]及[[张江]]老师审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第411行： / 第411行： @@
 |[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
 |}
-<references />此词条由[[潘琳莉]]、程嘉编写，张江老师审校。
+<references />此词条由[[潘琳莉]]、[[程嘉]]编写，[[张江]]老师审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第411行： / 第411行： @@
 |[https://danijar.com/project/dreamerv3/ DreamerV3项目相关资料及解读]
 |}
-<references />此词条由[[潘琳莉]]、程嘉编写。
+<references />此词条由[[潘琳莉]]、程嘉编写，张江老师审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第42行： / 第42行： @@
 === 潜在动力学模型（Latent Dynamics Model） ===
 要理解 Dreamer 如何在高维感知与稀疏回报的环境中迅速学习并规划行动，首先需要把握其世界模型奠基的两块核心积木。其一是沿时间轴不断演化并支持前向想象的潜在动力学，其二是用概率方式捕捉瞬时不确定性与多重未来可能的潜在变量。首先先来了解一下这两个机制<br>
 *'''潜在动力学'''：Dreamer 通过一套递归状态空间机制把时间序列的信息压缩到隐含的内部记忆里。每当智能体采取动作后，模型会依次执行两步。首先，它依据先前的隐藏记忆和刚刚的动作给出对下一时刻隐藏状态的预测，这一步融入了对未来的想象能力。接着，模型在真正观察到环境反馈后，用新的感官信息修正那一预测，从而细化记忆并降低不确定性。由于隐藏记忆是由循环神经网络门控单元持续更新，它能长期保留与任务相关的情境脉络；而通过不断在隐藏空间里进行想象式滚动，策略和价值函数得以在完全离线的内部世界中训练和改进，从而实现高数据效率的强化学习。<br>
 *'''潜在变量'''：在每一个时间点，Dreamer都会为瞬时感知生成一组随机潜在变量，用来描述环境状态中那些肉眼不可见但又至关重要的细节。这些随机量以概率分布的形式存在，为模型提供了一种表达多重可能未来的手段。它们与稳定的隐藏记忆携手工作：隐藏记忆负责整合长期依赖，随机潜在变量捕捉短暂且具有多样性的要素。为了训练这部分表示，模型同时学习观测重建、奖励预测与折扣预测三项任务，使随机潜在变量既对环境外观负责，也对行为后果负责。结果便是在同一个紧凑的隐空间里统一了感知、决策与规划，让智能体能够在面对复杂或部分可见的世界时保持灵活而稳健的推断能力。<br>
 PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
+#

@@ 第41行： / 第41行： @@
 === 潜在动力学模型（Latent Dynamics Model） ===
 PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
+#
@@ 第70行： / 第73行： @@
 *'''RSSM架构的改进与增强'''：<br>在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
 ==世界模型训练过程==

@@ 第307行： / 第307行： @@
 DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。
 [[文件:3-1.png|替代=|无|缩略图|300x300像素|Atari 游戏性能，引自<ref name=":1" />]][[文件:3-4.png|替代=|无|缩略图|600x600像素|2 亿步时的Atari游戏性能。 引自<ref name=":1" />]][[文件:3-T1.png|替代=|无|缩略图|600x600像素|2 亿步时的Atari游戏性能。引自<ref name=":1" />]]
 ==== DreamerV3 ====
@@ 第344行： / 第345行： @@
 [[文件:3-5.png|替代=|无|缩略图|600x600像素|DreamerV2 智能体各种消融实验的裁剪记录归一化分数。引自<ref name=":1" />]]
 [[文件:3-T2.png|替代=|无|缩略图|600x600像素|通过 2 亿帧时的Atari性能对 DreamerV2 进行的消融实验，按最后一列排序。引自<ref name=":1" />]]
 ==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====