更改

* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。

* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。

='''Dreamer框架原理'''=

='''Dreamer框架原理'''=

世界模型为智能体提供可微的“内心沙盒”，使其能够在抽象潜在空间中重建并演化环境，减少对高风险真实交互的依赖。框架由编码器、解码器和潜在动力学模型协同构成。编码器用卷积网络或 Transformer 将高维观测压缩成信息充足的潜在状态，解码器再把潜在表示还原为可观测信号，用于校验想象世界并反向传播误差，潜在动力学模型依据当前潜在状态与动作预测下一潜在状态及奖励，并显式刻画环境的不确定性，。整条闭环既大幅压缩计算开销，又在潜在空间保留关键因果结构。<br>

世界模型为智能体提供可微的“内心沙盒”，使其能够在抽象潜在空间中重建并演化环境，减少对高风险真实交互的依赖。框架由编码器、解码器和潜在动力学模型协同构成。编码器用卷积网络等将高维观测压缩成信息充足的潜在状态，解码器再把潜在表示还原为可观测信号，用于校验想象世界并反向传播误差，潜在动力学模型依据当前潜在状态与动作预测下一潜在状态及奖励，并显式刻画环境的不确定性，。整条闭环既大幅压缩计算开销，又在潜在空间保留关键因果结构。<br>

训练阶段交替执行两步。第一步在真实轨迹上同时最小化观测重建误差与一步预测误差，以塑造具有任务判别力的潜在表征；第二步让模型在自身生成的多步“想象”里优化变分下界或信息瓶颈正则，迫使动力学网络捕捉长期规律。PlaNet 率先验证了该思路，而 Dreamer V1 至 V3 通过离散随机潜变量、对抗式奖励预测和深层自监督进一步提升了样本效率与稳定性。<br>

训练阶段交替执行两步。第一步在真实轨迹上同时最小化观测重建误差与一步预测误差，以塑造具有任务判别力的潜在表征；第二步让模型在自身生成的多步“想象”里优化变分下界或信息瓶颈正则，迫使动力学网络捕捉长期规律。PlaNet 率先验证了该思路，而 Dreamer V1 至 V3 通过离散随机潜变量、对抗式奖励预测和深层自监督进一步提升了样本效率与稳定性。<br>

Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。<br>

Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。<br>

决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。<br>

决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。<br>

[[文件:World model.png|替代=|无|缩略图|600x600像素|DreamerV3 在多个基准环境中的平均得分表现。 引自<ref name=":6" />]]

[[文件:World model.png|替代=|无|缩略图|800x600像素|Dreamer框架原理示意图。 引自<ref name=":6" />]]