更改

Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。<br>

Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。<br>

决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。<br>

决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。<br>

[[文件:World model.png|有框|Dreamer框架原理示意图。引自<ref name=":6" ]]

[[文件:World model.png|替代=|无|缩略图|600x600像素|DreamerV3 在多个基准环境中的平均得分表现。 引自<ref name=":6" />]]