更改

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref name=":1">Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref name=":6">Hafner, D., Pasukonis, J., Ba, J. ''et al.'' Mastering diverse control tasks through world models. ''Nature'' 640, 647–653 (2025). <nowiki>https://doi.org/10.1038/s41586-025-08744-2</nowiki></ref>。Dreamer 的核心贡献在于彻底革新了基于模型的强化学习范式，实现了前所未有的数据效率、计算效率和泛化能力：

随后，Hafner 团队持续优化PlaNet框架，在其基础上陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref name=":1">Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref name=":6">Hafner, D., Pasukonis, J., Ba, J. ''et al.'' Mastering diverse control tasks through world models. ''Nature'' 640, 647–653 (2025). <nowiki>https://doi.org/10.1038/s41586-025-08744-2</nowiki></ref>。Dreamer 的核心贡献在于彻底革新了基于模型的强化学习范式，实现了前所未有的数据效率、计算效率和泛化能力：

* DreamerV1<ref name=":0" /> : 首次在纯潜在空间中实现了端到端的 Actor-Critic 学习。智能体完全在由世界模型生成的、紧凑的潜在状态序列上进行策略（Actor）和价值（Critic）函数的训练，仅需与环境进行极少量交互（远少于当时主流的无模型方法如 PPO（Proximal Policy Optimization）、A3C（Asynchronous Advantage Actor-Critic）），就能学习到高性能策略。由于策略学习发生在低维潜在空间，避开了高维原始观测（如图像像素）的处理负担，计算效率也显著提升。

* DreamerV1<ref name=":0" /> : 首次在纯潜在空间中实现了端到端的 Actor-Critic 学习。智能体完全在由世界模型生成的、紧凑的潜在状态序列上进行策略（Actor）和价值（Critic）函数的训练，仅需与环境进行极少量交互（远少于当时主流的无模型方法如 PPO（Proximal Policy Optimization）、A3C（Asynchronous Advantage Actor-Critic）），就能学习到高性能策略。由于策略学习发生在低维潜在空间，避开了高维原始观测（如图像像素）的处理负担，计算效率也显著提升。