761
个编辑
更改
→影响与发展
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2" />为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2">Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4" />框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3" />，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0" />、'''DreamerV2（2021）'''<ref name=":1" /> 和 '''DreamerV3（2023）'''<ref name=":6" />。Dreamer 的核心贡献在于彻底革新了基于模型的强化学习范式，实现了前所未有的数据效率、计算效率和泛化能力：
随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref name=":1">Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref name=":6">Hafner, D., Pasukonis, J., Ba, J. ''et al.'' Mastering diverse control tasks through world models. ''Nature'' 640, 647–653 (2025). <nowiki>https://doi.org/10.1038/s41586-025-08744-2</nowiki></ref>。Dreamer 的核心贡献在于彻底革新了基于模型的强化学习范式，实现了前所未有的数据效率、计算效率和泛化能力：
* DreamerV1<ref name=":0" /> : 首次在纯潜在空间中实现了端到端的 Actor-Critic 学习。智能体完全在由世界模型生成的、紧凑的潜在状态序列上进行策略（Actor）和价值（Critic）函数的训练，仅需与环境进行极少量交互（远少于当时主流的无模型方法如 PPO（Proximal Policy Optimization）、A3C（Asynchronous Advantage Actor-Critic）），就能学习到高性能策略。由于策略学习发生在低维潜在空间，避开了高维原始观测（如图像像素）的处理负担，计算效率也显著提升。
* DreamerV1<ref name=":0" /> : 首次在纯潜在空间中实现了端到端的 Actor-Critic 学习。智能体完全在由世界模型生成的、紧凑的潜在状态序列上进行策略（Actor）和价值（Critic）函数的训练，仅需与环境进行极少量交互（远少于当时主流的无模型方法如 PPO（Proximal Policy Optimization）、A3C（Asynchronous Advantage Actor-Critic）），就能学习到高性能策略。由于策略学习发生在低维潜在空间，避开了高维原始观测（如图像像素）的处理负担，计算效率也显著提升。
* DreamerV2<ref name=":1" /> : 在复杂的 Atari 游戏基准上取得了里程碑式成就——其性能首次达到甚至超越了当时顶尖的无模型（Model-Free） 方法（如 Rainbow DQN）。这强有力地证明了世界模型不仅数据高效，而且具备强大的策略学习能力和泛化能力。DreamerV2 表明，基于模型的规划方法完全可以在最具挑战性的视觉输入 RL 任务中与依赖海量经验的无模型方法一较高下。
* DreamerV2<ref name=":1" /> : 在复杂的 Atari 游戏基准上取得了里程碑式成就——其性能首次达到甚至超越了当时顶尖的无模型（Model-Free） 方法（如 Rainbow DQN）。这强有力地证明了世界模型不仅数据高效，而且具备强大的策略学习能力和泛化能力。DreamerV2 表明，基于模型的规划方法完全可以在最具挑战性的视觉输入 RL 任务中与依赖海量经验的无模型方法一较高下。
* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
='''Dreamer框架原理'''=
='''Dreamer框架原理'''=
Dreamer 系列框架自最早的 PlaNet 提出以来，经历了一系列的改进与演化。研究者不断在[[世界模型]]的建模方式、规划效率以及训练稳定性等方面进行优化，逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上，引入了更先进的模型结构和训练机制，显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致，即通过重构观测数据来训练世界模型，并在潜在空间中建模环境的动态过程——具体而言，是通过学习循环状态空间模型（Recurrent State Space Model, RSSM）来捕捉环境的时序结构和潜在因果机制。
Dreamer 系列框架自最早的 PlaNet 提出以来，经历了一系列的改进与演化。研究者不断在[[世界模型]]的建模方式、规划效率以及训练稳定性等方面进行优化，逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上，引入了更先进的模型结构和训练机制，显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致，即通过重构观测数据来训练世界模型，并在潜在空间中建模环境的动态过程——具体而言，是通过学习循环状态空间模型（Recurrent State Space Model, RSSM）来捕捉环境的时序结构和潜在因果机制。
='''影响与发展'''=
='''影响与发展'''=
'''Dreamer 系列框架'''作为近年来世界模型研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，这一系列工作不断推动世界模型从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了'''基于模型强化学习（MBRL）'''的应用边界。
'''Dreamer 系列框架'''作为近年来[[世界模型]]研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，其开创的 “端到端潜在空间建模+策略学习”架构，解决了传统 MBRL 在高维感知与长期规划中的根本性难题，将[[世界模型]]从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了'''基于模型强化学习（MBRL）'''的应用边界。
==== 对后续研究的启发 ====
==== 对后续研究的启发 ====
Dreamer 系列提出的关键思想——'''在潜在空间中建模环境动态并进行策略优化'''，为后续研究提供了可扩展且高效的范式。在 Dreamer 的基础上，一系列工作相继发展：
Dreamer 系列提出的关键思想——'''在潜在空间中建模环境动态并进行策略优化'''，为后续研究提供了可扩展且高效的范式。在 Dreamer 的基础上，一系列工作相继发展：
* '''DayDreamer（2023）'''<ref>Wu P, Escontrela A, Hafner D, et al. Daydreamer: World models for physical robot learning[C]//Conference on robot learning. PMLR, 2023: 2226-2240.</ref> 将 Dreamer 的策略迁移能力扩展到现实机器人系统中，实现在现实世界中低样本效率下的持续学习与控制，标志着世界模型从模拟器走向真实物理环境的一大步。
* '''DayDreamer（2023）'''<ref>Wu P, Escontrela A, Hafner D, et al. Daydreamer: World models for physical robot learning[C]//Conference on robot learning. PMLR, 2023: 2226-2240.</ref> 将 Dreamer 的策略迁移能力扩展到现实机器人系统中，实现在现实世界中低样本效率下的持续学习与控制，'''标志着[[世界模型]]从模拟器走向真实物理环境的一大步'''。
* '''World Models + LLM（2023-2025）'''：近年来，研究者尝试将大型语言模型（LLM）与世界模型结合，构建能够进行语言理解、因果推理和行动规划的多模态智能体。例如，将 Dreamer 的潜在空间表示与 LLM 的推理能力对接，使智能体不仅能够理解图像中的物理动态，还能通过语言进行任务解释与目标设定，开启了世界模型与通用语言智能协同发展的新范式。
* '''World Models + LLM（2023-2025）'''：近年来，研究者尝试将大型语言模型（LLM）与[[世界模型]]结合，构建能够进行语言理解、因果推理和行动规划的多模态智能体。例如，将 Dreamer 的潜在空间表示与 LLM 的推理能力对接，使智能体不仅能够理解图像中的物理动态，还能通过语言进行任务解释与目标设定，'''开启了[[世界模型]]与通用语言智能协同发展的新范式'''。
* 此外，Dreamer 框架也被广泛用于多智能体系统、元学习、自监督强化学习等方向，成为构建'''可解释、具备抽象理解能力的智能体核心模块'''。
* 此外，Dreamer 框架也被广泛用于多智能体系统、元学习、自监督强化学习等方向，成为构建'''可解释、具备抽象理解能力的智能体核心模块'''。
====世界模型在通用人工智能（AGI）中的作用展望 ====
====世界模型在通用人工智能（AGI）中的作用展望 ====
从认知科学角度看，人类智能的形成离不开对世界的建模与模拟。在这一意义上，'''世界模型为构建具备“内在模拟能力”的通用智能体提供了关键路径'''。Dreamer 系列的成功表明，智能体能够仅凭环境交互数据，在潜在空间中构建出具备预测、规划与决策能力的内部模型，这种能力在实现 AGI 的多个核心方面具有深远意义：
从认知科学角度看，人类智能的形成离不开对世界的建模与模拟。在这一意义上，'''[[世界模型]]为构建具备“内在模拟能力”的通用智能体提供了关键路径'''。Dreamer 系列的成功表明，智能体能够仅凭环境交互数据，在潜在空间中构建出具备预测、规划与决策能力的内部模型，这种能力在实现 AGI 的多个核心方面具有深远意义：
* '''抽象理解与因果推理'''：通过学习世界的潜在状态转换规律，世界模型有望掌握环境背后的因果结构，从而实现高阶认知与可解释性推理。
* '''抽象理解与因果推理'''：通过学习世界的潜在状态转换规律，'''[[世界模型]]有望掌握环境背后的因果结构'''，从而实现高阶认知与可解释性推理。
* '''跨任务泛化与迁移能力'''：在潜在空间中建模的特征具有任务无关性，使得训练得到的世界模型能够在多任务甚至多模态场景中迁移使用，是实现通用学习的基础。
* '''跨任务泛化与迁移能力'''：在潜在空间中建模的特征具有任务无关性，使得训练得到的[[世界模型]]能够在多任务甚至多模态场景中迁移使用，是实现通用学习的基础。
* '''与语言、记忆系统融合'''：世界模型与 LLM、多模态记忆系统结合后，有望构建出既能“看”又能“思考”的认知智能体，支撑对现实世界的长时推理与复杂任务执行。
* '''与语言、记忆系统融合'''：[[世界模型]]与 LLM、多模态记忆系统结合后，有望构建出既能“看”又能“思考”的认知智能体，支撑对现实世界的长时推理与复杂任务执行。
* '''自主性与内在动机'''：通过世界模型，智能体能够自主进行“梦境”式模拟、预测未来状态、评估行动结果，具备类人类的自主探索与内在驱动机制。
* '''自主性与内在动机'''：通过[[世界模型]]，智能体能够自主进行“梦境”式模拟、预测未来状态、评估行动结果，具备类人类的自主探索与内在驱动机制。
因此，可以预见，随着 Dreamer 系列方法在表达能力、训练稳定性和可解释性方面的进一步提升，'''世界模型将逐渐成为构建通用人工智能（AGI）系统不可或缺的基础模块'''。
因此，可以预见，随着 Dreamer 系列方法在表达能力、训练稳定性和可解释性方面的进一步提升，'''[[世界模型]]将逐渐成为构建通用人工智能（AGI）系统不可或缺的基础模块'''。
----
----