更改

='''背景知识'''=

='''背景知识'''=

世界模型（World Models）的研究兴起于对强化学习中环境建模能力的不断探索，其本质上是'''基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，世界模型旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用循环神经网络（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于基于模型的强化学习这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。

[[世界模型]]（World Models）的研究兴起于对[[强化学习]]中环境建模能力的不断探索，其本质上是'''[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用[[循环神经网络]]（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。

早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时模型建模能力的不足以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时模型建模能力的不足以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

2018 年，Ha 与 Schmidhuber 提出了开创性的 '''World Models''' 框架，标志着现代神经世界模型研究的起点。该方法利用变分自编码器（VAE）对高维图像进行压缩编码，再借助 RNN 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''世界模型在可视化环境中实现类人行为的可行性与潜力'''。

2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' 框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''、'''DreamerV2（2021）''' 和 '''DreamerV3（2023）'''。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明世界模型已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种强化学习基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为世界模型领域迈向主流通用智能路径的重要里程碑。

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''、'''DreamerV2（2021）''' 和 '''DreamerV3（2023）'''。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明世界模型已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为世界模型领域迈向主流通用智能路径的重要里程碑。

----

----

='''Dreamer框架原理'''=

='''Dreamer框架原理'''=

Dreamer 系列框架自最早的 PlaNet 提出以来，经历了一系列的改进与演化。研究者不断在世界模型的建模方式、规划效率以及训练稳定性等方面进行优化，逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上，引入了更先进的模型结构和训练机制，显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致，即通过重构观测数据来训练世界模型，并在潜在空间中建模环境的动态过程——具体而言，是通过学习循环状态空间模型（Recurrent State Space Model, RSSM）来捕捉环境的时序结构和潜在因果机制。

Dreamer 系列框架自最早的 PlaNet 提出以来，经历了一系列的改进与演化。研究者不断在[[世界模型]]的建模方式、规划效率以及训练稳定性等方面进行优化，逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上，引入了更先进的模型结构和训练机制，显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致，即通过重构观测数据来训练世界模型，并在潜在空间中建模环境的动态过程——具体而言，是通过学习循环状态空间模型（Recurrent State Space Model, RSSM）来捕捉环境的时序结构和潜在因果机制。

===世界模型架构===

===世界模型架构===

===世界模型训练过程===

===世界模型训练过程===

DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

世界模型的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

====表征学习阶段====

====表征学习阶段====