更改

Dreamer框架是一个[[基于模型的强化学习]]方法，其特征在于通过学习环境的潜在模型来进行高效的规划与决策，其中的潜在模型也被称为[[世界模型]]。Dreamer由Danijar Hafner等人于2019年提出，其核心思想是通过训练一个潜在的[[世界模型]]（world model），该模型通过对环境进行内在表示建模，来模拟未来的状态变化，并基于此进行长期规划以及策略学习。与传统的[[强化学习]]方法（如基于值函数的Q学习或策略梯度方法）不同，Dreamer不直接依赖于与环境的交互，而是通过学习环境的动态模型，结合模型预测进行策略优化，从而提高了样本效率，尤其在复杂任务中能显著减少对环境交互的依赖。该方法使得[[强化学习]]能够在有限的交互次数内达到较高的性能，并在多个控制任务中取得了显著的成功。

Dreamer框架是一个[[基于模型的强化学习]]方法，其特征在于通过学习环境的潜在模型来进行高效的规划与决策，其中的潜在模型也被称为[[世界模型]]。Dreamer由Danijar Hafner等人于2019年提出，其核心思想是通过训练一个潜在的[[世界模型]]（world model），该模型通过对环境进行内在表示建模，来模拟未来的状态变化，并基于此进行长期规划以及策略学习。与传统的[[强化学习]]方法（如基于值函数的Q学习或策略梯度方法）不同，Dreamer不直接依赖于与环境的交互，而是通过学习环境的动态模型，结合模型预测进行策略优化，从而提高了样本效率，尤其在复杂任务中能显著减少对环境交互的依赖。该方法使得[[强化学习]]能够在有限的交互次数内达到较高的性能，并在多个控制任务中取得了显著的成功。

='''背景知识'''=

='''历史背景'''=

[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。

[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。