更改

Dreamer (查看源代码)

2025年7月20日 (日) 18:55的版本

添加3字节、 2025年7月20日 (日) 18:55

第3行：第3行：

='''历史背景'''=

[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。

+

<br>早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2">Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

<br>2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。

−

+

<br>在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

−

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

−

随后，Hafner 团队持续优化PlaNet框架，在其基础上陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref name=":1">Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref name=":6">Hafner, D., Pasukonis, J., Ba, J. ''et al.'' Mastering diverse control tasks through world models. ''Nature'' 640, 647–653 (2025). <nowiki>https://doi.org/10.1038/s41586-025-08744-2</nowiki></ref>。Dreamer 的核心贡献在于彻底革新了基于模型的强化学习范式，实现了前所未有的数据效率、计算效率和泛化能力：

念

761

个编辑