更改

Dreamer (查看源代码)

2025年5月16日 (五) 17:14的版本

添加1,915字节、 2025年5月16日 (五) 17:14

→‎背景知识

第4行：第4行：

='''背景知识'''=

−

世界模型通过变分自编码器（VAE）和循环网络（RNN）从高维感知数据中学习环境的潜在表示，使得智能体可以在“内心”模拟未来轨迹，从而提高决策效率和样本利用率。

+

世界模型（World Models）的研究兴起于对强化学习中环境建模能力的不断探索，其本质上是'''基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，世界模型旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。相较于基于模型的强化学习这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。

−

~~模型预测控制（MPC）基于已知或学习到的动力学模型，在有限时域内不断地在线优化动作序列，以滚动时域策略实现对系统的精确控制。~~

+

早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时模型建模能力的不足以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

−

~~Dreamer 则在~~ PlaNet 的潜在动力学模型基础上，进一步引入潜在空间中的“想象”轨迹和端到端的策略—价值梯度更新，通过反向传播使得策略和价值网络能够在梦中高效学习，无需昂贵的在线规划。

+

2018 年，Ha 与 Schmidhuber 提出了开创性的 '''World Models''' 框架，标志着现代神经世界模型研究的起点。该方法利用变分自编码器（VAE）对高维图像进行压缩编码，再借助 RNN 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''世界模型在可视化环境中实现类人行为的可行性与潜力'''。

+

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

+

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''、'''DreamerV2（2021）''' 和 '''DreamerV3（2023）'''。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明世界模型已具备强大的泛化能力和策略学习效率。DreamerV3 进一步提高了算法的稳定性与适应性，在多种强化学习基准测试中展现出前所未有的性能突破，并于 '''2025 年发表在《Nature》杂志上'''，成为世界模型领域迈向主流通用智能路径的重要里程碑。

=== 世界模型（World Models）简介 ===

念

761

个编辑