761
个编辑
更改
跳到导航
跳到搜索
第2行：
第2行： + + + + + + + + + + + + + + + + + + − + − +
→背景知识
='''背景知识'''=
='''背景知识'''=
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2" />为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4" />框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3" />，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0" />、'''DreamerV2（2021）'''<ref name=":1" /> 和 '''DreamerV3（2023）'''<ref name=":6" />。Dreamer 的核心贡献在于彻底革新了基于模型的强化学习范式，实现了前所未有的数据效率、计算效率和泛化能力：
* DreamerV1<ref name=":0" /> : 首次在纯潜在空间中实现了端到端的 Actor-Critic 学习。智能体完全在由世界模型生成的、紧凑的潜在状态序列上进行策略（Actor）和价值（Critic）函数的训练，仅需与环境进行极少量交互（远少于当时主流的无模型方法如 PPO（Proximal Policy Optimization）、A3C（Asynchronous Advantage Actor-Critic）），就能学习到高性能策略。由于策略学习发生在低维潜在空间，避开了高维原始观测（如图像像素）的处理负担，计算效率也显著提升。
* DreamerV2<ref name=":1" /> : 在复杂的 Atari 游戏基准上取得了里程碑式成就——其性能首次达到甚至超越了当时顶尖的无模型（Model-Free） 方法（如 Rainbow DQN）。这强有力地证明了世界模型不仅数据高效，而且具备强大的策略学习能力和泛化能力。DreamerV2 表明，基于模型的规划方法完全可以在最具挑战性的视觉输入 RL 任务中与依赖海量经验的无模型方法一较高下。
* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
旧版：
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]中环境建模能力的不断探索，其本质上是'''[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用[[循环神经网络]]（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]中环境建模能力的不断探索，其本质上是'''[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用[[循环神经网络]]（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]]<ref>Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]]<ref name=":2">Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref>HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。