761
个编辑
更改
→Dreamer框架原理
='''历史背景'''=
='''历史背景'''=
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2">Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2">Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
* DreamerV3<ref name=":6" />: 通过引入自适应的归一化、平衡损失等创新技术，解决了算法在超参数敏感性和任务普适性上的关键挑战，实现了前所未有的通用性和鲁棒性 (Robustness)。单个固定配置的 DreamerV3 算法，无需针对特定任务调整超参数，就能在涵盖连续控制、视觉导航、复杂决策等超过 150 个多样化且极具挑战性的强化学习基准任务上取得优异且稳定的性能。DreamerV3 的高度通用性、卓越性能和鲁棒性，标志着[[世界模型]]技术迈向通用智能体的关键一步。其重大突破性成果于 2025 年发表在顶级期刊 《Nature》<ref name=":6" /> 上，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。
='''Dreamer框架原理'''=
='''Dreamer框架原理'''=
[[世界模型]]为智能体提供可微的“内心沙盒”，使其能够在抽象潜在空间中重建并演化环境，减少对高风险真实交互的依赖。框架由编码器、解码器和潜在动力学模型协同构成。编码器用卷积网络等将高维观测压缩成信息充足的潜在状态，解码器再把潜在表示还原为可观测信号，用于校验想象世界并反向传播误差，潜在动力学模型依据当前潜在状态与动作预测下一潜在状态及奖励，并显式刻画环境的不确定性。整条闭环既大幅压缩计算开销，又在潜在空间保留关键因果结构。<br>训练阶段交替执行两步。第一步在真实轨迹上同时最小化观测重建误差与一步预测误差，以塑造具有任务判别力的潜在表征；第二步让模型在自身生成的多步“想象”里优化变分下界或信息瓶颈正则，迫使动力学网络捕捉长期规律。
PlaNet 率先验证了该思路，而 Dreamer V1 至 V3 通过离散随机潜变量、对抗式奖励预测和深层自监督进一步提升了样本效率与稳定性。Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。<br>
[[文件:World model.png|替代=|无|缩略图|600x400像素|Dreamer框架原理示意图。 引自<ref name=":6" />]]
[[文件:World model.png|替代=|无|缩略图|600x400像素|Dreamer框架原理示意图。 引自<ref name=":6" />]]