761
个编辑
更改
→历史背景
='''历史背景'''=
='''历史背景'''=
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]（Reinforcement Learning，RL）中环境建模能力的不断探索，其本质上是[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的MBRL不同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过[[变分自编码器]]（ Variational Autoencoder'''，'''VAE）将观测序列编码为潜在状态，再利用[[循环神经网络]]（Recurrent Neural Network'''，'''RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，[[世界模型]]更强调通过学习潜在空间的紧凑表示，赋予智能体理解和预测环境动态的内在能力，不仅能预测未来状态和观测，还能预测奖励。这种“想象引擎” 让智能体能在内部模型中“做梦”（dream），提前演练策略，大幅减少与真实环境交互的昂贵成本。
<br>早期的[[基于模型的强化学习]]方法以 Sutton 在 1990 年代提出的 [[Dyna 框架]]<ref name=":2">Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
<br>2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。