5,443
个编辑
更改
→背景知识
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]中环境建模能力的不断探索，其本质上是'''[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用[[循环神经网络]]（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。
[[世界模型]]（World Models）的研究兴起于对[[强化学习]]中环境建模能力的不断探索，其本质上是'''[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用[[循环神经网络]]（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。
早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''<ref>Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时模型建模能力的不足以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''<ref>Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref>HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref>HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。