761
个编辑
更改
跳到导航
跳到搜索
第8行：
第8行： − −
→历史背景
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref name=":4">HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。
在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过通过'''潜在空间模型预测控制（Model Predictive Control，MPC）'''实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。