761
个编辑
更改
→世界模型架构
=== 潜在动力学模型（Latent Dynamics Model） ===
=== 潜在动力学模型（Latent Dynamics Model） ===
要理解 Dreamer 如何在高维感知与稀疏回报的环境中迅速学习并规划行动，首先需要把握其世界模型奠基的两块核心积木。其一是沿时间轴不断演化并支持前向想象的潜在动力学，其二是用概率方式捕捉瞬时不确定性与多重未来可能的潜在变量。首先先来了解一下这两个机制<br>
要理解 Dreamer 如何在高维感知与稀疏回报的环境中迅速学习并规划行动，首先需要把握其世界模型奠基的两块核心积木。其一是沿时间轴不断演化并支持前向想象的潜在动力学，其二是用概率方式捕捉瞬时不确定性与多重未来可能的潜在变量。首先先来了解一下这两个机制<br>
*'''潜在动力学'''：Dreamer 通过一套递归状态空间机制把时间序列的信息压缩到隐含的内部记忆里。每当智能体采取动作后，模型会依次执行两步。首先，它依据先前的隐藏记忆和刚刚的动作给出对下一时刻隐藏状态的预测，这一步融入了对未来的想象能力。接着，模型在真正观察到环境反馈后，用新的感官信息修正那一预测，从而细化记忆并降低不确定性。由于隐藏记忆是由循环神经网络门控单元持续更新，它能长期保留与任务相关的情境脉络；而通过不断在隐藏空间里进行想象式滚动，策略和价值函数得以在完全离线的内部世界中训练和改进，从而实现高数据效率的强化学习。<br>
*'''潜在动力学'''：Dreamer 通过一套递归状态空间机制把时间序列的信息压缩到隐含的内部记忆里。每当智能体采取动作后，模型会依次执行两步。首先，它依据先前的隐藏记忆和刚刚的动作给出对下一时刻隐藏状态的预测，这一步融入了对未来的想象能力。接着，模型在真正观察到环境反馈后，用新的感官信息修正那一预测，从而细化记忆并降低不确定性。由于隐藏记忆是由循环神经网络门控单元持续更新，它能长期保留与任务相关的情境脉络；而通过不断在隐藏空间里进行想象式滚动，策略和价值函数得以在完全离线的内部世界中训练和改进，从而实现高数据效率的强化学习。<br>
*'''潜在变量'''：在每一个时间点，Dreamer都会为瞬时感知生成一组随机潜在变量，用来描述环境状态中那些肉眼不可见但又至关重要的细节。这些随机量以概率分布的形式存在，为模型提供了一种表达多重可能未来的手段。它们与稳定的隐藏记忆携手工作：隐藏记忆负责整合长期依赖，随机潜在变量捕捉短暂且具有多样性的要素。为了训练这部分表示，模型同时学习观测重建、奖励预测与折扣预测三项任务，使随机潜在变量既对环境外观负责，也对行为后果负责。结果便是在同一个紧凑的隐空间里统一了感知、决策与规划，让智能体能够在面对复杂或部分可见的世界时保持灵活而稳健的推断能力。<br>
*'''潜在变量'''：在每一个时间点，Dreamer都会为瞬时感知生成一组随机潜在变量，用来描述环境状态中那些肉眼不可见但又至关重要的细节。这些随机量以概率分布的形式存在，为模型提供了一种表达多重可能未来的手段。它们与稳定的隐藏记忆携手工作：隐藏记忆负责整合长期依赖，随机潜在变量捕捉短暂且具有多样性的要素。为了训练这部分表示，模型同时学习观测重建、奖励预测与折扣预测三项任务，使随机潜在变量既对环境外观负责，也对行为后果负责。结果便是在同一个紧凑的隐空间里统一了感知、决策与规划，让智能体能够在面对复杂或部分可见的世界时保持灵活而稳健的推断能力。<br>
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
#
#