761
个编辑
更改
→世界模型架构
=== 潜在动力学模型（Latent Dynamics Model） ===
=== 潜在动力学模型（Latent Dynamics Model） ===
要理解 Dreamer 如何在高维感知与稀疏回报的环境中迅速学习并规划行动，首先需要把握其世界模型奠基的两块核心积木。其一是沿时间轴不断演化并支持前向想象的潜在动力学，其二是用概率方式捕捉瞬时不确定性与多重未来可能的潜在变量。首先先来了解一下这两个机制<br>
*'''潜在动力学'''：Dreamer 通过一套递归状态空间机制把时间序列的信息压缩到隐含的内部记忆里。每当智能体采取动作后，模型会依次执行两步。首先，它依据先前的隐藏记忆和刚刚的动作给出对下一时刻隐藏状态的预测，这一步融入了对未来的想象能力。接着，模型在真正观察到环境反馈后，用新的感官信息修正那一预测，从而细化记忆并降低不确定性。由于隐藏记忆是由循环神经网络门控单元持续更新，它能长期保留与任务相关的情境脉络；而通过不断在隐藏空间里进行想象式滚动，策略和价值函数得以在完全离线的内部世界中训练和改进，从而实现高数据效率的强化学习。<br>
*'''潜在变量'''：在每一个时间点，Dreamer都会为瞬时感知生成一组随机潜在变量，用来描述环境状态中那些肉眼不可见但又至关重要的细节。这些随机量以概率分布的形式存在，为模型提供了一种表达多重可能未来的手段。它们与稳定的隐藏记忆携手工作：隐藏记忆负责整合长期依赖，随机潜在变量捕捉短暂且具有多样性的要素。为了训练这部分表示，模型同时学习观测重建、奖励预测与折扣预测三项任务，使随机潜在变量既对环境外观负责，也对行为后果负责。结果便是在同一个紧凑的隐空间里统一了感知、决策与规划，让智能体能够在面对复杂或部分可见的世界时保持灵活而稳健的推断能力。<br>
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
#
#
*'''RSSM架构的改进与增强'''：<br>在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
*'''RSSM架构的改进与增强'''：<br>在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
==世界模型训练过程==
==世界模型训练过程==