761
个编辑
更改
→训练过程（改成世界模型学习，3.2小节）
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
===训练过程<u><big>[[（改成世界模型学习，3.2小节）]]</big></u>===
===世界模型训练过程===
DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。
DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。
===规划与决策机制<u><big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）|（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer，作为3.3小节）]]</big></u>===
===规划与决策机制<u><big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）]]</big></u>===
[[File:解释图片.png|400px]]<br>Dreamer 算法的三阶段流程。左图 (a)：学习环境的潜在动力学模型；中图 (b)：在潜在空间中基于想象轨迹训练策略网络（Actor）与价值函数（Critic）；右图 (c)：在真实环境中执行已学习的策略。Dreamer 模型的规划与决策机制依赖于对环境潜在动力学的建模，并在潜在空间中生成“想象”轨迹，用以评估和优化智能体的行为策略。该机制可从两个核心过程展开：其一，在潜在空间中生成未来状态的想象轨迹；其二，基于这些轨迹进行动作序列的评估与选择，方法包括模型预测控制（MPC）与策略梯度优化。
[[File:解释图片.png|400px]]<br>Dreamer 算法的三阶段流程。左图 (a)：学习环境的潜在动力学模型；中图 (b)：在潜在空间中基于想象轨迹训练策略网络（Actor）与价值函数（Critic）；右图 (c)：在真实环境中执行已学习的策略。Dreamer 模型的规划与决策机制依赖于对环境潜在动力学的建模，并在潜在空间中生成“想象”轨迹，用以评估和优化智能体的行为策略。该机制可从两个核心过程展开：其一，在潜在空间中生成未来状态的想象轨迹；其二，基于这些轨迹进行动作序列的评估与选择，方法包括模型预测控制（MPC）与策略梯度优化。
====潜在空间中的imagined trajectory====
====潜在空间中的imagined trajectory====
=== 策略网络与值函数<u><big>[[（单独作为一个小节3.4 策略学习）]]</big></u> ===
=== 策略网络与值函数 ===
*'''从在线规划到潜在空间策略学习'''：在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。
*'''从在线规划到潜在空间策略学习'''：在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。
<br>
<br>