更改

*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。

*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。

<br>

<br>

==== 策略网络与值函数 ====

==== 策略网络与值函数 ====

**'''从在线规划到潜在空间策略学习'''：PlaNet作为早期的基于世界模型的方法，采用了纯模型规划的策略。在每一个决策时刻，智能体通过使用当前学习到的世界模型，进行在线规划来选择动作：具体而言，智能体会通过随机采样或进化算法（如交叉熵方法CEM）生成多个备选动作序列，并在潜在空间中模拟它们的演化轨迹，评估每条序列对应的预计累积奖励，最终选取期望回报最高的动作作为执行。这种方法能够充分发挥世界模型的预测能力，动态适应每一次决策。然而，它的局限性也非常明显：由于每一步决策都需要实时进行大量的模型模拟与动作搜索，计算开销极大，难以扩展到大规模连续控制任务或实时决策需求较高的环境中。为了解决这一问题，Dreamer系列提出了另一条进化路径：潜在空间中策略的离线学习。Dreamer的核心思想是，让智能体在内部建构的“梦境”中反复模拟与练习，通过世界模型生成的虚拟经验，训练一个策略网络（actor），使其能够直接从潜在状态中预测动作输出，从而在实际执行阶段完全摆脱昂贵的在线规划过程。为了高效优化策略，Dreamer还引入了一个价值网络（critic），用于评估每个潜在状态的长期累积价值（return），作为引导策略网络学习的重要信号。这种架构形成了一个闭环：世界模型基于潜在状态生成模拟经验；策略网络根据模拟经验更新动作选择策略；价值网络评估潜在状态的价值并为策略优化提供梯度指导。这一方法属于典型的**基于模型的策略梯度（model-based actor-critic）**框架，不仅兼顾了模型预测的优势，还大幅降低了推理时的计算负担，使得训练出的智能体可以在不依赖实时规划的前提下，高效决策与执行。

**'''从在线规划到潜在空间策略学习'''：PlaNet作为早期的基于世界模型的方法，采用了纯模型规划的策略。在每一个决策时刻，智能体通过使用当前学习到的世界模型，进行在线规划来选择动作：具体而言，智能体会通过随机采样或进化算法（如交叉熵方法CEM）生成多个备选动作序列，并在潜在空间中模拟它们的演化轨迹，评估每条序列对应的预计累积奖励，最终选取期望回报最高的动作作为执行。这种方法能够充分发挥世界模型的预测能力，动态适应每一次决策。然而，它的局限性也非常明显：由于每一步决策都需要实时进行大量的模型模拟与动作搜索，计算开销极大，难以扩展到大规模连续控制任务或实时决策需求较高的环境中。为了解决这一问题，Dreamer系列提出了另一条进化路径：潜在空间中策略的离线学习。Dreamer的核心思想是，让智能体在内部建构的“梦境”中反复模拟与练习，通过世界模型生成的虚拟经验，训练一个策略网络（actor），使其能够直接从潜在状态中预测动作输出，从而在实际执行阶段完全摆脱昂贵的在线规划过程。为了高效优化策略，Dreamer还引入了一个价值网络（critic），用于评估每个潜在状态的长期累积价值（return），作为引导策略网络学习的重要信号。这种架构形成了一个闭环：世界模型基于潜在状态生成模拟经验；策略网络根据模拟经验更新动作选择策略；价值网络评估潜在状态的价值并为策略优化提供梯度指导。这一方法属于典型的**基于模型的策略梯度（model-based actor-critic）**框架，不仅兼顾了模型预测的优势，还大幅降低了推理时的计算负担，使得训练出的智能体可以在不依赖实时规划的前提下，高效决策与执行。