761
个编辑
更改
→策略网络与值函数（单独作为一个小节3.4 策略学习）
<br>
<br>
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。
===训练过程<u><big>[[（改成世界模型学习，3.2小节）]]</big></u>===
===训练过程<u><big>[[（改成世界模型学习，3.2小节）]]</big></u>===
这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。
这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。
===规划与决策机制<u><big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）|（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer，作为3.3小节）]]</big></u>===
===规划与决策机制<u><big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）|（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer，作为3.3小节）]]</big></u>===
*'''模型预测控制（MPC）'''：模型预测控制（Model Predictive Control, MPC）将决策问题转化为基于模型的序列优化过程：在每一个决策时刻，智能体从当前的潜在状态出发，搜索一系列未来动作，旨在最大化预期的累计回报。通常设定有限的规划视野<math>H</math>，通过对候选动作序列进行随机采样与优化（如采用交叉熵法，Cross-Entropy Method, CEM）以评估其预期奖励，并选择回报最高的动作序列，执行其中的首个动作。<br>PlaNet 算法正是基于此策略，利用 MPC 在潜在空间中实现高效的在线规划。该方法在每一步都结合最新观测信息重新生成规划序列，从而实现动态更新与快速响应。此类基于模型的控制方式充分发挥了世界模型对未来状态与回报的预测能力，即使在策略尚未成熟时，也能辅助代理做出较优的行动决策。然而，MPC 的一个主要限制在于其较高的计算成本——由于每个环境步长均需重新求解优化问题，因此在高频交互任务中可能成为性能瓶颈。
*'''模型预测控制（MPC）'''：模型预测控制（Model Predictive Control, MPC）将决策问题转化为基于模型的序列优化过程：在每一个决策时刻，智能体从当前的潜在状态出发，搜索一系列未来动作，旨在最大化预期的累计回报。通常设定有限的规划视野<math>H</math>，通过对候选动作序列进行随机采样与优化（如采用交叉熵法，Cross-Entropy Method, CEM）以评估其预期奖励，并选择回报最高的动作序列，执行其中的首个动作。<br>PlaNet 算法正是基于此策略，利用 MPC 在潜在空间中实现高效的在线规划。该方法在每一步都结合最新观测信息重新生成规划序列，从而实现动态更新与快速响应。此类基于模型的控制方式充分发挥了世界模型对未来状态与回报的预测能力，即使在策略尚未成熟时，也能辅助代理做出较优的行动决策。然而，MPC 的一个主要限制在于其较高的计算成本——由于每个环境步长均需重新求解优化问题，因此在高频交互任务中可能成为性能瓶颈。
*'''策略梯度策略优化'''：策略梯度方法通过学习参数化策略函数，规避了逐步规划所带来的计算开销。Dreamer 架构采用演员-评论家（actor-critic）方法，在潜在空间中分别训练一个策略网络（actor）作为“动作模型”，以及一个价值网络（critic）用于评估潜在状态的长期价值。在由世界模型生成的想象轨迹上，价值网络为每个潜在状态估计期望的累计回报，而策略网络则基于当前潜在状态生成相应的动作。Dreamer 利用这些估计值沿着想象轨迹反向传播梯度，更新策略参数，使其倾向于生成在模型中预期回报更高的动作序列。本质上，这一过程可被视为在潜在空间中进行基于梯度的“规划”，借助模型的可微结构直接优化策略，从而摆脱了如 PlaNet 中每一步均需从头优化动作序列的负担，实现了规划与执行的有效解耦。通过反复的想象训练，Dreamer 得以获得一个在执行时即可输出近似最优动作的策略模型，从而显著提升了决策的效率与响应速度。
*'''策略梯度策略优化'''：策略梯度方法通过学习参数化策略函数，规避了逐步规划所带来的计算开销。Dreamer 架构采用演员-评论家（actor-critic）方法，在潜在空间中分别训练一个策略网络（actor）作为“动作模型”，以及一个价值网络（critic）用于评估潜在状态的长期价值。在由世界模型生成的想象轨迹上，价值网络为每个潜在状态估计期望的累计回报，而策略网络则基于当前潜在状态生成相应的动作。Dreamer 利用这些估计值沿着想象轨迹反向传播梯度，更新策略参数，使其倾向于生成在模型中预期回报更高的动作序列。本质上，这一过程可被视为在潜在空间中进行基于梯度的“规划”，借助模型的可微结构直接优化策略，从而摆脱了如 PlaNet 中每一步均需从头优化动作序列的负担，实现了规划与执行的有效解耦。通过反复的想象训练，Dreamer 得以获得一个在执行时即可输出近似最优动作的策略模型，从而显著提升了决策的效率与响应速度。
=== 策略网络与值函数<u><big>[[（单独作为一个小节3.4 策略学习）]]</big></u> ===
*'''从在线规划到潜在空间策略学习'''：在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。
<br>
*'''想象环境与模拟轨迹'''：Dreamer通过在潜在空间中进行**想象（imagination）**生成训练数据。整体流程如下：首先，从真实环境交互中收集初步经验，并将其存入经验回放池。随后，智能体在潜在空间中反复执行以下训练循环：<br>1. 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹的起点；<br>2. 在世界模型内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：1. 策略网络（actor）根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；2. RSSM的转移模型根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；3. 奖励模型预测当前步的奖励<math>r_t</math>；4. 终止模型判断是否达到episode结束条件。<br>通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。
<br>
*'''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。具体地，给定一条想象轨迹：<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，其中<math>z_H</math>为轨迹末状态，可以为每个中间潜在状态构造目标价值<math>R_t^\lambda</math>。<br>λ-return的基本思路是对不同步长<math>n</math>的回报进行加权平均，定义为：<math>R_t^\lambda = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n v_\psi(z_{t+n})</math>，并在<math>n</math>趋近轨迹末端时截断。直观地说，λ-return在有限长度模拟轨迹内考虑累计奖励，并在终点使用价值网络估计<math>v_\psi(z_H)</math>近似未来无穷远回报，从而为每个状态提供全局价值估计。随后，价值网络通过最小化以下均方误差损失进行训练：<math>\frac{1}{2} (v_\psi(z_t) - R_t^\lambda)^2</math>。<br>为进一步提升训练的稳定性与鲁棒性，Dreamer引入了以下优化措施：<br>1. 终止状态折扣修正：对于预测为终止的状态，Dreamer根据折扣因子<math>\gamma_t</math>，对后续步骤的损失贡献进行累积折扣衰减。若模型预测某步后episode结束，相应的价值误差将按<math>\gamma_t</math>的乘积因子递减，避免无意义误差影响训练。<br>2. 回报尺度归一化（Symlog变换与Two-Hot编码）：为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：Symlog变换压缩回报尺度，公式为：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。<br>3. 目标网络机制（Exponential Moving Average, EMA）：为了防止价值估计在训练中发生不稳定震荡，DreamerV3引入了目标价值网络。具体做法是：维护一个价值网络参数的指数滑动平均版本（EMA），并在训练中添加正则项，促使在线价值网络输出逐步向目标网络靠拢。
<br>
*'''策略网络的训练与优化'''：在Dreamer框架中，策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。策略的训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。在一条想象轨迹中，策略网络希望在每一个潜在状态<math>z_t</math>选择动作，使得后继状态的价值<math>v_\psi(z_{t+1})</math>最大化。换言之，策略优化的目标可以简化为在每一步最大化<math>v_\psi(z_t)</math>，因此常通过最小化负的价值估计<math>-v_\psi(z_t)</math>来训练。<br>Dreamer采用**策略梯度（policy gradient）**方法来优化这一目标。由于世界模型提供了可微分的潜在空间动力系统，Dreamer能够直接在潜在轨迹上进行梯度计算，实现高效的策略更新。<br>'''策略梯度计算与损失构建'''<br>在训练过程中，策略网络根据当前潜在状态<math>z_t</math>输出动作分布<math>\pi_\theta(a_t|z_t)</math>，并通过采样获得动作<math>a_t</math>。RSSM根据<math>a_t</math>与<math>z_t</math>生成下一个潜在状态<math>z_{t+1}</math>，并由价值网络估计<math>v_\psi(z_{t+1})</math>。为了统一适配连续与离散动作环境，Dreamer在想象轨迹中使用REINFORCE策略梯度近似目标：<math>\nabla_\theta J \approx \mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \nabla_\theta \log \pi_\theta(a_t|z_t)\right]</math>。其中，<math>R_t^\lambda</math>是基于λ-return构建的多步累计回报，<math>v_\psi(z_t)</math>为价值网络提供的基线，二者之差作为优势估计（advantage），用于减少策略梯度估计的方差。策略网络的整体损失函数定义为：<math>L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right]</math>。其中，第一项是基于优势的策略梯度项，第二项是熵正则项（<math>\eta</math>为熵系数），用于鼓励策略的随机性与探索。<br>'''鲁棒回报归一化'''<br>为了进一步提升训练稳定性，Dreamer引入了**鲁棒回报归一化（robust return normalization）**机制，以应对不同任务中奖励尺度差异带来的训练不平衡问题。具体做法是：在每个模拟批次中，收集所有<math>R_t^\lambda</math>，取第5百分位<math>P_5</math>与第95百分位<math>P_{95}</math>，定义有效范围：<math>S = P_{95} - P_5</math>。并对<math>S</math>进行指数滑动平均平滑处理。归一化优势的计算公式为：<math>\text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)}</math>。这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项<math>\eta H(\pi)</math>的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。此外，Dreamer统一采用固定的小熵系数（如<math>\eta = 3 \times 10^{-4}</math>），无需根据任务单独调整。<br>'''世界模型冻结策略'''<br>为了保证训练的稳定性，Dreamer在策略优化阶段冻结世界模型参数，即策略网络更新过程中不会反向修改RSSM或奖励模型。这种设计保证了策略训练是在一个静态、稳定的模拟环境中进行，符合策略梯度理论假设，避免了模型和策略间相互干扰导致的震荡与不稳定。
----
----