761
个编辑
更改
→3.1 系统架构
=== '''3.1 系统架构''' ===
=== '''3.1 系统架构''' ===
==== 编码器-解码器（Encoder-Decoder） ====
在Dreamer框架中，深度模型基于编码器-解码器架构，从高维感知输入（如图像）中学习紧凑的潜在表示。编码器通常由卷积神经网络（CNN）构成，用于提取图像观测的高层特征。具体地，编码器将每个观测<math>x_t</math>映射为随机潜在变量<math>z_t</math>的分布参数，例如连续高斯分布的均值和方差，或离散多分类分布的概率值。在早期方法（如PlaNet和DreamerV1）中，潜在变量<math>z_t</math>采用连续高斯分布表示。编码器输出均值<math>\mu_t</math>和标准差<math>\sigma_t</math>，并通过重参数化采样获得<math>z_t</math>。DreamerV2进一步引入了离散潜在表示：将图像编码为多个独立的分类随机变量，每个变量取值于有限类别集合。例如，DreamerV2将每幅图像映射为32个独立的分类分布，每个分布有32个可能类别，通过采样生成32个独热向量，最终连接形成潜在表示<math>z_t</math>。这种离散潜变量设计提升了模型对多模态不确定性的表达能力，使得世界模型能够更好地捕捉环境中潜在的离散变化。为了在反向传播中处理离散采样带来的不可导问题，Dreamer采用了**直通梯度（straight-through gradient）**技巧：1. 在前向传播中，从每个分类分布中采样硬的独热向量；2. 在反向传播时，使用对应的软概率分布作为梯度近似。这种处理方式兼顾了离散表示的表达力和可微分性，使得整个编码器模块能够通过标准反向传播高效训练。
<br>
*'''解码器与观测重构''''：解码器（observation model）负责从潜在状态重构原始观测<math>\hat{x}_t</math>。通常，解码器由卷积神经网络（CNN）的反向结构（如转置卷积）构成，用于将潜在表示还原为观测空间的分布参数。在Dreamer框架中，给定当前潜在状态（包括确定性隐状态<math>h_t</math>和随机成分<math>z_t</math>），解码器输出观测的概率分布，如图像像素的强度分布。具体地，对于图像重建任务：<br> 1. PlaNet和DreamerV1/V2多采用高斯分布或伯努利分布对像素值建模；<br> 2. 优化过程中，分别对应于均方误差（MSE）损失或对数似然损失。<br> 3. DreamerV3进一步在解码器输出中引入了symlog变换处理：将原空间的像素或向量值应用对称对数压缩变换：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。<br> 4. 在symlog空间计算均方误差损失。<br>这种变换能够在保持小值分辨率的同时压缩极端取值范围，提升了模型在不同尺度环境下的重构稳定性，避免了因大幅度数值变化导致的训练不稳定问题。
==== 潜在动力学模型（Latent Dynamics Model） ====
==== 潜在动力学模型（Latent Dynamics Model） ====
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：