更改

<br>

<br>

*'''解码器与观测重构'''：解码器（observation model）负责从潜在状态重构原始观测<math>\hat{x}_t</math>。通常，解码器由卷积神经网络（CNN）的反向结构（如转置卷积）构成，用于将潜在表示还原为观测空间的分布参数。在Dreamer框架中，给定当前潜在状态（包括确定性隐状态<math>h_t</math>和随机成分<math>z_t</math>），解码器输出观测的概率分布，如图像像素的强度分布。具体地，对于图像重建任务：<br> 1. PlaNet和DreamerV1/V2多采用高斯分布或伯努利分布对像素值建模；<br> 2. 优化过程中，分别对应于均方误差（MSE）损失或对数似然损失。<br> 3. DreamerV3进一步在解码器输出中引入了symlog变换处理：将原空间的像素或向量值应用对称对数压缩变换：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。<br> 4. 在symlog空间计算均方误差损失。<br>这种变换能够在保持小值分辨率的同时压缩极端取值范围，提升了模型在不同尺度环境下的重构稳定性，避免了因大幅度数值变化导致的训练不稳定问题。<br>Dreamer根据不同版本引入了两类潜在变量设计：<br>连续潜变量（PlaNet, DreamerV1）：1. 潜变量<math>z_t</math>建模为多维对角高斯分布；2. 编码器输出每一维的均值<math>\mu_t</math>和标准差<math>\sigma_t</math>；3. 使用**重参数化技巧（reparameterization trick）**进行采样： <math>z_t = \mu_t + \sigma_t \odot \epsilon</math>，其中<math>\epsilon \sim \mathcal{N}(0, I)</math>；4. 保证采样过程可微，支持反向传播训练。<br>离散潜变量（DreamerV2及之后）：1. 潜变量<math>z_t</math>由多个独立的分类随机变量组成；2. 编码器输出每个分类变量的类别概率分布；3. 每个变量通过从分类分布中采样独热向量（one-hot vector）获得；4. 采样时采用直通梯度（straight-through gradient estimator）。这种离散化设计增强了模型捕捉环境中多模态、离散变化特征的能力，提升了世界模型在复杂动态系统中的建模灵活性。

*'''编码器'''：在Dreamer框架中，编码器（Encoder）承担着将高维原始观测<math>x_t</math>映射为低维潜在表示<math>z_t</math>的关键任务。其设计不仅要高效提取观测中的关键信息，还需保证潜在表示能够支持环境动力学建模与未来轨迹模拟。Dreamer系列方法通常采用卷积神经网络（CNN）作为编码器的主体结构，主要特点包括：逐层卷积提取图像观测中的局部与全局特征；将输入<math>x_t</math>映射为一组潜在分布参数（如均值、标准差或分类概率）。编码器最终输出的不是一个确定值，而是潜在变量<math>z_t</math>的概率分布参数，以便支持下游的随机采样与不确定性建模。

<br>

<br>

*'''编码器'''：在Dreamer框架中，编码器（Encoder）承担着将高维原始观测<math>x_t</math>映射为低维潜在表示<math>z_t</math>的关键任务。其设计不仅要高效提取观测中的关键信息，还需保证潜在表示能够支持环境动力学建模与未来轨迹模拟。Dreamer系列方法通常采用卷积神经网络（CNN）作为编码器的主体结构，主要特点包括：逐层卷积提取图像观测中的局部与全局特征；将输入<math>x_t</math>映射为一组潜在分布参数（如均值、标准差或分类概率）。编码器最终输出的不是一个确定值，而是潜在变量<math>z_t</math>的概率分布参数，以便支持下游的随机采样与不确定性建模。

*'''解码器与观测重构'''：解码器（observation model）负责从潜在状态重构原始观测<math>\hat{x}_t</math>。通常，解码器由卷积神经网络（CNN）的反向结构（如转置卷积）构成，用于将潜在表示还原为观测空间的分布参数。在Dreamer框架中，给定当前潜在状态（包括确定性隐状态<math>h_t</math>和随机成分<math>z_t</math>），解码器输出观测的概率分布，如图像像素的强度分布。具体地，对于图像重建任务：<br> 1. PlaNet和DreamerV1/V2多采用高斯分布或伯努利分布对像素值建模；<br> 2. 优化过程中，分别对应于均方误差（MSE）损失或对数似然损失。<br> 3. DreamerV3进一步在解码器输出中引入了symlog变换处理：将原空间的像素或向量值应用对称对数压缩变换：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。<br> 4. 在symlog空间计算均方误差损失。<br>这种变换能够在保持小值分辨率的同时压缩极端取值范围，提升了模型在不同尺度环境下的重构稳定性，避免了因大幅度数值变化导致的训练不稳定问题。<br>Dreamer根据不同版本引入了两类潜在变量设计：<br>连续潜变量（PlaNet, DreamerV1）：1. 潜变量<math>z_t</math>建模为多维对角高斯分布；2. 编码器输出每一维的均值<math>\mu_t</math>和标准差<math>\sigma_t</math>；3. 使用**重参数化技巧（reparameterization trick）**进行采样： <math>z_t = \mu_t + \sigma_t \odot \epsilon</math>，其中<math>\epsilon \sim \mathcal{N}(0, I)</math>；4. 保证采样过程可微，支持反向传播训练。<br>离散潜变量（DreamerV2及之后）：1. 潜变量<math>z_t</math>由多个独立的分类随机变量组成；2. 编码器输出每个分类变量的类别概率分布；3. 每个变量通过从分类分布中采样独热向量（one-hot vector）获得；4. 采样时采用直通梯度（straight-through gradient estimator）。这种离散化设计增强了模型捕捉环境中多模态、离散变化特征的能力，提升了世界模型在复杂动态系统中的建模灵活性。

<br>

<br>