更改

'''潜在动力学模型（Latent Dynamics Model）'''

'''潜在动力学模型（Latent Dynamics Model）'''

PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：   

PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：   

*'''状态转移模型'''：hₜ = f₍ᵩ₎(hₜ₋₁, sₜ₋₁, aₜ₋₁)。该模块通常由GRU等递归神经网络实现。它根据前一时刻的确定性隐状态hₜ₋₁、随机潜在状态sₜ₋₁以及动作aₜ₋₁来更新新的确定性状态hₜ，赋予模型记忆能力并捕捉丰富的非线性动态。

*'''状态转移模型'''：更新公式为： <br><math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。

*'''先验（动力学预测）模型'''：ŝₜ ~ p₍ᵩ₎(sₜ | hₜ)。即在没有观测的情况下，由当前确定性隐状态hₜ预测下一随机潜变量sₜ的分布。在PlaNet和DreamerV1中，先验分布通常建模为高斯分布；而在DreamerV2/V3中，则使用多个独立的分类分布。先验模型使智能体能够在潜在空间中想象未来，通过递归生成潜在状态序列。

*'''动力学预测模型'''：采样规则为： <br><math>\hat{s}t \sim p\phi(s_t \mid h_t)</math>。在缺乏观测时，根据当前<math>h_t</math>预测未来<math>s_t</math>。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。

*'''编码器（后验估计）模型'''：sₜ ~ q₍ᵩ₎(sₜ | hₜ, xₜ)。给定真实观测xₜ，编码器推断当前潜在状态sₜ的后验分布。这相当于在观测到xₜ后对先验预测ŝₜ进行校正。训练时，使用编码器输出的sₜ来计算重构损失，并通过KL散度正则化，使其尽可能接近对应的先验ŝₜ。

*'''编码器（后验估计）模型'''：sₜ ~ q₍ᵩ₎(sₜ | hₜ, xₜ)。给定真实观测xₜ，编码器推断当前潜在状态sₜ的后验分布。这相当于在观测到xₜ后对先验预测ŝₜ进行校正。训练时，使用编码器输出的sₜ来计算重构损失，并通过KL散度正则化，使其尽可能接近对应的先验ŝₜ。

*'''观测解码器模型'''：x̂ₜ ~ p₍ᵩ₎(xₜ | hₜ, sₜ)。从当前完整的隐状态（hₜ与sₜ）解码出观测xₜ的分布。这对应于重构观测的过程，训练时通过最大化观测似然或最小化重构误差来优化。

*'''观测解码器模型'''：x̂ₜ ~ p₍ᵩ₎(xₜ | hₜ, sₜ)。从当前完整的隐状态（hₜ与sₜ）解码出观测xₜ的分布。这对应于重构观测的过程，训练时通过最大化观测似然或最小化重构误差来优化。