更改

[[马尔科夫链]]是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。一般的[[马尔科夫链]]包括 <math>N</math> 个状态，所有状态之间的概率转移构成了一个转移概率矩阵 <math>P</math>，该矩阵有 <math>N</math> 行<math>N</math>列。

[[马尔科夫链]]是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。一般的[[马尔科夫链]]包括 <math>N</math> 个状态，所有状态之间的概率转移构成了一个转移概率矩阵 <math>P</math>，该矩阵有 <math>N</math> 行<math>N</math>列，且满足概率归一化条件（所有元素位于0到1之间，所有行的和为1）。本词条限定在平稳马尔科夫链上的讨论，也就是[math]P[/math]不随时间和状态而变。

所谓的马尔科夫链的粗粒化，就是指找到一个新的马尔科夫链，它具有 <math>M<N</math> 状态，其对应的 <math>M</math> 行 <math>M</math> 列的概率转移矩阵 <math>P'</math>，可以看作是对 <math>P</math> 矩阵所描述的动力学过程的一种抽象近似描述。

所谓的马尔科夫链的粗粒化，就是指找到一个新的马尔科夫链，它具有 <math>1<M<N</math> 个状态，其对应的 <math>M</math> 行 <math>M</math> 列的概率转移矩阵为<math>P'</math>，它同样满足概率归一化条件，它可以看作是对 <math>P</math> 矩阵所描述的动力学过程的一种抽象近似的约简。

# 我们在研究一个超多状态的[[复杂系统]]时，并不会关注每一个微观的状态，在粗粒化中我们希望能过滤掉一些我们不感兴趣的噪声和异质性，而从微观尺度中总结一些中尺度或宏观尺度的规律；

# 我们在研究一个超多状态的[[复杂系统]]时，并不会关注每一个微观的状态，在粗粒化中我们希望能过滤掉一些我们不感兴趣的噪声和异质性，而从微观尺度中总结一些中尺度或宏观尺度的规律；

# 在用到[[马尔科夫决策过程]]的[[强化学习]]算法中，对马尔科夫链做粗粒化可以减少[[状态空间]]的大小，提高训练过程的样本效率和任务表现<ref name=":10">Hafner, Danijar, et al. "Mastering atari with discrete world models." arXiv preprint arXiv:2010.02193 (2020).</ref>。

# 在用到[[马尔科夫决策过程]]的[[强化学习]]算法中，对马尔科夫链做粗粒化可以减少[[状态空间]]的大小，提高训练过程的样本效率和任务表现<ref name=":10">Hafner, Danijar, et al. "Mastering atari with discrete world models." arXiv preprint arXiv:2010.02193 (2020).</ref>。

# 首先，我们想尽量'''降低'''动力学在压缩后的'''维度'''；

# 首先，我们想尽量'''降低'''动力学在压缩后的'''维度'''；

# 最后，我们希望压缩后的过程和原本的过程尽量'''保持一致'''。

# 最后，我们希望压缩后的过程和原本的过程尽量'''保持一致'''。