812
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 马尔科夫矩阵是指满足每一行和为1的条件的方阵，而马尔科夫链指的是一个n维的状态的序列<math>s^{(t)}\ = \{1, ..., n\}^{(t)}</math>，每一步的状态转换都有马尔科夫矩阵<math>P</math>决定，即<math>p(s^{(t+1)}) = p(s^{(t)}) P</math>。+ − <math>P</math>的每一行对应的每个状态转移到其他状态的概率，即<math>p_{ij} = p(s^{(t+1)} = j | s^{(t)} = i)</math>。比如，当<math>s^{(t)}</math>等于第一个状态的时候，<math>P</math>的第一行展示了<math>s^{(t+1)}</math>状态的概率。+ + + + + − − 对马尔科夫链做粗粒化的意义是什么呢？我们看到文献中着重强调这两点： − #我们在研究一个超大的系统的时候，比如复杂城市系统时，并不会关注每一个微观的状态的变化，在粗粒化中我们希望能过滤掉一些我们不感兴趣的噪声和异质性，而从中微观尺度中总结一些中尺度或宏观尺度的规律； − #有些状态的转移概率非常相似，所以可以被看成同一类状态，对这种马尔科夫链做partitioning可以减少系统表示的冗余性； − #在用到马尔科夫决策过程的强化学习里，对马尔科夫链做粗粒化可以减少状态空间的大小，提高训练效率。
无编辑摘要
[[马尔科夫链]]是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。它可以看作一个n维的状态的序列<math>s^{(t)}\ = \{1, ..., n\}^{(t)}</math>，每一步的状态转换都有马尔科夫矩阵（满足每一行和为1的条件的方阵）<math>P</math>决定，即<math>p(s^{(t+1)}) = p(s^{(t)}) P</math>。<math>P</math>的每一行对应的每个状态转移到其他状态的概率，即<math>p_{ij} = p(s^{(t+1)} = j | s^{(t)} = i)</math>。比如，当<math>s^{(t)}</math>等于第一个状态的时候，<math>P</math>的第一行展示了<math>s^{(t+1)}</math>状态的概率。
对马尔科夫链做粗粒化的意义是什么呢？我们看到文献中着重强调这三点：
#我们在研究一个超大的系统的时候，比如复杂城市系统时，并不会关注每一个微观的状态的变化，在粗粒化中我们希望能过滤掉一些我们不感兴趣的噪声和异质性，而从中微观尺度中总结一些中尺度或宏观尺度的规律；
#有些状态的转移概率非常相似，所以可以被看成同一类状态，对这种马尔科夫链做partitioning可以减少系统表示的冗余性；
#在用到马尔科夫决策过程的强化学习里，对马尔科夫链做粗粒化可以减少状态空间的大小，提高训练过程的样本效率和任务表现。【Hafner, Danijar, et al. "Mastering atari with discrete world models." arXiv preprint arXiv:2010.02193 (2020).】
在粗粒化过程中，我们有很多目标。首先，我们想尽量降低压缩后的动力学维度；其次，我们想在压缩过程中尽量保留动力学中的信息；最后，我们想要压缩后的过程和原本的过程尽量保持一致。在这篇文章里，我们会围绕着这三个维度展开讨论，并介绍一系列针对马尔科夫链的粗粒化方法。