48
个编辑
更改
跳到导航
跳到搜索
第25行：
第25行： − + 第37行：
第37行： − + 第51行：
第51行： − 马尔科夫链的粗粒化可以分成Hard partitioning和Soft partitioning。Hard partitioning是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而soft partitioning则会有可能出现这种情况。 − 我们这里主要讨论hard partitioning，主要参考的是Anru Zhang和Mengdi Wang的Spectral State Compression of Markov Processes<ref name=":0">Zhang, Anru, and Mengdi Wang. "Spectral state compression of markov processes." ''IEEE transactions on information theory'' 66.5 (2019): 3202-3231.</ref>。+ + + + + + + + + + + +
无编辑摘要
多数文献中会出现如此一个定义：
多数文献中会出现如此一个定义：
对状态空间<math>S</math>和转移函数<math>T(t):S->S</math>，我们需要一个投影矩阵<math>R:S->S'</math>，和一个新的转移函数<math>T'(t):S'->S'</math>，而且S'和T'要符合马尔科夫链定义。
对状态空间<math>S</math>和转移函数<math>T(t):S->S</math>，我们需要一个投影矩阵<math>R:S->S'</math>，和一个新的转移函数<math>T'(t):S'->S'</math>，而且<math>S'</math>和<math>T'</math>要符合马尔科夫链定义。
所以，我们能看出<math>R</math>是一个对状态空间<math>S</math>的降维函数（得到<math>S'</math>）。而且，我们还需要把<math>T</math>降维成<math>T'</math>。如果<math>T:s_{t+1} = s_{t} P</math>，<math>P</math>为离散马尔科夫矩阵的话，这个针对马尔科夫矩阵的降维可以表示为
所以，我们能看出<math>R</math>是一个对状态空间<math>S</math>的降维函数（得到<math>S'</math>）。而且，我们还需要把<math>T</math>降维成<math>T'</math>。如果<math>T:s_{t+1} = s_{t} P</math>，<math>P</math>为离散马尔科夫矩阵的话，这个针对马尔科夫矩阵的降维可以表示为
马尔科夫链的粗粒化可以分成Hard partitioning和Soft partitioning。Hard partitioning是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而soft partitioning则会有可能出现这种情况。
马尔科夫链的粗粒化可以分成Hard partitioning和Soft partitioning。Hard partitioning是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而soft partitioning则会有可能出现这种情况。
在hard aprtitioning的情况下，<math>V_{i, j} = 1\ if\ s_i \in s_j'\ and\ 0\ otherwise</math>。而<math>W = D^{-1}(V)^T, D = diag(\alpha V)</math>，其中<math>\alpha</math>是一个非负对角矩阵。
在hard aprtitioning的情况下，<math>V_{i, j} = 1\ if\ s_i \in s_j'\ and\ 0\ otherwise</math>，即一个表示<math>i</math>属于<math>j</math>列的零一分组矩阵。而<math>W = D^{-1}(V)^T, D = diag(\alpha V)</math>，其中<math>\alpha</math>是一个非负对角矩阵。
所以，我们能看到，对马尔科夫链做粗粒化的时候，不仅要对状态空间做降维(<math>R</math>)，还要对马尔科夫矩阵都要做降维(<math>V</math>)，当中也包含了对概率空间的降维(<math>W</math>)。
所以，我们能看到，对马尔科夫链做粗粒化的时候，不仅要对状态空间做降维(<math>R</math>)，还要对马尔科夫矩阵都要做降维(<math>V</math>)，当中也包含了对概率空间的降维(<math>W</math>)。
因此，根据目前有迹可循的对马尔科夫链的粗粒化的定义来说，我们要求一个良定义的粗粒化方法上述提到过的两个规则：
# 粗粒化后的<math>S'</math>和<math>T'</math>要符合马尔科夫链定义。
# 满足交换律
但是注意，这是我们从不同来源中总结出来的规则。目前我们还没找到一个严格的完备的定义。
而且，这只是最简单，最基本的对马尔科夫链的粗粒化，我们下面会介绍不同的指标，在上述的两个规则之上添加更多的规则会得出基于这些指标的粗粒化的方法。
在这个词条里，我们主要讨论hard partitioning，主要参考的是Anru Zhang和Mengdi Wang的Spectral State Compression of Markov Processes<ref name=":0">Zhang, Anru, and Mengdi Wang. "Spectral state compression of markov processes." ''IEEE transactions on information theory'' 66.5 (2019): 3202-3231.</ref>，对soft state aggregation感兴趣的朋友可以自行参阅S. P. Singh, T. Jaakkola, and M. I. Jordan, “Reinforcement learning with soft state aggregation,” in Proc. Adv. Neural Inf. Process. Syst., 1995, pp. 361–368.
=Rank=
=Rank=