更改

马尔科夫链的粗粒化可以分成硬划分(Hard partitioning)和软划分(Soft partitioning)。硬划分是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而软划分则会有可能出现一个微观状态被分在属于多个宏观类的情况。

马尔科夫链的粗粒化可以分成硬划分(Hard partitioning)和软划分(Soft partitioning)。硬划分是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而软划分则会有可能出现一个微观状态被分在属于多个宏观类的情况。

在硬划分的情况下，<math>\Phi_{i, j} = 1\ if\ s_i \in s_j'\ and\ 0\ otherwise</math><ref name=":1" />，即一个表示<math>i</math>属于<math>j</math>列的零一分组矩阵。如果是软划分的话，<math>\Phi</math>则不一定会是零一矩阵。

在硬划分的情况下，<math>\Phi_{i, j} = 1\ if\ s_i \in s_j'\ and\ 0\ otherwise</math><ref name=":12" />，即一个表示<math>i</math>属于<math>j</math>列的零一分组矩阵。如果是软划分的话，<math>\Phi</math>则不一定会是零一矩阵。

在这个词条里，我们主要讨论硬划分，主要参考的是<ref name=":0">Zhang, Anru, and Mengdi Wang. "Spectral state compression of markov processes." ''IEEE transactions on information theory'' 66.5 (2019): 3202-3231.</ref>，对Soft state aggregation感兴趣的朋友可以自行参阅S. P. Singh, T. Jaakkola, and M. I. Jordan, “Reinforcement learning with soft state aggregation"<ref>Singh, Satinder, Tommi Jaakkola, and Michael Jordan. "Reinforcement learning with soft state aggregation." ''Advances in neural information processing systems'' 7 (1994).</ref>和Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).<ref>Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).</ref>

在这个词条里，我们主要讨论硬划分<ref name=":0">Zhang, Anru, and Mengdi Wang. "Spectral state compression of markov processes." ''IEEE transactions on information theory'' 66.5 (2019): 3202-3231.</ref>。对Soft state aggregation感兴趣的朋友可以自行参阅这两篇文论S. P. Singh, T. Jaakkola, and M. I. Jordan, “Reinforcement learning with soft state aggregation"<ref>Singh, Satinder, Tommi Jaakkola, and Michael Jordan. "Reinforcement learning with soft state aggregation." ''Advances in neural information processing systems'' 7 (1994).</ref>和<ref name=":11">Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).</ref>

|{{EquationRef|1}}}}

|{{EquationRef|1}}}}

其中<math>W \in \mathbb{R}^{r \times n}</math>。Buchholz<ref name=":1">Buchholz, Peter. "Exact and ordinary lumpability in finite Markov chains." ''Journal of applied probability'' 31.1 (1994): 59-75.</ref>的文章中把<math>W</math>称作distributor matrix，而<math>\Phi \in \mathbb{R}^{n \times r}</math>称作collector matrix。

其中<math>W \in \mathbb{R}^{r \times n}</math>。Buchholz<ref name=":12">Buchholz, Peter. "Exact and ordinary lumpability in finite Markov chains." ''Journal of applied probability'' 31.1 (1994): 59-75.</ref>的文章中把<math>W</math>称作distributor matrix，而<math>\Phi \in \mathbb{R}^{n \times r}</math>称作collector matrix。

我们假设了<math>W, \Phi, P, P'</math>都是线性的，所以我们可以看到这个公式描述了图1中从左上角的t时刻宏观状态出发，经过逆向粗粒化<math>W</math>得到了t时刻微观状态，走微观动力学<math>P</math>得到了t+1时刻的微观状态，再经粗粒化<math>\Phi</math>得到t+1时刻的宏观状态。

我们假设了<math>W, \Phi, P, P'</math>都是线性的，所以我们可以看到这个公式描述了图1中从左上角的t时刻宏观状态出发，经过逆向粗粒化<math>W</math>得到了t时刻微观状态，走微观动力学<math>P</math>得到了t+1时刻的微观状态，再经粗粒化<math>\Phi</math>得到t+1时刻的宏观状态。