5,443
个编辑
更改
→转移过程和演化性质
===转移过程和演化性质===
===转移过程和演化性质===
====可达、互通和可约性====
====可达、互通和可约性====
和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态互通，则称<math>\{X(t)\}</math>互通。上面这个例子中，所有状态之间均存在转移路径，因此所有状态互通，该CTMC是不可约的。
和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态互通，则称<math>\{X(t)\}</math>互通。上面这个例子中，所有状态之间均存在转移路径，因此所有状态互通，该CTMC是不可约的。
有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的唯一平稳分布。
有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的唯一平稳分布。
对于一个转移速率矩阵如下的CTMC
<math>
Q = \begin{pmatrix}
-5 & 2 & 3 \\
1 & -4 & 3 \\
4 & 1 & -5
\end{pmatrix}
</math>
通过解上面的第一个条件给出的线性方程组，可以这个CTMC的唯一平稳分布<math>\pi=(\frac{5}{18},\frac{4}{18},\frac{1}{2})</math>，很容易它也符合上面的第二个条件。
====平稳可逆过程====
====平稳可逆过程====
显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。
显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。
我们上面计算出来的平稳分布是不是可逆的呢？以状态0和1为例，有<math>\pi_0q_{01}=\frac{5}{9}\neq\frac{2}{9}=\pi_1q_{10}</math>，不满足细致平衡条件，所以这个CTMC是不可逆的。
而对于另一个转移速率矩阵：
<math>
Q = \begin{pmatrix}
-2 & 1 & 1 \\
1 & -2 & 1 \\
1 & 1 & -2
\end{pmatrix}
</math>
很容易通过上一节的方法算出它的平稳分布为均匀分布<math>\pi=(\frac{1}{3},\frac{1}{3},\frac{1}{3})</math>，并且它满足<math>\pi_iq_{ij}=\pi_jq_{ji}</math>，所以<math>\pi</math>是该转移速率矩阵的平稳可逆分布。
===连续时间马尔科夫链的粗粒化===
===连续时间马尔科夫链的粗粒化===