5,443
个编辑
更改
→转移过程和演化性质
===转移过程和演化性质===
===转移过程和演化性质===
我们以一个给定转移速率矩阵的CTMC来介绍转移过程和演化性质：
<math>
Q = \begin{pmatrix}
-5 & 2 & 3 \\
1 & -4 & 3 \\
4 & 1 & -5
\end{pmatrix}
</math>
====可达、互通和可约性====
====可达、互通和可约性====
和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态互通，则称<math>\{X(t)\}</math>互通。
和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态互通，则称<math>\{X(t)\}</math>互通。上面这个例子中，所有状态之间均存在转移路径，因此所有状态互通，该CTMC是不可约的。
对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_{ii}(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后的讨论带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。
对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_{ii}(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后的讨论带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。
有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的唯一平稳分布。
有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的唯一平稳分布。
通过解上面的第一个条件给出的线性方程组，可以得到本节例子的唯一平稳分布<math>\pi=(\frac{5}{18},\frac{4}{18},\frac{1}{2})</math>，很容易它也符合上面的第二个条件。
====平稳可逆过程====
====平稳可逆过程====
显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。
显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。
我们本节开头给出的CTMC是不是可逆的呢？以状态0和1为例，有<math>\pi_0q_{01}=\frac{5}{9}\neq\frac{2}{9}=\pi_1q_{10}</math>，不满足细致平衡条件，所以这个CTMC是不可逆的。
===连续时间马尔科夫链的粗粒化===
===连续时间马尔科夫链的粗粒化===