更改

连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质。它们之间的区别在于，离散时间马尔科夫链可以用不变的转移概率矩阵<math>P</math>描述，但在连续时间马尔科夫链中，转移概率矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t ,t\in \R</math>。<ref name=":8">何书元. 随机过程, 北京大学出版社,2008, 204-253.</ref>

连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质。它们之间的区别在于，离散时间马尔科夫链可以用不变的转移概率矩阵<math>P</math>描述，但在连续时间马尔科夫链中，转移概率矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t ,t\in \R</math>。<ref name=":8">何书元. 随机过程, 北京大学出版社,2008, 204-253.</ref>

处理实际问题时，<math>P(t)</math>并不容易得到，所以我们常用容易得到的不依赖与<math>t</math>的转移速率矩阵<math>Q</math>来刻画连续时间马尔科夫链的性质，对转移速率矩阵<math>Q</math>更严格的定义会在后面给出。这部分主要是将离散时间马尔科夫链中的概念扩展到连续时间马尔科夫链中，更详细的内容见[[连续时间马尔科夫链]]。

处理实际问题时，<math>P(t)</math>并不容易得到，所以我们常用容易得到的不依赖于<math>t</math>的转移速率矩阵<math>Q</math>来刻画连续时间马尔科夫链的性质，对转移速率矩阵<math>Q</math>更严格的定义会在后面给出。这部分主要目的是将离散时间马尔科夫链中的概念扩展到连续时间马尔科夫链中，更详细的内容见[[连续时间马尔科夫链]]。

回顾一下之前的定义，我们设<math>S</math>是状态空间，<math>\{X(t)\}=\{X(t)|t\geq 0\}</math>是以<math>S</math>为状态空间的连续时间随机过程。如果对于任意正整数<math>n,t_0<t_1<\dots<t_{n+1}</math>和<math>i,j,i_0,i_1,\dots,i_{n-1}\in S</math>，有

回顾一下之前的定义，我们设<math>S</math>是状态空间，<math>\{X(t)\}=\{X(t)|t\geq 0\}</math>是以<math>S</math>为状态空间的连续时间随机过程。如果对于任意正整数<math>n,t_0<t_1<\dots<t_{n+1}</math>和<math>i,j,i_0,i_1,\dots,i_{n-1}\in S</math>，有

====历史遗忘性====

====历史遗忘性====

在CTMC的定义中，我们描述了已知一个时间点的状态时，以后的过程与以前任意有限个时间点独立；事实上，已知一个时间点的状态时，以后得过程与以前任意时间点都独立。即对于<math>t>0</math>，已知<math>X(t)=i</math>的条件下，将来随机过程<math>\{X(u)|u>t\}</math>与过去随机过程<math>\{X(v)|0\leq v<t\}</math>独立。

在CTMC的定义中，我们描述了已知一个时间点的状态时，以后的过程与以前任意有限个时间点独立；事实上，已知一个时间点的状态时，以后的过程与以前任意时间点都独立。即对于<math>t>0</math>，已知<math>X(t)=i</math>的条件下，将来随机过程<math>\{X(u)|u>t\}</math>与过去随机过程<math>\{X(v)|0\leq v<t\}</math>独立。

====时齐性====

====时齐性====

<math>\lim_{t\to 0^+}=\frac{p_{ij}(t)-p_{ij}(0)}{t}=q_{ij}</math>

<math>\lim_{t\to 0^+}=\frac{p_{ij}(t)-p_{ij}(0)}{t}=q_{ij}</math>

由于<math>p_{ij}(t)</math>是CTMC从<math>i</math>出发，经过<math>t</math>时间后处于<math>j</math>的概率，所以称<math>q_{ij}</math>是某一时刻从<math>i</math>出发，下一步向<math>j</math>转移的速率或强度。称下面的矩阵为CTMC的'''转移速率矩阵'''或者'''转移强度矩阵'''：

由于<math>p_{ij}(t)</math>是CTMC从<math>i</math>出发，经过<math>t</math>时间后处于<math>j</math>的概率，所以相应的，我们称<math>q_{ij}</math>是某一时刻从<math>i</math>出发，下一步向<math>j</math>转移的速率或强度。称下面的矩阵为CTMC的'''转移速率矩阵'''或者'''转移强度矩阵'''：

<math>Q=(q_{ij})_{i,j\in S}</math>

<math>Q=(q_{ij})_{i,j\in S}</math>

====Kolmogorov方程====

====Kolmogorov方程====

CTMC的转移速率矩阵<math>Q</math>有概率转移矩阵<math>P(t)</math>唯一决定：<math>Q=P'(0)</math>。自然要问：在什么条件下转移速率矩阵<math>Q</math>可以决定转移概率矩阵<math>P(t)</math>？下面就通过Kolmogorov方程回答这个问题。

CTMC的转移速率矩阵<math>Q</math>由转移概率矩阵<math>P(t)</math>唯一决定：<math>Q=P'(0)</math>。自然要问：在什么条件下转移速率矩阵<math>Q</math>可以决定转移概率矩阵<math>P(t)</math>？下面就通过Kolmogorov方程回答这个问题。

回忆Chapman-Kolmogorov方程：

回忆Chapman-Kolmogorov方程：

如果CTMC<math>\{X(t)\}</math>的状态空间<math>S</math>是有限集合，则称<math>\{X(t)\}</math>是'''有限状态CTMC'''。设状态空间<math>S</math>有<math>n</math>个状态，取：

如果CTMC<math>\{X(t)\}</math>的状态空间<math>S</math>是有限集合，则称<math>\{X(t)\}</math>是'''有限状态CTMC'''。设状态空间<math>S</math>有<math>n</math>个状态，取：

<math>q=\max_{i,j\in S}=\max_{i\in S}q_{ii}</math>

<math>q=\max_{i,j\in S}q_{ij}=\max_{i\in S}q_{ii}</math>

则矩阵<math>Qt</math>元素的绝对值都小于<math>qt</math>,<math>(Qt)^2</math>元素的绝对值都小于<math>n(qt)^2</math>，…，<math>(Qt)^k</math>元素的绝对值都小于<math>n^{k-1}(qt)^k</math>，于是

则矩阵<math>Qt</math>元素的绝对值都小于<math>qt</math>,<math>(Qt)^2</math>元素的绝对值都小于<math>n(qt)^2</math>，…，<math>(Qt)^k</math>元素的绝对值都小于<math>n^{k-1}(qt)^k</math>，于是下面级数中每个元素都收敛

<math>e^{Qt}\equiv\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k</math>

<math>e^{Qt}\equiv\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k</math>

<math>(e^{Qt})'=\left(\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k\right)'=\sum^{\infty}_{k=1}\frac{1}{(k-1)!}(Qt)^{k-1}Q=e^{Qt}Q</math>

<math>(e^{Qt})'=\left(\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k\right)'=\sum^{\infty}_{k=1}\frac{1}{(k-1)!}(Qt)^{k-1}Q=e^{Qt}Q</math>

利用这个等式以及向前方程（也可以用向后方程证明），我们可以证明有限状态CTMC的转移概率矩阵<math>P(t)</math>由转移速率矩阵<math>Q</math>唯一决定，并且有：

利用这个等式以及向前方程（也可以用向后方程证明），我们可以证明有限状态CTMC的转移概率矩阵<math>P(t)</math>由转移速率矩阵<math>Q</math>唯一决定，并且有：

<math>P(t)=\sum^{\infty}_{k=0}\frac{1}{k!}=e^{Qt},t\geq 0</math>

<math>P(t)=\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k=e^{Qt},t\geq 0</math>

===转移过程和演化性质===

===转移过程和演化性质===

====可达、互通和可约性====

====可达、互通和可约性====

和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是CTMC<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态忽视，则称<math>\{X(t)\}</math>互通。

和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态互通，则称<math>\{X(t)\}</math>互通。

对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_ii(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后得研究带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。

对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_{ii}(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后的讨论带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。

====平稳过程====

====平稳过程====

或写成矩阵形式<math>\mathbf{p}=\mathbf{p}P(t)</math>，则称<math>\mathbf(p)</math>是<math>\{X(t)\}</math>的'''平稳分布'''，或平稳不变分布。

或写成矩阵形式<math>\mathbf{p}=\mathbf{p}P(t)</math>，则称<math>\mathbf(p)</math>是<math>\{X(t)\}</math>的'''平稳分布'''，或平稳不变分布。

更进一步，我们可以定义平稳过程。如果对于任何<math>n\geq1,s>0,0\leq t_0<t_1<\dots<t_n</math>随机向量<math>X(t_0+s),X(t_1+s),\dots,X(t_n+s)</math>和<math>(X(t_0),X(t_1),\dots,X(t_n))</math>同分布，则称<math>\{X(t)\}</math>是'''平稳过程'''。显然，当初始分布为平稳分布<math>\mathbf{p}</math>时，<math>\{X(t)\}</math>为平稳过程。

更进一步，我们可以定义平稳过程。如果对于任何<math>n\geq1,s>0,0\leq t_0<t_1<\dots<t_n</math>随机向量<math>(X(t_0+s),X(t_1+s),\dots,X(t_n+s))</math>和<math>(X(t_0),X(t_1),\dots,X(t_n))</math>同分布，则称<math>\{X(t)\}</math>是'''平稳过程'''。显然，当初始分布为平稳分布<math>\mathbf{p}</math>时，<math>\{X(t)\}</math>为平稳过程。

一般来讲，在实际问题中得到转移速率矩阵<math>Q</math>要容易得多，但是得到转移概率矩阵<math>P(t)</math>相对困难一些。所以要得到CTMC的平稳分布，最好能从转移速率矩阵<math>Q</math>入手。平稳分布的定义<math>\mathbf{p}P(t)=\mathbf{p}</math>提示我们，形式上应当有<math>\mathbf{p}Q=\mathbf{p}P'(t)|_{t=0}=\mathbf{p}'=0</math>。事实上，对于互通的CTMC<math>\{X(t)\}</math>有转移速率矩阵<math>Q</math>，则<math>\{X(t)\}</math>有唯一的平稳分布的充分必要条件是方程组：

一般来讲，在实际问题中得到转移速率矩阵<math>Q</math>要容易得多，但是得到转移概率矩阵<math>P(t)</math>相对困难一些。所以要得到CTMC的平稳分布，最好能从转移速率矩阵<math>Q</math>入手。平稳分布的定义<math>\mathbf{p}P(t)=\mathbf{p}</math>提示我们，形式上关于t求导应当有<math>\mathbf{p}Q=\mathbf{p}P'(t)|_{t=0}=\mathbf{p}'=0</math>。事实上，如果互通的CTMC<math>\{X(t)\}</math>有转移速率矩阵<math>Q</math>，则<math>\{X(t)\}</math>有唯一的平稳分布的充分必要条件是方程组：

<math>\begin{cases}

<math>\begin{cases}

\end{cases}</math>

\end{cases}</math>

有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是\{X(t)\}的唯一平稳分布。

有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是<math>\{X(t)\}<\math>的唯一平稳分布。

====平稳可逆过程====

====平稳可逆过程====

显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。

显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。

==参考文献==

==参考文献==

<references />

<references />