5,443
个编辑
更改
跳到导航
跳到搜索
第530行：
第530行： − 我们想与离散时间马尔科夫链中一样，用一个固定的参数描述连续时间马尔科夫链，这个参数称作矩阵Q，它是概率转移矩阵<math>P(t)</math>在零点的右导数。更严格的定义会在后面给出。+ 第583行：
第583行： − − 特别地，当<math>t=na</math>时，利用上式和Chapman-kolmogorov方程可得： − − <math>\mathbf{p}(t)=\mathbf{p}(na)=\mathbf{p}(0)P(na)=\mathbf{p}(0)P(a)^n</math> − − 这和离散时间马尔科夫链概率分布的计算类似。事实上如果在CTMC中固定间隔时间<math>a</math>取样，可以得到一条离散时间马尔科夫链。 第608行：
第602行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + − 定义可达性、互通性、可约性，建立CTMC和离散骨架的可达性关系，讨论周期性。+ + + − （平稳过程与）平稳分布定义、如何用Q定义。+ + + + + + + + + + + + + + + + + − （平稳可逆过程与）平稳可逆分布的定义（与细致平衡条件关系）、平稳可逆分布与平稳分布的关系、用Q描述平稳可逆分布。+ + + + + + + + + + + + + + +
→连续时间马尔科夫链
连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质，并且我们后面会看到，连续时间马尔科夫链的很多性质可以完全由一个离散时间马尔科夫链描述。它们之间的区别在于，离散时间马尔科夫链可以用不变的转移概率矩阵<math>P</math>描述，它本质上描述的是经过单位时间后状态的改变。但在连续时间马尔科夫链中，转移概率矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t ,t\in \R</math>。
连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质，并且我们后面会看到，连续时间马尔科夫链的很多性质可以完全由一个离散时间马尔科夫链描述。它们之间的区别在于，离散时间马尔科夫链可以用不变的转移概率矩阵<math>P</math>描述，它本质上描述的是经过单位时间后状态的改变。但在连续时间马尔科夫链中，转移概率矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t ,t\in \R</math>。
我们想与离散时间马尔科夫链中一样，用一个固定的参数描述连续时间马尔科夫链，这个参数称作连转移速率矩阵<math>Q</math>，它是概率转移矩阵<math>P(t)</math>在零点的右导数。更严格的定义会在后面给出。
回顾一下之前的定义，我们设<math>S</math>是状态空间，<math>\{X(t)\}=\{X(t)|t\geq 0\}</math>是以<math>S</math>为状态空间的连续时间随机过程。如果对于任意正整数<math>n,t_0<t_1<\dots<t_{n+1}</math>和<math>i,j,i_0,i_1,\dots,i_{n-1}\in S</math>，有
回顾一下之前的定义，我们设<math>S</math>是状态空间，<math>\{X(t)\}=\{X(t)|t\geq 0\}</math>是以<math>S</math>为状态空间的连续时间随机过程。如果对于任意正整数<math>n,t_0<t_1<\dots<t_{n+1}</math>和<math>i,j,i_0,i_1,\dots,i_{n-1}\in S</math>，有
其中<math>\mathbf{p}(t)=(p_1(t),p_2(t),\dots),t\geq 0,p_i(t)=\mathbb{P}(X(t)=i),i\in S </math>。
其中<math>\mathbf{p}(t)=(p_1(t),p_2(t),\dots),t\geq 0,p_i(t)=\mathbb{P}(X(t)=i),i\in S </math>。
====转移速率矩阵====
====转移速率矩阵====
<math>(3)q_{ii}=-\sum_{i\neq j}q_{ij}</math>
<math>(3)q_{ii}=-\sum_{i\neq j}q_{ij}</math>
====Kolmogorov方程====
CTMC的转移速率矩阵<math>Q</math>有概率转移矩阵<math>P(t)</math>唯一决定：<math>Q=P'(0)</math>。自然要问：在什么条件下转移速率矩阵<math>Q</math>可以决定转移概率矩阵<math>P(t)</math>？下面就通过Kolmogorov方程回答这个问题。
回忆Chapman-Kolmogorov方程：
<math>p_{ij}(t+s)=\sum_{k\in S}p_{ik}(t)p_{kj}(s),i,j\in S</math>
我们将右边称为前，把左边称为后，在上式两边对后面的<math>t=0</math>求导数，形式上得到
<math>p'_{ij}(s)=\sum_{k\in S}q_{ik}p{kj}(s)</math>
写成矩阵形式得到<math>P'(s)=QP(s)</math>，我们上面这两个式子称作CTMC的'''向后方程'''。同样可以对Chapman-Kolmogorov方程前面的<math>s=0</math>求到，形式上得到：
<math>p'_{ij}(t)=\sum_{k\in S}p_{ik}(t)q_{kj}</math>
写成矩阵形式得到<math>P'(t)=P(t)Q</math>，这两个式子称作CTMC的'''向前方程'''。向前方程和向后方程统称为'''Kolmogorov方程'''。
如果CTMC<math>\{X(t)\}</math>的状态空间<math>S</math>是有限集合，则称<math>\{X(t)\}</math>是'''有限状态CTMC'''。设状态空间<math>S</math>有<math>n</math>个状态，取：
<math>q=\max_{i,j\in S}=\max_{i\in S}q_{ii}</math>
则矩阵<math>Qt</math>元素的绝对值都小于<math>qt</math>,<math>(Qt)^2</math>元素的绝对值都小于<math>n(qt)^2</math>，…，<math>(Qt)^k</math>元素的绝对值都小于<math>n^{k-1}(qt)^k</math>，于是
<math>e^{Qt}\equiv\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k</math>
的每个元素收敛，再关于t逐项求导得到：
<math>(e^{Qt})'=\left(\sum^{\infty}_{k=0}\frac{1}{k!}(Qt)^k\right)'=\sum^{\infty}_{k=1}\frac{1}{(k-1)!}(Qt)^{k-1}Q=e^{Qt}Q</math>
利用这个等式以及向前方程，我们可以证明有限状态CTMC的转移概率矩阵<math>P(t)</math>由转移速率矩阵<math>Q</math>唯一决定，并且有：
<math>P(t)=\sum^{\infty}_{k=0}\frac{1}{k!}=e^{Qt},t\geq 0</math>
===转移过程和演化性质===
===转移过程和演化性质===
====可达、互通和可约性====
====可达、互通和可约性====
和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设<math>S</math>是CTMC<math>\{X(t)\}</math>的状态空间，如果存在<math>t>0</math>使得<math>p_{ij}(t)>0</math>，则称<math>i</math>'''可达'''<math>j</math>，记作<math>i\to j</math>。如果<math>i\to j</math>且<math>j\to i</math>，则称<math>i,j</math>'''互通'''，记作<math>i\leftrightarrow j</math>。如果<math>S</math>的所有状态忽视，则称<math>\{X(t)\}</math>互通。
对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_ii(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后得研究带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。
====平稳分布====
====平稳分布====
类似离散时间马尔科夫链，可以引入CTMC的平稳分布的定义。设<math>P(t)</math>是<math>\{X(t)\}</math>的转移概率矩阵，如果概率分布列<math>\mathbf{p}=(p_0,P_1,\dots)</math>满足
<math>p_j=\sum_{i\in S}p_{i}p_{ij}(t),j\in S</math>
或写成矩阵形式<math>\mathbf{p}=\mathbf{p}P(t)</math>，则称<math>\mathbf(p)</math>是<math>\{X(t)\}</math>的'''平稳分布'''，或平稳不变分布。
更进一步，我们可以定义平稳过程。如果对于任何<math>n\geq1,s>0,0\leq t_0<t_1<\dots<t_n</math>随机向量<math>X(t_0+s),X(t_1+s),\dots,X(t_n+s)</math>和<math>(X(t_0),X(t_1),\dots,X(t_n))</math>同分布，则称<math>\{X(t)\}</math>是'''平稳过程'''。显然，当初始分布为平稳分布<math>\mathbf{p}</math>时，<math>\{X(t)\}</math>为平稳过程。
一般来讲，在实际问题中得到转移速率矩阵<math>Q</math>要容易得多，但是得到转移概率矩阵<math>P(t)</math>相对困难一些。所以要得到CTMC的平稳分布，最好能从转移速率矩阵<math>Q</math>入手。平稳分布的定义<math>\mathbf{p}P(t)=\mathbf{p}</math>提示我们，形式上应当有<math>\mathbf{p}Q=\mathbf{p}P'(t)|_{t=0}=\mathbf{p}'=0</math>。事实上，对于互通的CTMC<math>\{X(t)\}</math>有转移速率矩阵<math>Q</math>，则<math>\{X(t)\}</math>有唯一的平稳分布的充分必要条件是方程组：
<math>\begin{cases}
\mathbf{p}Q=0,\\
\sum_{j\in S}p_j=1
\end{cases}</math>
有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是\{X(t)\}的唯一平稳分布。
====平稳可逆分布====
====平稳可逆分布====
在离散时间马尔科夫链<math>\{X_n\}</math>中，如果概率分布<math>\mathbf{\pi}=(\pi_0,\pi_1,\dots)</math>满足细致平衡条件<math>\pi_ip_{ij}=\pi_jp_{ji}</math>，则称<math>\mathbf{\pi}</math>是<math>\{X_n\}</math>的平稳可逆分布，以平稳可逆分布<math>\mathbf{\pi}</math>为初始分布的<math>\{X_(n)\}</math>称为平稳可逆的。CTCM中也有类似结论。
设<math>\{X(t)\}</math>是平稳过程，如果对于任何<math>0\leq t_1<t_2<\dots<t_n<T</math>，随机向量<math>(X(T-t_1),X(T-t_2),\dots,X(T-t_n))</math>和<math>(X(t_1),X(t_2),\dots,X(t_n))</math>同分布，则称<math>\{X(t)\}</math>是'''平稳可逆过程'''。如果<math>\{X(t)\}</math>是平稳可逆过程，则可以把时间方向倒过来观测这个过程，并且倒过来观测到的这个过程也是CTMC，转移概率和原来的过程一样。
设<math>\{X(t)\}</math>的转移概率矩阵是<math>P(t)</math>，<math>\mathbf{p}=(p_0,p_1,\dots)</math>是概率分布，称
<math>p_ip_{ij}(t)=p_jp_{ji}(t)\ i,j\in S,t\geq 0</math>
为'''细致平衡条件'''，若<math>\mathbf{p}</math>满足细致平衡条件，则称<math>\mathbf{p}</math>为<math>\{X(t)\}</math>的'''平稳可逆分布'''或可逆分布。当<math>\mathbf{p}</math>为<math>\{X(t)\}</math>的平稳可逆分布时，<math>\mathbf{p}</math>也是<math>\{X(t)\}</math>的平稳分布，并且<math>\{X(t)\}</math>以<math>\mathbf{p}</math>为初始分布时，<math>\{X(t)\}</math>是平稳可逆过程。
同样的，由于实际问题中转移速率矩阵<math>Q</math>比转移概率矩阵<math>P(t)</math>更好得到，所以我们也想从转移速率矩阵<math>Q</math>入手得到平稳可逆分布。对上面给出的细致平衡条件的<math>t</math>求导数，并利用<math>q_{ij}=p'_{ij}(0)</math>得到
<math>p_iq_{ij}=p_jq_{ji},\ i,j\in S</math>
显然若细致平衡条件有解，这个方程就有解；那这个方程有解时，细致平衡条件是否有解呢？事实上，若<math>\{X(t)\}</math>互通，有转移速率矩阵<math>Q</math>和平稳分布，则细致平衡条件和这个方程有相同的的非负解，满足这个方程的概率分布<math>\mathbf{p}</math>是<math>\{X(t)\}</math>的平稳可逆分布。所以我们也称<math>p_iq_{ij}=p_jq_{ji}</math>为细致平衡条件。
==参考文献==
==参考文献==
<references />
<references />