5,443
个编辑
更改
→连续时间马尔科夫链
==连续时间马尔科夫链==
==连续时间马尔科夫链==
连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质，并且我们后面会看到，连续时间马尔科夫链的很多性质可以完全由一个离散时间马尔科夫链描述。它们之间的区别在于，离散时间马尔科夫链可以用用不变的概率转移矩阵<math>P</math>描述，它描述的是经过单位时间后状态的改变。但在连续时间马尔科夫链中，状态之间转移所需时间不再是单位时间的整数倍，而可以取任意实数，此时概率转移矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t \in \R</math>。我们想像离散时间马尔科夫链中一样，用一个固定的参数描述连续时间马尔科夫链，这个参数即为<math>Q</math>矩阵，它描述了当<math>t</math>变化时，状态转移矩阵<math>P(t)</math>的变化速率。更严格的定义会在后面给出。
连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质，并且我们后面会看到，连续时间马尔科夫链的很多性质可以完全由一个离散时间马尔科夫链描述。它们之间的区别在于，离散时间马尔科夫链可以用用不变的概率转移矩阵<math>P</math>描述，它描述的是经过单位时间后状态的改变。但在连续时间马尔科夫链中，状态之间转移所需时间不再是单位时间的整数倍，而可以取任意实数，此时概率转移矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t \in \R</math>。我们想像离散时间马尔科夫链中一样，用一个固定的参数描述连续时间马尔科夫链，这个参数是一个Q-矩阵，它描述了当<math>t</math>变化时，状态转移矩阵<math>P(t)</math>的变化速率。更严格的定义会在后面给出。
===基本性质===
===基本性质===
=====Q-矩阵=====
=====Q-矩阵=====
我们称一个矩阵<math>Q=(q_{ij}:i,j\in S)</math>为Q-矩阵，当它满足：
我们称一个矩阵<math>Q=(q_{ij}:i,j\in S)</math>为'''Q-矩阵'''，当它满足：
<math>(i)0\leq -q_{ii}<\infty,\forall i</math>
<math>(i)0\leq -q_{ii}<\infty,\forall i</math>
称状态空间<math>S=\{1,2,\ldots,n\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>(注意此处讨论的是有限状态空间上的马尔科夫链，无限状态空间上的马尔科夫链后面再讨论)，
称状态空间<math>S=\{1,2,\ldots,n\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>(注意此处讨论的是有限状态空间上的马尔科夫链，无限状态空间上的马尔科夫链后面再讨论)，
若满足<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
若满足<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
与离散时间马尔科夫链一样，若连续时间马尔科夫链的转移概率<math>P(X(t+s)=j|X(s)=i)</math>与初始时刻<math>s</math>无关，则称该马尔科夫链是时齐的。简记为<math>P(X(t+s)=j|X(s)=i)=P_{ij}(t)</math>，相应地记转移概率矩阵为<math>P(t)</math>。特别的，<math>P(0)=I</math>。我们所讨论的连续时间马尔科夫链都是时齐的。
与离散时间马尔科夫链一样，若连续时间马尔科夫链的转移概率<math>P(X(t+s)=j|X(s)=i)</math>与初始时刻<math>s</math>无关，则称该马尔科夫链是'''时齐的'''。简记为<math>P(X(t+s)=j|X(s)=i)=P_{ij}(t)</math>，相应地记转移概率矩阵为<math>P(t)</math>。特别的，<math>P(0)=I</math>。我们所讨论的连续时间马尔科夫链都是时齐的。
与离散时间马尔科夫链相同，在连续时间马尔科夫链中也能得到'''C-K方程'''：
<math>P_{ij}(t+s)=\sum_{k\in S}P_{ik}(t)P_{kj}(s),</math>
<math>P_{ij}(t+s)=\sum_{k\in S}P_{ik}(t)P_{kj}(s),</math>
即<math>Q</math>的行和等于0。综合上一小节的Q-矩阵定义，矩阵<math>Q</math>即为Q-矩阵。
即<math>Q</math>的行和等于0。综合上一小节的Q-矩阵定义，矩阵<math>Q</math>即为Q-矩阵。
于是我们证明了<math>P(t)</math>在<math>t=0</math>时的变化速率<math>Q</math>就是一个Q-矩阵，也称<math>Q</math>是这个连续时间马尔科夫链的无穷小矩阵。
于是我们证明了<math>P(t)</math>在<math>t=0</math>时的变化速率<math>Q</math>就是一个Q-矩阵，也称<math>Q</math>是这个连续时间马尔科夫链的'''无穷小矩阵'''。
由上面的推导，我们知道<math>\frac{d}{dt}P(t)=P(t)Q</math>成立，我们将它称为前向方程。
由上面的推导，我们知道<math>\frac{d}{dt}P(t)=P(t)Q</math>成立，我们将它称为'''前向方程'''。
同理，C-K方程的左式加法的可交换性，可知
同理，C-K方程的左式加法的可交换性，可知
经过同样的推导有
经过同样的推导有
<math>\frac{d}{dt}P(t)=QP(t)</math>成立，
<math>\frac{d}{dt}P(t)=QP(t)</math>成立，
称它为'''后向方程'''。
=====从Q-矩阵到<math>P(t)</math>=====
=====从Q-矩阵到<math>P(t)</math>=====