5,443
个编辑
更改
→概率转移矩阵P(t)与Q-矩阵的关系
我们可将<math>q_{ij}</math>看做是<math>5\times 5</math>矩阵中第<math>i</math>行，第<math>j</math>的元素，并补充定义对角线元素<math>q_{ii}=-\sum_{j\neq i}q_{ij}</math>，它绝对值的大小代表了离开房间<math>i</math>的速率，并把这个矩阵记作<math>Q</math>。很明显，只需要用初始分布<math>\lambda</math>描述从哪一个房间出发，再加上<math>Q</math>，我们就完全确定了上面描述的连续时间马尔科夫链。
我们可将<math>q_{ij}</math>看做是<math>5\times 5</math>矩阵中第<math>i</math>行，第<math>j</math>的元素，并补充定义对角线元素<math>q_{ii}=-\sum_{j\neq i}q_{ij}</math>，它绝对值的大小代表了离开房间<math>i</math>的速率，并把这个矩阵记作<math>Q</math>。很明显，只需要用初始分布<math>\lambda</math>描述从哪一个房间出发，再加上<math>Q</math>，我们就完全确定了上面描述的连续时间马尔科夫链。
=====概率转移矩阵P(t)与Q-矩阵的关系=====
=====Q-矩阵=====
我们称一个矩阵<math>Q=(q_{ij}:i,j\in S)</math>为Q-矩阵，当它满足：
我们称一个矩阵<math>Q=(q_{ij}:i,j\in S)</math>为Q-矩阵，当它满足：
实际上任意一个连续时间马尔科夫链都可以用初始分布<math>\lambda</math>和一个Q-矩阵描述；任意给定一个初始分布<math>\lambda</math>和Q-矩阵，都可以确定一个连续时间马尔科夫链。上面直观模型中的矩阵<math>Q</math>就是一个Q-矩阵
实际上任意一个连续时间马尔科夫链都可以用初始分布<math>\lambda</math>和一个Q-矩阵描述；任意给定一个初始分布<math>\lambda</math>和Q-矩阵，都可以确定一个连续时间马尔科夫链。上面直观模型中的矩阵<math>Q</math>就是一个Q-矩阵
=====从P(t)到Q-矩阵=====
读者应该注意到了，我们在最开始定义连续时间马尔科夫链时，用的是<math>P(t)</math>，而现在建立直观模型的时候，用的是矩阵<math>Q</math>，它们之间有什么样的关系呢？
读者应该注意到了，我们在最开始定义连续时间马尔科夫链时，用的是<math>P(t)</math>，而现在建立直观模型的时候，用的是矩阵<math>Q</math>，它们之间有什么样的关系呢？
我们先回顾一下在第一节中对连续时间马尔科夫链的定义：
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>，
若满足<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
与离散时间马尔科夫链一样，若连续时间马尔科夫链的转移概率<math>P(X(t+s)=j|X(s)=i)</math>与初始时刻<math>s</math>无关，那么称该马尔科夫链是时齐的。简记<math>P(X(t+s)=j|X(s)=i)=P_{ij}(t)</math>，相应地记转移概率矩阵为<math>P(t)</math>。特别的，<math>P(0)=I</math>。我们所讨论的连续时间马尔科夫链都是时齐的。
与离散时间马尔科夫链相同，在连续时间马尔科夫链中也能得到C-K方程：
<math>P_{ij}(t+s)=\sum_{k\in S}P_{ik}(t)P_{kj}(s),</math>
对应的矩阵形式为
<math>P(t+s)=P(t)P(s)</math>。
有了C-K方程后，我们可以对<math>P(t)</math>求导，考察它的变化率：
<math>
\begin{aligned}
&\frac{1}{\Delta t}\left(P(t+\Delta t)-P(t)\right)\\
&=\frac{1}{\Delta t}\left(P(t)P(\Delta t)-P(t)\right)\\
&=P(t)\left(\frac{P(\Delta t)-I}{\Delta t}\right)。
\end{aligned}
</math>
当<math>\Delta t \to 0</math>，有<math>P(\Delta t)\to I</math>。假设<math>\lim_{\Delta t\to 0}\frac{P(\Delta t)-I}{\Delta t}</math>存在并记为<math>Q</math>。我们下面证明<math>Q</math>就是一个Q-矩阵。
首先，分析<math>Q</math>矩阵的对角线元素
<math>Q_{ii}=\lim_{\Delta t \to 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}\leq 0</math>，
而非对角线元素
<math>Q_{ij}=\lim_{\Delta t \to 0}\frac{P_{ij}(\Delta t)}{\Delta t}\geq 0\ \ (i\neq j)</math>。
进一步，考察有限空间对应的<math>Q</math>矩阵的行和
<math>\sum_{j}Q_{ij}=\sum_{j}\lim_{\Delta t \to 0}\frac{P_{ij}(\Delta t)-\delta_{ij}}{\Delta t}=
\lim_{\Delta t \to 0}\frac{1}{\Delta t}\sum_{j}\left(P_{ij}(\Delta t)-\delta_{ij}\right)=0
</math>，
即<math>Q</math>矩阵的行和等于0。综合上一小节的Q-矩阵定义，矩阵Q即为Q-矩阵。
于是我们证明了Q矩阵实际上是<math>P(t)</math>在<math>t=0</math>时的变化速率。
由上面的推导，我们知道<math>\frac{d}{dt}P(t)=P(t)Q</math>成立，我们将它称为前向方程。
同理，C-K方程的左式加法的可交换性，可知
<math>
P(t+\Delta t)=P(\Delta t)P(t),
</math>。并且
<math>\frac{d}{dt}P(t)=QP(t)</math>成立，
称为后向方程。
另一方面，如果已知上面的向前方程或者向后方程，给定矩阵<math>Q</math>为Q-矩阵，由初值条件<math>P(0)=I</math>，可以证明微分方程存在唯一解<math>P(t)=e^{Qt}</math>。其中<math>e^{Qt}</math>定义为<math>\</math>
从Q-矩阵到<math>P(t)</math>：C-K方程-》想到指数函数-》想到泰勒级数-》定义<math>P(t)</math>
从Q-矩阵到<math>P(t)</math>：C-K方程-》想到指数函数-》想到泰勒级数-》定义<math>P(t)</math>