5,443
个编辑
更改
跳到导航
跳到搜索
第472行：
第472行： − 连续时间马尔科夫链和离散时间马尔科夫链同样具有马尔科夫性质。它们之间的区别在于，离散时间马尔科夫链可以用不变的转移概率矩阵<math>P</math>描述，但在连续时间马尔科夫链中，转移概率矩阵<math>P(t)</math>会依赖于状态之间的时间间隔<math>t ,t\in \R</math>。<ref name=":9">何书元. 随机过程, 北京大学出版社,2008, 204-253.</ref>+ + + + + + + + + + + + + + − 处理实际问题时，<math>P(t)</math>并不容易得到，所以我们常用容易得到的不依赖于<math>t</math>的转移速率矩阵<math>Q</math>来刻画连续时间马尔科夫链的性质，对转移速率矩阵<math>Q</math>更严格的定义会在后面给出。这部分主要目的是将离散时间马尔科夫链中的概念扩展到连续时间马尔科夫链中，更详细的内容见[[连续时间马尔科夫链]]。 第480行：
第492行： − + 第519行：
第531行： − + 第534行：
第546行： − +
→连续时间马尔科夫链
==连续时间马尔科夫链==
==连续时间马尔科夫链==
我们先以一个简单的例子说明为何要引入连续时间马尔科夫链(Continuous-Time Markov Chain，CTMC)。假设我们观察一个灯泡的运行状态，其状态空间只有两种：正常（工作）和故障（损坏）。初始时灯泡正常工作，而从正常到故障的转移时间服从指数分布，故障率为λ。如果我们试图用离散时间马尔科夫链（Discrete-Time Markov Chain，DTMC）来描述这一过程，就会遇到明显的局限性。
在DTMC中，状态转移只能发生在固定的时间步长上（如每小时、每天等），而灯泡的故障却可能在任意连续时间点发生。如果我们强行采用离散时间建模，就必须人为设定一个时间间隔<math>Δt</math>，并假设灯泡在每个Δt内以概率<math>p=1−e^{−λΔt}</math>（详见转移概率矩阵与转移速率矩阵关系一节）发生故障。然而，这样的近似不仅依赖于<math>Δt</math>的选择，还忽略了故障的真实随机性——灯泡的寿命不受固定时间步长的约束，故障可能发生在任何时刻。
相比之下，CTMC更准确地刻画这一过程。灯泡的故障被建模为瞬时转移，其转移速率矩阵Q（详见转移速率矩阵一节）直接由故障率λ决定：
<math>
Q = \begin{bmatrix}
-\lambda & \lambda \\
0 & 0 \\
\end{bmatrix}
</math>
故障状态作为吸收态，整个过程无需人为划分时间步长，自然反映了状态的连续时间随机转移。这个例子说明，当系统状态变化发生在任意时间点且转移时间服从指数分布时，DTMC会因离散化而失真，而CTMC才是更本质的建模工具。灯泡故障的连续时间特性，正是引入CTMC的必要性所在。
回顾一下之前的定义，我们设<math>S</math>是状态空间，<math>\{X(t)\}=\{X(t)|t\geq 0\}</math>是以<math>S</math>为状态空间的连续时间随机过程。如果对于任意正整数<math>n,t_0<t_1<\dots<t_{n+1}</math>和<math>i,j,i_0,i_1,\dots,i_{n-1}\in S</math>，有
回顾一下之前的定义，我们设<math>S</math>是状态空间，<math>\{X(t)\}=\{X(t)|t\geq 0\}</math>是以<math>S</math>为状态空间的连续时间随机过程。如果对于任意正整数<math>n,t_0<t_1<\dots<t_{n+1}</math>和<math>i,j,i_0,i_1,\dots,i_{n-1}\in S</math>，有
<math>\mathbb{P}(X(t_{n+1})=j|X(t_n)=i,X(t_{n-1})=i_{n-1},\dots,X(t_0)=i_0)=\mathbb{P}(X(t_{n+1})=j|X(t_n)=i)</math>
<math>\mathbb{P}(X(t_{n+1})=j|X(t_n)=i,X(t_{n-1})=i_{n-1},\dots,X(t_0)=i_0)=\mathbb{P}(X(t_{n+1})=j|X(t_n)=i)</math>
则称<math>\{X(t)\}</math>是连续时间离散状态的马尔科夫链，简称为'''连续时间马尔科夫链'''，后面常用英文缩写'''CTMC'''（Continuous-Time Markov Chain）。其中的“链”指状态空间<math>S</math>是离散的。
则称<math>\{X(t)\}</math>是连续时间离散状态的马尔科夫链，简称为'''连续时间马尔科夫链（CTMC）'''。其中的“链”指状态空间<math>S</math>是离散的。
===基本概念===
===基本概念===
====连续时间马尔科夫链中独有的概念====
====连续时间马尔科夫链中独有的概念====
=====转移速率矩阵=====
=====转移速率矩阵=====\label{2}
在CTMC中，我们几乎都是用'''转移速率矩阵'''或者'''转移强度矩阵'''来描述状态转移的规则，记作<math>Q=(q_{ij})_{i,j\in S}</math>，而几乎不用转移概率矩阵。因为CTMC的转移概率矩阵中有一个时间参数t，对于不同的时间参数转移概率矩阵的大小不同，使用起来很麻烦；但在时齐性的前提下，转移速率矩阵是保持不变的，使用起来更加方便。转移速率矩阵具有下面三个重要的性质：
在CTMC中，我们几乎都是用'''转移速率矩阵'''或者'''转移强度矩阵'''来描述状态转移的规则，记作<math>Q=(q_{ij})_{i,j\in S}</math>，而几乎不用转移概率矩阵。因为CTMC的转移概率矩阵中有一个时间参数t，对于不同的时间参数转移概率矩阵的大小不同，使用起来很麻烦；但在时齐性的前提下，转移速率矩阵是保持不变的，使用起来更加方便。转移速率矩阵具有下面三个重要的性质：
=====转移速率矩阵与转移概率矩阵关系=====
=====转移速率矩阵与转移概率矩阵关系===== \label{1}
在这一节我们给出转移速率矩阵和转移概率矩阵之间关系推导思路，供感兴趣的读者参考，先给定转移概率矩阵<math>P(t)</math>，看看怎么能得到转移速率矩阵<math>Q</math>。对于离散时间马尔科夫链的一步转移概率矩阵<math>P</math>可以唯一决定<math>n</math>步转移概率矩阵：<math>P(n)=P^n</math>。但是对于CTMC，并不存在一个最小的正数<math>\delta</math>，使得对于任意正数<math>t</math>，存在正整数<math>n</math>，有<math>P(t)=P(\delta)^n</math>成立。对于任意<math>\epsilon>0</math>，可以证明<math>\{P(s)|0<s\leq\epsilon\}</math>可以决定所有的<math>P(t)</math>。这就提示我们，<math>P(t)</math>可能被<math>P'(0)=\lim_{s\to 0^+}(P(s)-P(0))/s</math>唯一决定。这个极限是否存在呢？
在这一节我们给出转移速率矩阵和转移概率矩阵之间关系推导思路，供感兴趣的读者参考，先给定转移概率矩阵<math>P(t)</math>，看看怎么能得到转移速率矩阵<math>Q</math>。对于离散时间马尔科夫链的一步转移概率矩阵<math>P</math>可以唯一决定<math>n</math>步转移概率矩阵：<math>P(n)=P^n</math>。但是对于CTMC，并不存在一个最小的正数<math>\delta</math>，使得对于任意正数<math>t</math>，存在正整数<math>n</math>，有<math>P(t)=P(\delta)^n</math>成立。对于任意<math>\epsilon>0</math>，可以证明<math>\{P(s)|0<s\leq\epsilon\}</math>可以决定所有的<math>P(t)</math>。这就提示我们，<math>P(t)</math>可能被<math>P'(0)=\lim_{s\to 0^+}(P(s)-P(0))/s</math>唯一决定。这个极限是否存在呢？