| 第510行： |
第510行： |
| | | | |
| | ==连续时间马尔科夫链== | | ==连续时间马尔科夫链== |
| − | ===<math>Q</math>矩阵及其指数===
| |
| − | 在本节中我们首先引入Q矩阵的定义、说明它在连续时间马尔科夫链中的地位。接着进入纯粹的数学讨论，探讨如何将矩阵幂次连续化。最后我们会利用将矩阵幂次连续化的方法，建立连续时间马尔科夫链中Q矩阵与离散时间马尔科夫链中转移概率矩阵的等价关系。
| |
| | | | |
| − | ====<math>Q</math>矩阵==== | + | ===基本性质=== |
| − | 令<math>I</math>为一个可数集，<math>I</math>上的矩阵<math>Q=(q_{ij}:i,j\in I)</math>若满足下面三个条件，则称其为<math>Q</math>矩阵：
| + | ====有限状态空间==== |
| | + | =====直观模型===== |
| | + | =====模型参数===== |
| | + | =====P(t)与Q的关系 |
| | + | ====无限状态空间==== |
| | + | =====爆炸===== |
| | + | =====P(t)与Q的关系 |
| | | | |
| − | # <math>0\leq -q_{ii}<\infty ,\forall I</math>
| |
| − | # <math>q_{ij}\geq 0, \forall i\neq j</math>
| |
| − | # <math>\sum_{j\in I}q_{i,j}=0, \forall I</math>
| |
| | | | |
| − | 有上面三个条件可知<math>Q</math>矩阵的每一行中的非对角线元素可以为任意非负实数，只需要满足每行非对角元素之和有限这一个限制:<math>q_i=\sum_{j\neq i}q_{ij}<\infty</math>。由于条件3使每一行的行和为零，所以对角线元素<math>q_{ii}=-q_{i}</math>
| + | ===过程描述=== |
| − | | + | ====转移过程==== |
| − | 一种可以非常方便地展示Q矩阵的方法是通过转移速率图：
| + | =====可约性===== |
| − | | + | =====周期性===== |
| − | [[File:连续马尔科夫链图片示意.png|400px]]
| + | ====演化性质==== |
| − | | + | =====平稳分布===== |
| − | 每一张转移速率图都与一个唯一的<math>Q</math>矩阵对应，上面图像对应的<math>Q</math>矩阵为：
| + | =====细致平衡条件===== |
| − | | + | =====时间可逆性===== |
| − | <math>Q=\begin{pmatrix}
| |
| − | -2 & 1 & 1 \\
| |
| − | 1 & -1 & 0 \\
| |
| − | 2 & 1 & -3
| |
| − | \end{pmatrix}
| |
| − | </math>
| |
| − | | |
| − | 每一个非对角元素<math>q_{ij}</math>都确定了转移速率图中<math>(i,j)</math>箭头上的值，<math>q_i</math>的值并没有在转移速率图中出现，但你可以很容易地从给出的数值中算出来。<math>q_{ij}</math>是从<math>i</math>状态到<math>j</math>状态转移的速率，<math>q_i</math>的是离开状态<math>i</math>的速率，我们后面会详细解释它们的意义。
| |
| − | | |
| − | ====矩阵幂次的连续化====
| |
| − | | |
| − | 现在我们考虑一个纯粹的数学问题：对于一个有限集合<math>I</math>，以及一个矩阵<math>P= (p_{ij} : i,j\in I)</math>，是否存在一种自然的方式将离散序列<math>P^1,P^2,P^3…</math>中的“空隙”填满？我们利用级数来解决这个问题。
| |
| − | | |
| − | | |
| − | 对于任意一个矩阵<math>Q=(q_{ij} : i,j \in I)</math>（注意本小节的<math>Q</math>指的任意矩阵，而不需要是<math>Q</math>矩阵），级数<math>\sum_{k=0}^\infty \frac{Q^k}{k!}</math>按分量收敛，我们把它的极限值记为<math>e^Q</math>。更进一步，如果两个矩阵<math>Q_1</math>和<math>Q_2</math>可交换，可以证明有<math>e^{Q_1+Q_2}=e^{Q_1}e^{Q_2}</math>（与实数中相应的证明很相似）。
| |
| − | | |
| − | | |
| − | 假设对于矩阵<math>P</math>我们可以找到一个矩阵<math>Q</math>，使得<math>e^Q=P</math>。则有<math>e^{nQ}=(e^Q)^n=P^n</math>，很自然地<math>e^{tQ}（t\geq 0）</math>就填满了离散序列<math>P^1,P^2,P^3…</math>中的“空隙”。在这种连续化操作的基础上，我们能证明下面定理。
| |
| − | | |
| − | | |
| − | <math>Q</math>是一个有限集合<math>I</math>上的矩阵，令<math>P(t)=e^{tQ}</math>，则<math>P(t)(t\geq 0）</math>具有下面的性质：
| |
| − | # <math>P(s+t)=P(s)P(t),\forall s,t</math>（半群性质）
| |
| − | # <math>P(t)</math>是向前方程<math>\frac{d}{dt}P(t)=P(t)Q,P(0)=I</math>的唯一解
| |
| − | # <math>P(t)</math>是向后方程<math>\frac{d}{dt}P(t)=QP(t),P(0)=I</math>的唯一解
| |
| − | # <math>\left.\left(\frac{d}{dt}\right)^k\right|_{t=0}P(t)=Q^k,k=0,1,2,…</math>
| |
| − | | |
| − | ====随机矩阵与Q矩阵的等价关系====
| |
| − | 上一小节我们讨论的是矩阵指数的普遍性质，这一小节我们来看看<math>Q</math>的行为。先回忆一下，一个矩阵<math>P=(p_{ij}:i,j\in I)</math>是随机矩阵，当它满足：
| |
| − | # <math>0\leq p_{ij}<\infty ,\forall i,j</math>
| |
| − | # <math>\sum_{j\in I}p_{ij}=1 ,\forall i</math>
| |
| − | 我们可以证明定理：一个定义在有限集合<math>I</math>上的矩阵<math>Q</math>是一个<math>Q</math>矩阵，当且仅当<math>P=e^{tQ}</math>对任意<math>t\geq 0</math>都是一个随机矩阵。
| |
| − | | |
| − | | |
| − | 如果随机矩阵<math>P</math>可以用一个<math>Q</math>矩阵的矩阵指数表示成<math>P=e^Q</math>，我们可就以填补<math>P</math>所决定的随机过程的“空隙”。我们固定一个非零整数<math>m</math>,并令<math>(X^m_n)_{n\geq 0}</math>为离散时间马尔科夫链Markov(<math>\lambda,e^{Q/m}</math>)，再令<math>X_{n/m}=X^m_n</math>，就得到了一个具有时间参数为<math>\{n/m:n=0,1,2,…\}</math>的马尔科夫链。按我们的标记，当<math>m=1</math>，得到的<math>X_n</math>就是原来的离散时间马尔可夫链Markov（<math>\lambda,P</math>）。由<math>(e^{Q/m})^m=e^Q=P</math>，当我们在<math>X_{n/m}</math>中对时间参数取样为整数时，就得到了Markov（<math>\lambda,P</math>）。当m取得足够大的时候，时间参数就会被细分得足够地小，最终我们可以得到一个连续时间马尔科夫链<math>(X_t)_{t\geq 0}</math>，当对<math>t</math>取样为整数时，就回到了离散时间马尔科夫链Markov（<math>\lambda,P</math>）。
| |
| − | | |
| − | | |
| − | 因此我们可以将离散时间马尔科夫链看做是连续时间马尔科夫链在时间参数整数点取样得到的特殊情况。稍微提前说明一下，一个具有<math>Q</math>矩阵<math>Q</math>的连续时间马尔科夫链<math>(X_t)_{t\geq 0}</math>满足：
| |
| − | | |
| − | <math>\mathbb{P}(X_{t_{n+1}}=|X_{t_0}=i_0,…,X_{t_n}=i_n)=p_{i_ni_{n+1}}(t_{n+1}-t_n)</math>
| |
| − | | |
| − | 上式对所有<math>n=0,1,2,…</math>，所有时间<math>0\leq t_0\leq … \leq t_{n+1}</math>，以及所有状态<math>i_0,…,i_{n+1}</math>成立，其中<math>p_{ij}(t)</math>是<math>e^{tQ}</math>中位置为<math>(i,j)</math>的元素。特别的，在<math>t</math>时刻从状态<math>i</math>到状态<math>j</math>的转移概率由下式给出：
| |
| − | | |
| − | <math>\mathbb{P}(X_t=j):=\mathbb{P}(X_t=j|X_0=i)=p_{ij}(t)</math>
| |
| − | | |
| − | 读者可以与离散时间马尔科夫链自行比较一下。
| |
| − | | |
| − | === 连续时间随机过程 ===
| |
| − | | |
| − | ==== 简单定义 ==== | |
| − | 令<math>I</math>是一个可数集，则一个在[math]I[/math]中取值的连续时间随机过程<math>(X_t)_{t\geq 0}=(X_t:0\leq t<\infty)</math>，就是一系列随机变量<math>X_t:\Omega\to I</math>。我们接下来会讨论如何确定<math>(X_t)_{t\geq 0}</math>的概率行为，这一系列讨论让我们至少在理论上可以计算和这个过程相关的任何概率，比如<math>\mathbb{P}(X_t=i)</math>、<math>\mathbb{P}(X_{t_0}=i_0,\dots,X_{t_n}=i_n)</math>、<math>\mathbb{P}(X_t=i,t\in B\subseteq (0,\infty])</math>。与离散时间的情况相比，这些问题会更加复杂和微妙，这是因为对于一个可数不交并集，有
| |
| − | | |
| − | <math>\mathbb{P}\left(\cup_nA_n\right)=\sum_n\mathbb{P}(A_n)</math>
| |
| − | | |
| − | 成立，但对于一个不可数并集<math>\cup_{t\geq 0}A_t</math>，上述结果并不成立。为了避免尽可能地避免那些复杂的情况，我们将会把后续讨论的内容限制在具有右连续性的随机过程<math>(X_t)_{t\geq 0}</math>上。在这里右连续定义为，对于任意<math>\omega \in \Omega</math>以及<math>t\geq 0</math>，存在<math>\epsilon</math>，使得当<math>t\leq s\leq t+\epsilon</math>时，总有<math>X_s(\omega)=X_t(\omega)</math>成立。由测度论中的标准结果可知，具有右连续性的随机过程中的任意一个事件的概率，可以由它的有限维分布确定，也就是可以由概率<math>\mathbb{P}(X_{t_0}=i_0,X_{t_1}=i_1,\dots,X_{t_n}=i_n),n\geq 0,0\leq t_0\leq t_1\leq\dots\leq t_n、i_0,\dots,i_n\in I</math>。例如：
| |
| − | | |
| − | <math>\mathbb{P}(X_t=i,t\in B\subseteq [0,\infty))=1-\lim_{n\to \infty}\sum_{j_1,\dots,j_n\neq i}\mathbb{P}(X_{q_1}=j_i,\dots,X_{q_n}=j_n)</math>
| |
| − | | |
| − | 其中<math>q_1,q_2,\dots</math>是有理数的枚举。
| |
| − | | |
| − | 具有右连续性的随机过程中的每一条路径<math>t\mapsto X_t(\omega)</math>在每个新状态中必须保持一段时间不变，因此一共有三种可能的路径类型。第一种类型中有无限次跳跃，但是在任意一个给定的区间<math>[0,t]</math>中只有有限次。第二种类型中只有有限次跳跃，最终会永远“卡”在某一个状态中。第三种类型在一个有限的区间中发生无限次跳跃。第三种类型中，经过爆炸时间<math>\zeta</math>,整个随机过程会重新从头开始，之后可能会再次爆炸（即在有限的区间中发生无限次跳跃），可能会可能会有无限次跳跃，也可能只有有限次跳跃。
| |
| − | | |
| − | 我们称<math>0=J_0,J_1,\dots</math>为<math>（X_t）_{t\geq 0}</math>的跳跃时间，其中<math>J_0=0,J_{n+1}=\inf\{t\geq J_n:X_t\neq X_{J_n}\}</math>，指状态发生改变的时间点。每<math>S_1,S_2,\dots</math>称为<math>（X_t）_{t\geq 0}</math>的停留时间，其中
| |
| − | | |
| − | <math>S_n=\begin{cases}
| |
| − | J_n-J_{n-1} & ,J_n<\infty \\
| |
| − | \infty & ,J_n=\infty
| |
| − | \end{cases}
| |
| − | </math>
| |
| − | | |
| − | 指每两个跳跃时间之间的状态持续时间。
| |
| − | | |
| − | 注意，右连续性保证了<math>S_n>0</math>。当<math>J_{n+1}=\infty</math>时，则我们定义<math>X_{\infty}=X_{J_n}</math>，否则最终状态<math>X_{\infty}</math>没有定义。（第一个）爆炸时间<math>\zeta</math>由下式定义：
| |
| − | | |
| − | <math>\zeta=\sup_nJ_n=\sum_{n=1}^{\infty}S_n</math>
| |
| − | | |
| − | 从一个连续时间随机过程中，我们可以取一系列离散时间点得到一个离散时间随机过程，我们称由<math>Y_n=X_{J_n}</math>决定的离散时间随机过程<math>(Y_n)_{n\geq 0}</math>为<math>（X_t）_{t\geq 0}</math>的跳跃过程，特别地，当<math>(Y_n)_{n\geq 0}</math>为离散马尔科夫链时，也称它为跳跃链。这仅仅是在<math>（X_t）_{t\geq 0}</math>爆炸之前的取值序列，并没有给出爆炸发生之后的信息。
| |
| − | | |
| − | 由于我们不需要考虑在一个随机过程发生爆炸之后的行为，所以可以在<math>I</math>中添加一个新状态<math>\infty</math>来统一描述它。我们规定，<math>X_t=\infty</math>当<math>t\geq\zeta</math>时。我们称满足这种规定的随机过程为极小过程，极小过程指的并不是状态取值极小，而是当过程活跃的时间区间。注意一个极小过程可以由停留时间和跳跃过程中所蕴含的信息重建，因此通过指定<math>S_1,S_2,\dots</math>和<math>(Y_n)_{n\geq 0}</math>的联合分布，我们可以对<math>（X_t）_{t\geq 0}</math>的概率行为进行另一种“可数的”描述。例如，<math>X_t=i</math>的概率可以由下面的式子描述：
| |
| − | | |
| − | <math>\mathbb{P}(X_t=i)=\sum^{\infty}_{n=0}\mathbb{P}(Y_n=i,J_n\leq t<J_{n+1})</math>
| |
| − | | |
| − | <math>\mathbb{P}(X_t=i,t\in B\subseteq[0,\infty))=\mathbb{P}(Y_n=i,n\in B\subseteq\mathbb{N})</math>
| |
| − | | |
| − | ==== 指数分布的性质 ====
| |
| − | | |
| − | ==== 泊松过程 ==== | |
| − | | |
| − | ==== 生灭过程 ==== | |
| − | | |
| − | ==== 向前方程与向后方程 ==== | |
| | | | |
| | ==参考文献== | | ==参考文献== |
| | | | |
| | <references /> | | <references /> |