5,443
个编辑
更改
→从P(t)到Q-矩阵
实际上任意一个连续时间马尔科夫链都可以用初始分布<math>\lambda</math>和一个Q-矩阵描述；任意给定一个初始分布<math>\lambda</math>和Q-矩阵，都可以确定一个连续时间马尔科夫链。上面直观模型中的矩阵<math>Q</math>就是一个Q-矩阵
实际上任意一个连续时间马尔科夫链都可以用初始分布<math>\lambda</math>和一个Q-矩阵描述；任意给定一个初始分布<math>\lambda</math>和Q-矩阵，都可以确定一个连续时间马尔科夫链。上面直观模型中的矩阵<math>Q</math>就是一个Q-矩阵
=====从P(t)到Q-矩阵=====
=====从<math>P(t)</math>到Q-矩阵=====
读者应该注意到了，我们在最开始定义连续时间马尔科夫链时，用的是<math>P(t)</math>，而现在建立直观模型的时候，用的是矩阵<math>Q</math>，它们之间有什么样的关系呢？
读者应该注意到了，我们在最开始定义连续时间马尔科夫链时，用的是<math>P(t)</math>，而现在建立直观模型的时候，用的是矩阵<math>Q</math>，它们之间有什么样的关系呢？
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>，
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>，
若满足<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
若满足<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
与离散时间马尔科夫链一样，若连续时间马尔科夫链的转移概率<math>P(X(t+s)=j|X(s)=i)</math>与初始时刻<math>s</math>无关，那么称该马尔科夫链是时齐的。简记<math>P(X(t+s)=j|X(s)=i)=P_{ij}(t)</math>，相应地记转移概率矩阵为<math>P(t)</math>。特别的，<math>P(0)=I</math>。我们所讨论的连续时间马尔科夫链都是时齐的。
与离散时间马尔科夫链一样，若连续时间马尔科夫链的转移概率<math>P(X(t+s)=j|X(s)=i)</math>与初始时刻<math>s</math>无关，则称该马尔科夫链是时齐的。简记为<math>P(X(t+s)=j|X(s)=i)=P_{ij}(t)</math>，相应地记转移概率矩阵为<math>P(t)</math>。特别的，<math>P(0)=I</math>。我们所讨论的连续时间马尔科夫链都是时齐的。
与离散时间马尔科夫链相同，在连续时间马尔科夫链中也能得到C-K方程：
与离散时间马尔科夫链相同，在连续时间马尔科夫链中也能得到C-K方程：
<math>P_{ij}(t+s)=\sum_{k\in S}P_{ik}(t)P_{kj}(s),</math>
<math>P_{ij}(t+s)=\sum_{k\in S}P_{ik}(t)P_{kj}(s),</math>
对应的矩阵形式为
对应的矩阵形式为
<math>P(t+s)=P(t)P(s)</math>。
<math>P(t+s)=P(t)P(s)</math>。
我们可以对<math>P(t)</math>求导，结合C-K方程考察它的变化率：
<math>
<math>
</math>
</math>
当<math>\Delta t \to 0</math>，有<math>P(\Delta t)\to I</math>。假设<math>\lim_{\Delta t\to 0}\frac{P(\Delta t)-I}{\Delta t}</math>存在并记为<math>Q</math>。我们下面证明<math>Q</math>就是一个Q-矩阵。
当<math>\Delta t \to 0</math>时，有<math>P(\Delta t)\to I</math>。假设<math>\lim_{\Delta t\to 0}\frac{P(\Delta t)-I}{\Delta t}</math>存在并记为<math>Q</math>。下面证明矩阵<math>Q</math>就是一个Q-矩阵。
首先，分析<math>Q</math>矩阵的对角线元素
首先，分析<math>Q</math>的对角线元素
<math>Q_{ii}=\lim_{\Delta t \to 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}\leq 0</math>，
<math>Q_{ii}=\lim_{\Delta t \to 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}\leq 0</math>，
进一步，考察有限空间对应的<math>Q</math>矩阵的行和
进一步，考察有限空间对应的<math>Q</math>的行和
<math>\sum_{j}Q_{ij}=\sum_{j}\lim_{\Delta t \to 0}\frac{P_{ij}(\Delta t)-\delta_{ij}}{\Delta t}=
<math>\sum_{j}Q_{ij}=\sum_{j}\lim_{\Delta t \to 0}\frac{P_{ij}(\Delta t)-\delta_{ij}}{\Delta t}=
</math>，
</math>，
即<math>Q</math>矩阵的行和等于0。综合上一小节的Q-矩阵定义，矩阵Q即为Q-矩阵。
即<math>Q</math>的行和等于0。综合上一小节的Q-矩阵定义，矩阵<math>Q</math>即为Q-矩阵。
于是我们证明了<math>P(t)</math>在<math>t=0</math>时的变化速率就是一个Q-矩阵。
<math>\frac{d}{dt}P(t)=QP(t)</math>成立，
<math>\frac{d}{dt}P(t)=QP(t)</math>成立，
称为后向方程。
称为后向方程。
=====从Q-矩阵到<math>P(t)</math>=====
另一方面，如果已知上面的向前方程或者向后方程，给定矩阵<math>Q</math>为Q-矩阵，由初值条件<math>P(0)=I</math>，可以证明微分方程存在唯一解<math>P(t)=e^{Qt}</math>。其中<math>e^{Qt}</math>定义为<math>\</math>
另一方面，如果已知上面的向前方程或者向后方程，给定矩阵<math>Q</math>为Q-矩阵，由初值条件<math>P(0)=I</math>，可以证明微分方程存在唯一解<math>P(t)=e^{Qt}</math>。其中<math>e^{Qt}</math>定义为<math>\</math>
====模型参数====
====模型参数====