更改

对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_ii(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后得研究带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。

对于任何<math>h>0</math>，称<math>\{X(nh)\}=\{X(nh)|n=0,1,2,\dots\}</math>为<math>\{X(t)\}</math>的一个'''离散骨架'''或'''h骨架'''。容易看出，<math>\{X(t)\}</math>的h骨架是有1步转移概率<math>p_{ij}(h)=\mathbb{P}(X(h)=j|X(0)=i)</math>的离散时间马尔科夫链，其状态空间和<math>\{X(t)\}</math>的状态空间相同。因为总有<math>p_ii(nh)>0</math>，所以对于h骨架来讲，从<math>i</math>出发可以在任意时刻回到<math>i</math>，说明它的所有状态都是'''非周期的'''，该性质为以后得研究带来许多方便。我们可以用<math>\{X(t)\}</math>的任意一个h骨架来描述可达性：<math>i\to j</math>的充分必要条件是对存在一个h骨架<math>i \to j</math>。

====平稳分布====

====平稳过程====

类似离散时间马尔科夫链，可以引入CTMC的平稳分布的定义。设<math>P(t)</math>是<math>\{X(t)\}</math>的转移概率矩阵，如果概率分布列<math>\mathbf{p}=(p_0,P_1,\dots)</math>满足

类似离散时间马尔科夫链，可以引入CTMC的平稳分布的定义。设<math>P(t)</math>是<math>\{X(t)\}</math>的转移概率矩阵，如果概率分布列<math>\mathbf{p}=(p_0,P_1,\dots)</math>满足

有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是\{X(t)\}的唯一平稳分布。

有唯一非负解<math>\mathbf{p}</math>，这时<math>\mathbf{p}</math>是\{X(t)\}的唯一平稳分布。

====平稳可逆分布====

====平稳可逆过程====

在离散时间马尔科夫链<math>\{X_n\}</math>中，如果概率分布<math>\mathbf{\pi}=(\pi_0,\pi_1,\dots)</math>满足细致平衡条件<math>\pi_ip_{ij}=\pi_jp_{ji}</math>，则称<math>\mathbf{\pi}</math>是<math>\{X_n\}</math>的平稳可逆分布，以平稳可逆分布<math>\mathbf{\pi}</math>为初始分布的<math>\{X_(n)\}</math>称为平稳可逆的。CTCM中也有类似结论。

在离散时间马尔科夫链<math>\{X_n\}</math>中，如果概率分布<math>\mathbf{\pi}=(\pi_0,\pi_1,\dots)</math>满足细致平衡条件<math>\pi_ip_{ij}=\pi_jp_{ji}</math>，则称<math>\mathbf{\pi}</math>是<math>\{X_n\}</math>的平稳可逆分布，以平稳可逆分布<math>\mathbf{\pi}</math>为初始分布的<math>\{X_(n)\}</math>称为平稳可逆的。CTCM中也有类似结论。