更改

称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔科夫链或具有马尔科夫性质，若满足

称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''或具有马尔科夫性质，若满足

<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>

<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>

称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是连续时间马尔科夫链，若满足

称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''，若满足

<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。

<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。

令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨的条件下明天不下雨的概率为<math>P(X_1=1|X_0=1)=p</math>，今天下雨的条件下明天下雨的概率为<math>P(X_1=2|X_0=2)=q</math>。而随着时间的推移，明天不下雨的条件下后天不下雨的概率<math>P(X_2=1|X_1=1)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。一般的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔科夫链为时齐马尔科夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔科夫链为非时齐的。

令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨的条件下明天不下雨的概率为<math>P(X_1=1|X_0=1)=p</math>，今天下雨的条件下明天下雨的概率为<math>P(X_1=2|X_0=2)=q</math>。而随着时间的推移，明天不下雨的条件下后天不下雨的概率<math>P(X_2=1|X_1=1)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。一般的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔科夫链为'''时齐马尔科夫链（homogeneous）'''；若<math>P(X_n=j|X_{n-1}=i)</math>与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔科夫链为'''非时齐的'''。