3,094
个编辑
更改
跳到导航
跳到搜索
第40行：
第40行： − + − <math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=P(X_n=j|X_{n-1}=i),</math> − 其中，<math>X_n=j\in S</math>表示过程在时刻<math>n</math>处于状态<math>j</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。+ + − 此外，当时间是连续的但状态空间仍是离散的且满足马尔科夫性质，称这类随机过程为连续时间马尔科夫链，具体定义为：+ − − 称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''，若满足
→定义
上面的几个例子都是时间和状态空间均为离散的数字，且系统都满足马尔科夫性质，也就是t+1时间步的状态只依赖于第t步的系统状态，则称这类随机过程为离散时间的马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：
上面的几个例子都是时间和状态空间均为离散的数字，且系统都满足马尔科夫性质，也就是t+1时间步的状态只依赖于第t步的系统状态，则称这类随机过程为离散时间的马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：
'''定义9（马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''或具有马尔科夫性质，若满足
'''定义（马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''或具有马尔科夫性质，若满足：<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=P(X_n=j|X_{n-1}=i),</math>其中，<math>X_n=j\in S</math>表示过程在时刻<math>n</math>处于状态<math>j</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
上述定义中，我们对时间步有非常明确的要求，即只能取一系列连续的整数。然而，在现实世界中，时间步实际上是取值为连续的实数，它很难转化成一系列连续的整数。在这样的连续的时间域上，我们同样可以定义连续时间马尔科夫随机过程。
具体地：
'''定义（连续时间马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''，若满足
<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。