5,443
个编辑
更改
→离散（或连续）时间马尔科夫链
本词条将集中介绍离散时间马尔科夫链的内容。日常生活中的许多现象都可以利用马尔科夫链来描述，例如天气的变化。简单考虑两种天气状态，下雨和不下雨，分别记为状态1和状态0，即样本空间为<math>S=\{0,1\}</math>。那么，对应的马尔科夫假设就是明天是否下雨只取决于今天的天气，而与之前的天气无关。
令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨且明天不下雨的概率为<math>P(X_1=0|X_0=0)=p</math>，今天下雨且明天下雨的概率为<math>P(X_1=1|X_0=1)=q</math>。那么，随着时间的推移，明天不下雨且后天不下雨的概率<math>P(X_2=0|X_1=0)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。
一般的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔科夫链为时齐马尔科夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔科夫链为非时齐的。