3,094
个编辑
更改
→时齐性与非时齐性
由式{{EquationNote|1}}可知，多步转移概率其实是一步转移概率的乘积（和）。那么，我们自然地会想到，在计算乘积的过程中，一步转移概率是否会随时间变化？
由式{{EquationNote|1}}可知，多步转移概率其实是一步转移概率的乘积（和）。那么，我们自然地会想到，在计算乘积的过程中，一步转移概率是否会随时间变化？
=====时齐性例子：高尔顿钉板=====
回顾前面的三层高尔顿钉板的实验例子，如果我们将钉子按照它所属层的顺序依次编号为1-6，凹槽从左至右编号为7-10，那么小球下落过程构成了一个状态空间<math>S=\{1,2,\ldots,10\}</math>的马尔科夫链，其转移行为如下图所描述：
[[文件:galton.png|缩略图||400像素|无]]
很显然，这是一个与时间无关的概率转移矩阵的例子，这种情况也叫时齐的马尔科夫链。
=====非时齐性例子：波利亚坛子模型=====
然而，在另一个经典概率模型——波利亚坛子模型（Polya's urn scheme)中，一步转移概率就与时间有关。
模型假设坛子中装有<math>b>0</math>个黑球和<math>w>0</math>个白球。每次随机地从坛子中有放回地抽出一个球，并且再放入一个同颜色的球。记<math>X_n</math>为第<math>n</math>次抽取后坛子中黑球的个数，则一步转移概率
<math>\mathbb{P}(X_n=m+1|X_{n-1}=m)=\frac{m}{b+w+n-1},\ \ \mathbb{P}(X_n=m|X_{n-1}=m)=\frac{b+w+n-1-m}{b+w+n-1}.</math>
<math>\mathbb{P}(X_n=m+1|X_{n-1}=m)=\frac{m}{b+w+n-1},\ \ \mathbb{P}(X_n=m|X_{n-1}=m)=\frac{b+w+n-1-m}{b+w+n-1}.</math>
显然，上述概率是随着<math>n</math>的变化而变化的。
显然，上述概率是随着<math>n</math>的变化而变化的。
=====定义=====
一般的，当一步转移概率<math>\mathbb{P}(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔科夫链为'''时齐马尔科夫链（homogeneous）'''；若<math>\mathbb{P}(X_n=j|X_{n-1}=i)</math>与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔科夫链为'''非时齐的'''。
一般的，当一步转移概率<math>\mathbb{P}(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔科夫链为'''时齐马尔科夫链（homogeneous）'''；若<math>\mathbb{P}(X_n=j|X_{n-1}=i)</math>与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔科夫链为'''非时齐的'''。
下面本词条的讨论主要围绕着离散时间时齐马尔科夫链而展开，这是最常见的一种场景。
===时齐马尔科夫链的转移过程——初始状态确定===
===时齐马尔科夫链的转移过程——初始状态确定===