马尔科夫链中的随机动力学

随机动力学

一个随机动力系统由两部分组成：一个驱动噪音的动力系统和一个受其驱动的状态空间演化。

噪音基础驱动系统（Base Driving System）[math]\displaystyle{ \Omega = \{ ... , \omega_{-1}, \omega_0, \omega_1, ... | \omega_i \in W \} }[/math] 是一个从随机分布采样的噪音序列，每一次 [math]\displaystyle{ \omega_i }[/math] 随机选择都是独立同分布的。

该驱动系统的演化 [math]\displaystyle{ \theta }[/math] 是时间平移的， [math]\displaystyle{ \theta \omega_i = \omega_{i+1} }[/math]，即将整个噪音序列向左移动一步，把未来的噪音 [math]\displaystyle{ \omega_{i+1} }[/math] 作为新的当前噪音。

然后，我们需要演化余循环（Evolution Cocycle） [math]\displaystyle{ \phi }[/math] 来连接噪音和状态空间。它定义了系统如何根据当前的噪音演化，是一个映射 [math]\displaystyle{ \phi: ℤ \text{（步数）} \times Ω \text{（噪声）} \times X \text{（状态空间）} \to X }[/math]，满足：

初始条件：[math]\displaystyle{ \phi(0, \omega, x) = x }[/math]
余循环性质 / Cocycle Property： [math]\displaystyle{ \phi(t+s, \omega, x) = \phi(t, \theta^s \omega, \phi(s, \omega, x)) }[/math]

对马尔科夫链来说，这个映射 [math]\displaystyle{ \phi(1, \omega, x) }[/math] 就是一个单步转移函数 [math]\displaystyle{ T: X \times W \to X }[/math]，即接收当前状态 [math]\displaystyle{ x }[/math] 和一个随机数 [math]\displaystyle{ w }[/math]，根据 TPM 的规则输出下一个状态。

至此，我们已经将马尔科夫链严格定义为了一个随机动力系统 [math]\displaystyle{ (\theta, \phi) }[/math]了。通过定义该系统的 不变性（Invariance），我们能定义其 吸引性（Attraction）和 随机吸引子（Attractor）。

首先，我们定义随机集（Random Set）：一个随机集 [math]\displaystyle{ A }[/math] 是一个映射 [math]\displaystyle{ A: Ω → 2^X }[/math]，其中 [math]\displaystyle{ 2^X }[/math] 是 [math]\displaystyle{ X }[/math] 的所有子集的集合。也就是把一个随机动力学驱动系统的噪声过程映射到了集合空间上的若干个状态。

一个随机集 [math]\displaystyle{ A(\omega) }[/math] 被称为一个（全局）随机吸引子（Random Attractor），如果它满足以下三个条件：

1. 紧致性 (Compactness)：对于几乎所有 [math]\displaystyle{ \omega \in \Omega }[/math]，[math]\displaystyle{ A(\omega) }[/math] 都是 [math]\displaystyle{ X }[/math] 中的一个非空紧集。在有限状态马尔科夫链中，此条件自动满足。

2. 不变性 (Invariance)：[math]\displaystyle{ A }[/math] 在动力学下保持自身结构。对于几乎所有 [math]\displaystyle{ \omega \in \Omega }[/math]，[math]\displaystyle{ (1, \omega, A(\omega)) = A(\theta \omega) }[/math]。它包含两个方向：

前向不变性 (Forward Invariance) [math]\displaystyle{ (1, \omega, A(\omega)) ⊆ A(\theta \omega) }[/math]：在 [math]\displaystyle{ \omega }[/math] 噪音下，位于 [math]\displaystyle{ A(\omega) }[/math] 的点，经过一步演化后，必然会落在 [math]\displaystyle{ \theta \omega }[/math] 噪音下的 [math]\displaystyle{ A(\theta \omega) }[/math] 内部。换而言之，点无法从吸引子结构中“逃逸”。

后向不变性 (Backward Invariance / Surjectivity) [math]\displaystyle{ (1, \omega, A(\omega)) ⊇ A(\theta \omega) }[/math]：在 [math]\displaystyle{ \theta \omega }[/math] 噪音下的吸引子 [math]\displaystyle{ A(\theta \omega) }[/math] 中的任何一个点，都必然是从 [math]\displaystyle{ \omega }[/math] 噪音下的 [math]\displaystyle{ A(\omega) }[/math] 中的某个点演化而来的。结构不会凭空产生点，它是“满的”。

3. 吸引性 (Pullback Attraction）：[math]\displaystyle{ A }[/math] 吸引系统中的其他点。

对 [math]\displaystyle{ X }[/math] 的任何一个固定的、非空的子集 [math]\displaystyle{ B ⊂ X }[/math]，我们有：[math]\displaystyle{ lim_{k \to ∞} dist_H (\phi (k, \theta^{-k} \omega, B), A(\omega)) = 0 }[/math]。其中，[math]\displaystyle{ dist_H }[/math] 是豪斯多夫距离 (Hausdorff distance)，用于衡量两个集合的相似度。

这个公式的含义是，想象我们在遥远的过去（时间[math]\displaystyle{ =-k }[/math]）开始演化一个集合 [math]\displaystyle{ B }[/math]。噪音路径是 [math]\displaystyle{ \theta^{-k} \omega }[/math]（即把当前噪音路径向过去回溯 [math]\displaystyle{ k }[/math] 步）。我们让它演化 [math]\displaystyle{ k }[/math] 步到达现在。当 [math]\displaystyle{ k }[/math] 趋于无穷大时，无论最初的 [math]\displaystyle{ B }[/math] 最初是什么，它演化的结果都会在形状上收敛到我们当前的吸引子 [math]\displaystyle{ A(\omega) }[/math]。

至此，我们已经完成了随机动力学中随机吸引子在稳态马尔科夫链中的介绍。现在就可以分析一个马尔科夫链中有多少个吸引子和对应的分组了。

稳态马尔科夫链中的随机吸引子和分组

我们考虑马尔科夫链的以下三种情况：

情况1：不可约、非周期的马尔科夫链

吸引子: 存在唯一的全局随机吸引子 [math]\displaystyle{ A(\omega) }[/math]，但它是一个平凡吸引子：[math]\displaystyle{ A(\omega) = X, \forall \omega }[/math]（即吸引随机集=状态空间本身）

验证过程如下：

不变性: [math]\displaystyle{ \phi(1, \omega, X) = X = A(\theta \omega) }[/math]（整个空间映到自身）
吸引性: 由于不可约和非周期性，从任何子集 [math]\displaystyle{ B }[/math] 出发，经过足够多步，其后代会遍布整个 [math]\displaystyle{ X }[/math]。所以 [math]\displaystyle{ lim_{k→∞} Φ(k, ..., B) = X }[/math]。
稳态分布: 唯一的平稳分布 [math]\displaystyle{ \pi }[/math] 是定义在吸引子 [math]\displaystyle{ A=X }[/math] 上的不变测度。它描述了系统在吸引子内部不同区域（状态）停留时间的相对频率。

情况2：可约的马尔科夫链

设 [math]\displaystyle{ S = T ∪ R_1 ∪ ... ∪ R_m }[/math]，其中 [math]\displaystyle{ T }[/math] 是滑过态（Transiant）集，[math]\displaystyle{ R_i }[/math] 是闭合常返（Recurrent）类。吸引子: 系统有 [math]\displaystyle{ m }[/math] 个确定性吸引子 [math]\displaystyle{ A_i = R_i }[/math]。

验证过程如下：

不变性：如果 [math]\displaystyle{ x \in R_i }[/math]，则 [math]\displaystyle{ \phi(1, \omega, x) \in R_i }[/math]。所以 [math]\displaystyle{ \phi(1, \omega, R_i) = R_i }[/math]。
吸引随机性：吸引随机性体现在系统最终会掉入哪个吸引子。我们可以定义一个依赖于噪音的吸引子 [math]\displaystyle{ A(\omega) }[/math]，它表示从某个初始状态 [math]\displaystyle{ x }[/math] 出发，最终进入的那个 [math]\displaystyle{ R_i }[/math]。[math]\displaystyle{ A(\omega) }[/math] 是一个随机变量，其取值范围是 [math]\displaystyle{ {R_1, ..., R_m} }[/math]。
稳态分布：存在多个平稳分布，每个 [math]\displaystyle{ \pi_i }[/math] 的支撑集都在一个吸引子 [math]\displaystyle{ R_i }[/math] 上。

情况3：不可约、周期为 d > 1 的马尔科夫链

设状态空间分解为周期子类 [math]\displaystyle{ X = C_0 ∪ C_1 ∪ ... ∪ C_{d-1} }[/math]。

这时存在非平凡的随机吸引子 [math]\displaystyle{ A(\omega) }[/math]：如果 [math]\displaystyle{ \phi(k, \omega, x_0) }[/math] 处于子类 [math]\displaystyle{ C_j }[/math] 中，那么 [math]\displaystyle{ A(\theta^k \omega) = C_j }[/math]。

验证过程如下：

不变性：假设在 [math]\displaystyle{ \omega }[/math] 下 [math]\displaystyle{ A(\omega) = C_j }[/math]。根据周期性，[math]\displaystyle{ (1, \omega, C_j) = C_{(j+1) \mod d} }[/math]。而此时新的噪音是 [math]\displaystyle{ \theta \omega }[/math]，其对应的吸引子形态正是 [math]\displaystyle{ A(\theta \omega) = C_{(j+1) \mod d} }[/math]。因此 [math]\displaystyle{ \phi(1, \omega, A(\omega)) = A(\theta \omega) }[/math] 成立。
稳态分布：唯一的平稳分布 [math]\displaystyle{ \pi }[/math] 描述了在整个循环周期内，系统在每个状态的平均访问频率。尽管在任何时刻 [math]\displaystyle{ k }[/math]，概率分布都集中在某一个 [math]\displaystyle{ C_j }[/math] 上，但时间平均后会收敛到 [math]\displaystyle{ \pi_i }[/math]。