讨论:马尔科夫链

一、基础概念与核心定义

1.1马尔可夫性的数学表述

1.1.1直观理解

1.1.2定义

1.1.3核心性质【包括了时齐性】

1.2状态与转移

1.2.1状态空间

1.2.2转移机制

1.3离散时间与连续时间链对比。

二、离散时间马尔科夫链（DTMC）

2.1转移矩阵与多步演化

2.1.1转移矩阵的性质

2.1.2 C-K方程

2.2状态分类与收敛性【连续马尔科夫链中没有这一部分是因为它隐含在了平稳分布的存在条件中，连续性简化了分析】

2.2.1可达性与互通性

2.2.2周期性

2.2.3常反省与瞬变性

2.3平稳分布与可逆性

2.3.1平稳分布存在条件

2.3.2细致平衡条件

2.4经典应用案例

2.4.1天气预测模型

2.4.2 PageRank算法

三、连续时间马尔科夫链（CTMC）

3.1转移速率矩阵与演化方程

3.1.1Q矩阵的构造

3.1.2Kolmogorov微分方程【相比于DTMC多了向前和向后方程的区别】

3.1.3矩阵指数解

3.2平稳分布与生灭过程

3.2.1平衡方程

3.2.2生灭过程【一般讨论CTMC的可逆性需要用复杂的数学工具，门槛较高。生灭过程是满足可逆性的一个特例，降低门槛且覆盖多数实际应用场景】

3.3经典应用案例

3.3.1M/M/1队列模型

3.3.2化学反应动力学