5,443
个编辑
更改
跳到导航
跳到搜索
第12行：
第12行： − − + − + − − + + + − 日常生活中的许多现象都可以利用马尔科夫链来描述，例如天气的变化。简单考虑两种天气状态，下雨和不下雨，分别记为状态2和状态1，即样本空间为<math>S=\{1,2\}</math>。那么，对应的马尔科夫假设就是明天是否下雨只取决于今天的天气，而与之前的天气无关。+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第47行：
第75行： +
→基本概念
===离散（或连续）时间马尔科夫链===
===离散（或连续）时间马尔科夫链===
上述Yahtzee例子中，时间和状态空间均是离散的且满足马尔科夫性质，称这类随机过程为离散时间马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：
上述Yahtzee例子中，时间和状态空间均是离散的且满足马尔科夫性质，称这类随机过程为离散时间马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''<ref name=":3">Brémaud P．Markov chains: Gibbs fields, Monte Carlo simulation, and queues．Springer Science & Business Media, 1999, 53-156.</ref>或具有马尔科夫性质，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''<ref name=":3">Brémaud P．Markov chains: Gibbs fields, Monte Carlo simulation, and queues．Springer Science & Business Media, 1999, 53-156.</ref>或具有马尔科夫性质，若满足
<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>
<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=P(X_n=j|X_{n-1}=i),</math>
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
其中，<math>X_n=j\in S</math>表示过程在时刻<math>n</math>处于状态<math>j</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
此外，当时间是连续的但状态空间仍是离散的且满足马尔科夫性质，称这类随机过程为连续时间马尔科夫链，具体定义为
此外，当时间是连续的但状态空间仍是离散的且满足马尔科夫性质，称这类随机过程为连续时间马尔科夫链，具体定义为
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>
，若满足
，若满足
<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
日常生活中的许多现象都可以利用马尔科夫链来描述，例如天气的变化。简单考虑两种天气状态，下雨和不下雨。那么，对应的马尔科夫假设就是明天是否下雨只取决于今天的天气，而与之前的天气无关。
===多步转移概率===
上述定义中强调了一步转移概率对于历史的遗忘性，那么能否推广至多步转移概率？答案是肯定的，即考虑离散时间马尔科夫链，对任意的<math>n\geq0</math>和<math>m\leq1</math>，有
<math>
\begin{aligned}
P(X_{n+m}=j|X_n=i,X_{n-1}=x_{n-1},\ldots,X_0=x_0)=P(X_{n+m}=j|X_n=i).
\end{aligned}
</math>
注：可以对<math>m</math>进行数学归纳得证上述性质。
===Chapman-Kolmogorov方程===
上述定义给出了一步转移行为的描述，而随着时间推进，该如何描述任意步转移行为？
回顾马尔科夫特性，即给定现在，过去与未来独立。那么，对于<math>n\geq0</math>步转移概率<math>P(X_n=j|X_0=i)</math>，可以先给定某一中间时刻<math>0<m<n</math>的状态<math>k</math>，此时由独立性，从<math>i</math>先经<math>m</math>步至<math>k</math>，再经<math>n-m</math>步至<math>j</math>的概率就被分解为两部分概率的乘积。接下来，只需要遍历状态<math>k</math>的所有可能，即
<math>
\begin{aligned}
P(X_n=j|X_0=i)&=\sum_{k\in S}P(X_n=j,X_m=k|X_0=i)\\
&=\sum_{k\in S}P(X_n=j|X_m=k,X_0=i)P(X_m=k|X_0=i)\\
&=\sum_{k\in S}P(X_n=j|X_m=k)P(X_m=k|X_0=i)\\
\end{aligned}
</math>
其中，<math>P(X_n=j|X_0=i)=\sum_{k\in S}P(X_n=j|X_m=k)P(X_m=k|X_0=i)</math>称为'''Chapman-Kolmogorov方程'''。
===时齐性与非时齐性===
===时齐性与非时齐性===
下雨和不下雨，分别记为状态2和状态1，即样本空间为<math>S=\{1,2\}</math>。
令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨的条件下明天不下雨的概率为<math>P(X_1=1|X_0=1)=p</math>，今天下雨的条件下明天下雨的概率为<math>P(X_1=2|X_0=2)=q</math>。而随着时间的推移，明天不下雨的条件下后天不下雨的概率<math>P(X_2=1|X_1=1)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。
令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨的条件下明天不下雨的概率为<math>P(X_1=1|X_0=1)=p</math>，今天下雨的条件下明天下雨的概率为<math>P(X_1=2|X_0=2)=q</math>。而随着时间的推移，明天不下雨的条件下后天不下雨的概率<math>P(X_2=1|X_1=1)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。
下面主要讨论离散时间时齐马尔科夫链。
下面主要讨论离散时间时齐马尔科夫链。
==转移过程==
==转移过程==
===Chapman-Kolmogorov方程===
===Chapman-Kolmogorov方程===