更改

本词条主要参考北京大学李东风老师的应用随机过程讲义<ref name=":1">李东风. 应用随机过程, 2024, 163-215. https://www.math.pku.edu.cn/teachers/lidf/course/stochproc/stochprocnotes/html/_book/StocProc.pdf</ref>以及清华大学张颢老师的书籍《随机过程及其应用》<ref name=":2">陆大金，张颢. 随机过程及其应用, 清华出版社，2012, 176-255.</ref>对相关基础概念进行梳理，为后续相关应用做铺垫。

本词条主要参考北京大学李东风老师的应用随机过程讲义<ref name=":1">李东风. 应用随机过程, 2024, 163-215. https://www.math.pku.edu.cn/teachers/lidf/course/stochproc/stochprocnotes/html/_book/StocProc.pdf</ref>以及清华大学张颢老师的书籍《随机过程及其应用》<ref name=":2">陆大金，张颢. 随机过程及其应用, 清华出版社，2012, 176-255.</ref>对相关基础概念进行梳理，为后续相关应用做铺垫。

==历史起源==

==历史发展==

1906年，俄罗斯数学家Andrey Andreyevich Markov在研究大数定律时，首次定义了随机序列在给定现在的条件下，过去与未来的条件独立性，即马尔科夫性

1906年，俄罗斯数学家Andrey Andreyevich Markov在研究大数定律时，首次定义了离散随机序列在给定现在的条件下，过去与未来的条件独立性，即马尔科夫性

<ref name=":4">Markov A A．Rasprostranenie zakona bol’shih chisel na velichiny, zavisyaschie drug ot druga．Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 1906, 15: 135-156.</ref>。随后，1907年，Andrey Markov研究了俄语字母序列上的马尔科夫链的极限分布<ref name=":5">Markov A.A. Investigation of a notable instance of dependent trials (in Russian). Izvestiia

<ref name=":4">Markov A A．Rasprostranenie zakona bol’shih chisel na velichiny, zavisyaschie drug ot druga．Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 1906, 15: 135-156.</ref>。随后，1907年，Andrey Markov基于普希金的长诗《叶甫盖尼・奥涅金》研究了俄语字母序列上的马尔科夫链及其极限分布<ref name=":5">Markov A A. Issledovanie statističeskich zakonov vjumel’nogo jazika (Analysis of statistical laws in the verse language). Trudy Imperatorskogo S.-Peterburgskogo Mineralogičeskogo Obščestva, 2nd series, 1913, 42, 153–162.</ref>。1931年，Andrey Kolmogorov将其推广至连续时间马尔可夫链并建立了转移概率微分方程。

Akad. Nauk (St. Petersburg), 1907, 1(3)：61-80.</ref>。1931年，Andrey Kolmogorov建立连续时间马尔科夫链的微分方程（柯尔莫哥洛夫前向 / 后向方程）。

==离散（或连续）时间马尔科夫链的定义==

==离散（或连续）时间马尔科夫链的定义==