EM算法 - 版本历史

康贺铭：/* 例子 */

2022-01-09T07:24:03Z

例子

薄荷：/* 编者推荐 */

2021-12-28T11:59:55Z

编者推荐

薄荷：/* 编者推荐 */

2021-12-28T11:59:24Z

编者推荐

薄荷：/* 进一步阅读 */

2021-12-28T11:56:53Z

进一步阅读

2021年12月28日 (二) 11:54 薄荷

2021-12-28T11:54:23Z

薄荷：/* M 步骤 */

2021-12-28T11:52:42Z

M 步骤

薄荷：/* M 步骤 */

2021-12-28T11:44:45Z

M 步骤

薄荷：/* M 步骤 */

2021-12-28T11:43:46Z

M 步骤

薄荷：/* E 步骤 */

2021-12-28T11:42:45Z

E 步骤

2021年12月28日 (二) 11:42 薄荷

2021-12-28T11:42:11Z

显示更改

@@ 第335行： / 第335行： @@
 == 例子 ==
-让<math>\mathbf{x} = (\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_n)</math> 成为一个样本 <math>n</math>来自维度的两个多元正态分布的混合的独立观察<math>d</math>,然后让<math>\mathbf{z} = (z_1,z_2,\ldots,z_n)</math>是确定观察来源的成分的潜在变量。<ref name="hastie2001"/>
+'''高斯混合'''
 : <math>X_i \mid(Z_i = 1) \sim \mathcal{N}_d(\boldsymbol{\mu}_1,\Sigma_1)</math> and <math>X_i \mid(Z_i = 2) \sim \mathcal{N}_d(\boldsymbol{\mu}_2,\Sigma_2),</math>

@@ 第458行： / 第458行： @@
 ==编者推荐==
 ====论文速递集合====
 * [https://swarma.org/?p=18154 机器学习个性化的程度如何？ | 网络科学论文速递25篇]
@@ 第480行： / 第475行： @@
 ====[https://campus.swarma.org/course/2 机器学习思维]====
 本课程围绕机器学习思维，讨论机器学习的运用方法，能力范围，技术种类，以及机器学习与人类学习的不同点。

@@ 第458行： / 第458行： @@
 ==编者推荐==
-===集智课程===
+===相关文章===
-====[]====
+====[https://swarma.org/?p=2451 下一秒火焰如何燃烧？机器学习成功预测混沌]====
@@ 第469行： / 第492行： @@
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第455行： / 第455行： @@
 * {{cite journal |citeseerx= 10.1.1.28.613 |title= A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models|first=Jeff |last= Bilmes |year= 1998}} includes a simplified derivation of the EM equations for Gaussian Mixtures and Gaussian Mixture Hidden Markov Models.
 * {{cite book |first1=Geoffrey J. |last1=McLachlan |first2=Thriyambakam |last2=Krishnan |title=The EM Algorithm and Extensions |location=Hoboken |publisher=Wiley |edition=2nd |year=2008 |isbn=978-0-471-20170-0 }}
 ----

@@ 第12行： / 第12行： @@
 Arthur Dempster, Nan Laird和Donald Rubin<ref name="Dempster1977">
 {{cite journal
-  |last1=Dempster  |first1= A.P. |author-link1=Arthur P. Dempster
+  |last1=Dempster  |first1= A.P.
-  |last2=Laird |first2=N.M. |author-link2=Nan Laird |last3=Rubin
+  |last2=Laird |first2=N.M.|last3=Rubin
-  |first3=D.B. |author-link3=Donald Rubin
+  |first3=D.B.
   |title=Maximum Likelihood from Incomplete Data via the EM Algorithm
   |journal=[[Journal of the Royal Statistical Society, Series B]]
@@ 第107行： / 第107行： @@
 == 正确性证明 ==
-期望最大化可以改善<math>Q(\boldsymbol\theta\mid\boldsymbol\theta^{(t)})</math>而不是直接改进<math>\log p(\mathbf{X}\mid\boldsymbol\theta)</math> 。 这里表明对前者的改进意味着对后者的改进。<ref name="Little1987">{{cite book |last1=Little |first1= Roderick J.A. |last2= Rubin |first2= Donald B. |author2-link= Donald Rubin |title= Statistical Analysis with Missing Data |url=https://archive.org/details/statisticalanaly00litt |url-access=limited | series = Wiley Series in Probability and Mathematical Statistics |year= 1987 |publisher= John Wiley & Sons |location= New York |isbn= 978-0-471-80254-9 |pages= [https://archive.org/details/statisticalanaly00litt/page/n145 134]–136}}</ref>
+期望最大化可以改善<math>Q(\boldsymbol\theta\mid\boldsymbol\theta^{(t)})</math>而不是直接改进<math>\log p(\mathbf{X}\mid\boldsymbol\theta)</math> 。 这里表明对前者的改进意味着对后者的改进。<ref name="Little1987">{{cite book |last1=Little |first1= Roderick J.A. |last2= Rubin |first2= Donald B. |title= Statistical Analysis with Missing Data |url=https://archive.org/details/statisticalanaly00litt |url-access=limited | series = Wiley Series in Probability and Mathematical Statistics |year= 1987 |publisher= John Wiley & Sons |location= New York |isbn= 978-0-471-80254-9 |pages= [https://archive.org/details/statisticalanaly00litt/page/n145 134]–136}}</ref>
@@ 第157行： / 第157行： @@
 == 作为最大化-最大化过程 ==
-EM算法可以看作是两个交替的最大化步骤，即作为坐标下降法的一个例子。<ref name="neal1999">{{cite book|last1=Neal |first=Radford |last2=Hinton |first2=Geoffrey |author-link2=Geoffrey Hinton |title=A view of the EM algorithm that justifies incremental, sparse, and other variants |journal=Learning in Graphical Models |editor=Michael I. Jordan |editor-link=Michael I. Jordan |pages= 355–368 |publisher= MIT Press |location=Cambridge, MA |year=1999 |isbn=978-0-262-60032-3 |url=http://ftp.cs.toronto.edu/pub/radford/emk.pdf |access-date=2009-03-22}}</ref><ref name="hastie2001">{{cite book|last1=Hastie |first1= Trevor|author-link1=Trevor Hastie|last2=Tibshirani|first2=Robert|author-link2=Robert Tibshirani|last3=Friedman|first3=Jerome |year=2001 |title=The Elements of Statistical Learning |url=https://archive.org/details/elementsstatisti00thas_842 |url-access=limited |isbn=978-0-387-95284-0 |publisher=Springer |location=New York |chapter=8.5 The EM algorithm |pages=[https://archive.org/details/elementsstatisti00thas_842/page/n237 236]–243}}</ref>考虑函数：
+EM算法可以看作是两个交替的最大化步骤，即作为坐标下降法的一个例子。<ref name="neal1999">{{cite book|last1=Neal |first=Radford |last2=Hinton |first2=Geoffrey |title=A view of the EM algorithm that justifies incremental, sparse, and other variants |journal=Learning in Graphical Models |editor=Michael I. Jordan |pages= 355–368 |publisher= MIT Press |location=Cambridge, MA |year=1999 |isbn=978-0-262-60032-3 |url=http://ftp.cs.toronto.edu/pub/radford/emk.pdf |access-date=2009-03-22}}</ref><ref name="hastie2001">{{cite book|last1=Hastie |first1= Trevor|last2=Tibshirani|first2=Robert|last3=Friedman|first3=Jerome |year=2001 |title=The Elements of Statistical Learning |url=https://archive.org/details/elementsstatisti00thas_842 |url-access=limited |isbn=978-0-387-95284-0 |publisher=Springer |location=New York |chapter=8.5 The EM algorithm |pages=[https://archive.org/details/elementsstatisti00thas_842/page/n237 236]–243}}</ref>考虑函数：
 :<math> F(q,\theta) := \operatorname{E}_q [ \log L (\theta ; x,Z) ] + H(q), </math>
@@ 第244行： / 第244行： @@
 |doi = 10.1109/TSP.2008.2007090
 |bibcode = 2009ITSP...57..370E
 }}</ref><ref>{{Cite journal
 |last1 = Einicke
@@ 第259行： / 第258行： @@
 |date=May 2010
 |doi = 10.1109/LSP.2010.2043151
-|bibcode = 2010ISPL...17..437E |s2cid = 14114266
+|bibcode = 2010ISPL...17..437E
 }}</ref><ref>{{Cite journal
 |last1 = Einicke
@@ 第277行： / 第276行： @@
 |bibcode = 2012ISPL...19..275E
 |doi = 10.1109/LSP.2012.2190278
 }}</ref><ref>{{Cite journal
 |last = Einicke
@@ 第289行： / 第287行： @@
 |doi = 10.1109/TAES.2015.140843
 |bibcode = 2015ITAES..51.2205E
 }}</ref>
@@ 第301行： / 第298行： @@
-''期望条件最大化 Expectation conditional maximization (ECM)''用一系列条件最大化(CM)步骤代替每个 m 步骤，其中每个参数''θ''<sub>''i''</sub>单独最大化，条件是其他参数保持不变。<ref>{{cite journal|last1=Meng  |first1= Xiao-Li |last2=Rubin |first2=Donald B. |s2cid= 40571416 |author-link2=Donald Rubin |title=Maximum likelihood estimation via the ECM algorithm: A general framework |year=1993 |journal=[[Biometrika]] |volume=80 |issue=2 |pages=267–278 |doi=10.1093/biomet/80.2.267 |mr=1243503}}</ref> 本身也可以扩展为期望条件最大化 Expectation conditional maximization either(ECME)算法。<ref>{{cite journal |doi= 10.1093/biomet/81.4.633|jstor=2337067 |title=The ECME Algorithm: A Simple Extension of EM and ECM with Faster Monotone Convergence |journal=Biometrika |volume=81 |issue=4 |pages=633 |year=1994 |last1=Liu |first1=Chuanhai |last2=Rubin |first2=Donald B }}</ref>
+''期望条件最大化 Expectation conditional maximization (ECM)''用一系列条件最大化(CM)步骤代替每个 m 步骤，其中每个参数''θ''<sub>''i''</sub>单独最大化，条件是其他参数保持不变。<ref>{{cite journal|last1=Meng  |first1= Xiao-Li |last2=Rubin |first2=Donald B. |title=Maximum likelihood estimation via the ECM algorithm: A general framework |year=1993 |journal=[[Biometrika]] |volume=80 |issue=2 |pages=267–278 |doi=10.1093/biomet/80.2.267 |mr=1243503}}</ref> 本身也可以扩展为期望条件最大化 Expectation conditional maximization either(ECME)算法。<ref>{{cite journal |doi= 10.1093/biomet/81.4.633|jstor=2337067 |title=The ECME Algorithm: A Simple Extension of EM and ECM with Faster Monotone Convergence |journal=Biometrika |volume=81 |issue=4 |pages=633 |year=1994 |last1=Liu |first1=Chuanhai |last2=Rubin |first2=Donald B }}</ref>
@@ 第446行： / 第443行： @@
 ==进一步阅读==
-* {{cite book |first1=Robert |last1=Hogg |first2=Joseph |last2=McKean |author-link3=Allen Craig |first3=Allen |last3=Craig |title=Introduction to Mathematical Statistics |pages=359–364 |location=Upper Saddle River, NJ |publisher=Pearson Prentice Hall |year=2005 }}
+* {{cite book |first1=Robert |last1=Hogg |first2=Joseph |last2=McKean |first3=Allen |last3=Craig |title=Introduction to Mathematical Statistics |pages=359–364 |location=Upper Saddle River, NJ |publisher=Pearson Prentice Hall |year=2005 }}
-* {{cite journal |citeseerx= 10.1.1.9.9735 |title= The Expectation Maximization Algorithm|first=Frank |last= Dellaert |author-link= Frank Dellaert |year= 2002}} gives an easier explanation of EM algorithm as to lowerbound maximization.
+* {{cite journal |citeseerx= 10.1.1.9.9735 |title= The Expectation Maximization Algorithm|first=Frank |last= Dellaert |year= 2002}} gives an easier explanation of EM algorithm as to lowerbound maximization.
 * {{cite book
   |last1 = Bishop |first1 = Christopher M.
   |title = Pattern Recognition and Machine Learning
   |year = 2006

@@ 第411行： / 第411行： @@
 对于 ('''μ'''<sub>1</sub>,Σ<sub>1</sub>)的下一个估计：
 : <math>\begin{align}(\boldsymbol{\mu}_1^{(t+1)},\Sigma_1^{(t+1)})
-&= \underset{\boldsymbol{\mu}_1,\Sigma_1} \operatorname{arg\,max} Q(\theta \mid \theta^{(t)} ) \\
+&= \underset{\boldsymbol{\mu}_1,\Sigma_1} {argmax} Q(\theta \mid \theta^{(t)} ) \\
-&= \underset{\boldsymbol{\mu}_1,\Sigma_1} \operatorname{arg\,max} \sum_{i=1}^n T_{1,i}^{(t)} \left\{ -\tfrac{1}{2} \log |\Sigma_1| -\tfrac{1}{2}(\mathbf{x}_i-\boldsymbol{\mu}_1)^\top\Sigma_1^{-1} (\mathbf{x}_i-\boldsymbol{\mu}_1) \right\}
+&= \underset{\boldsymbol{\mu}_1,\Sigma_1} {argmax} \sum_{i=1}^n T_{1,i}^{(t)} \left\{ -\tfrac{1}{2} \log |\Sigma_1| -\tfrac{1}{2}(\mathbf{x}_i-\boldsymbol{\mu}_1)^\top\Sigma_1^{-1} (\mathbf{x}_i-\boldsymbol{\mu}_1) \right\}
 \end{align}.</math>

@@ 第407行： / 第407行： @@
 : <math>\tau^{(t+1)}_j = \frac{\sum_{i=1}^n T_{j,i}^{(t)}}{\sum_{i=1}^n (T_{1,i}^{(t)} + T_{2,i}^{(t)} ) } = \frac{1}{n} \sum_{i=1}^n T_{j,i}^{(t)}.</math>
 对于 ('''μ'''<sub>1</sub>,Σ<sub>1</sub>)的下一个估计：
@@ 第414行： / 第415行： @@
 \end{align}.</math>
 这与正态分布的加权 MLE 具有相同的形式，因此
 : <math>\boldsymbol{\mu}_1^{(t+1)} = \frac{\sum_{i=1}^n T_{1,i}^{(t)} \mathbf{x}_i}{\sum_{i=1}^n T_{1,i}^{(t)}} </math> and <math>\Sigma_1^{(t+1)} = \frac{\sum_{i=1}^n T_{1,i}^{(t)} (\mathbf{x}_i - \boldsymbol{\mu}_1^{(t+1)}) (\mathbf{x}_i - \boldsymbol{\mu}_1^{(t+1)})^\top }{\sum_{i=1}^n T_{1,i}^{(t)}} </math>
 并且，通过对称性，
 : <math>\boldsymbol{\mu}_2^{(t+1)} = \frac{\sum_{i=1}^n T_{2,i}^{(t)} \mathbf{x}_i}{\sum_{i=1}^n T_{2,i}^{(t)}} </math> and <math>\Sigma_2^{(t+1)} = \frac{\sum_{i=1}^n T_{2,i}^{(t)} (\mathbf{x}_i - \boldsymbol{\mu}_2^{(t+1)}) (\mathbf{x}_i - \boldsymbol{\mu}_2^{(t+1)})^\top }{\sum_{i=1}^n T_{2,i}^{(t)}}。</math>
 ==== 终止 ====

@@ 第386行： / 第386行： @@
 &= \sum_{i=1}^n \sum_{j=1}^2 T_{j,i}^{(t)} \big[ \log \tau_j  -\tfrac{1}{2} \log |\Sigma_j| -\tfrac{1}{2}(\mathbf{x}_i-\boldsymbol{\mu}_j)^\top\Sigma_j^{-1} (\mathbf{x}_i-\boldsymbol{\mu}_j) -\tfrac{d}{2} \log(2\pi) \big].
 \end{align}</math>
- <math>\log L(\theta;\mathbf{x}_i,Z_i)</math>的期望求和的内部是<math>P(Z_i \mid X_i = \mathbf{x}_i; \theta^{(t)})</math>的概率密度函数这可能因人而异<math>\mathbf{x}_i</math> 的训练集。E 步骤中的所有内容在执行该步骤之前都是已知的，除了根据 E 步骤部分开头的方程计算的<math>T_{j,i}</math>。
+<math>\log L(\theta;\mathbf{x}_i,Z_i)</math>的期望求和的内部是<math>P(Z_i \mid X_i = \mathbf{x}_i; \theta^{(t)})</math>的概率密度函数这可能因人而异<math>\mathbf{x}_i</math> 的训练集。E 步骤中的所有内容在执行该步骤之前都是已知的，除了根据 E 步骤部分开头的方程计算的<math>T_{j,i}</math>。
 这一完整的条件期望不需要一步计算，因为 ''τ''和 '''μ'''/'''Σ''' 出现在单独的线性项中，因此可以独立最大化。
 ==== M 步骤====