7,129
个编辑
更改
跳到导航
跳到搜索
第104行：
第104行： − + 第112行：
第112行： − + 第162行：
第162行： −
→推理与学习
最常用的精确推理方法有: '''<font color="#ff8000">变量消除法</font>'''，即通过积分或求和的方式将未观察到的非查询变量逐一消除；'''<font color="#ff8000">团树传播算法</font>'''，它将计算过程缓存，可以同时查询多个变量，并快速传播新的证据； '''<font color="#ff8000">递归条件化 AND/OR 搜索法</font>'''，它考虑了时间和空间取舍，并且在使用足够的空间时拥有与变量消除法相比拟的时间效率。所有这些方法的复杂度都随网络树宽的增长呈指数级上升。而最常见的近似推理算法有'''<font color="#ff8000">重要性抽样法 importance sampling'''、'''随机 MCMC 模拟法 Markov chain Monte Carlo'''、'''小桶消去法 '''、'''循环置信传播法 loopy belief propagation'''、'''广义置信传播法 generalized belief propagation'''和'''<font color="#ff8000">变分法 variational Bayes</font>'''。
最常用的精确推理方法有: '''<font color="#ff8000">变量消除法</font>'''，即通过积分或求和的方式将未观察到的非查询变量逐一消除；'''<font color="#ff8000">团树传播算法</font>'''，它将计算过程缓存，可以同时查询多个变量，并快速传播新的证据； '''<font color="#ff8000">递归条件化 AND/OR 搜索法</font>'''，它考虑了时间和空间取舍，并且在使用足够的空间时拥有与变量消除法相比拟的时间效率。所有这些方法的复杂度都随网络树宽的增长呈指数级上升。而最常见的近似推理算法有'''<font color="#ff8000">重要性抽样法 importance sampling</font>'''、'''随机 MCMC 模拟法 Markov chain Monte Carlo'''、'''小桶消去法 '''、'''循环置信传播法 loopy belief propagation'''、'''广义置信传播法 generalized belief propagation'''和'''<font color="#ff8000">变分法 variational Bayes</font>'''。
通常这些条件分布包括未知的参数，必须从数据中估计出来，例如，使用'''最大似然估计 maximum likelihood</font>'''。给定未观测的变量，直接进行最大化似然（或后验概率）往往是很复杂的。这个问题的一个经典解决方案是'''<font color="#ff8000">EM算法</font>。它利用观测数据计算出未观测变量的期望值，并假设先前计算的期望值是正确的，然后最大化完全似然（或后验），求期望和最大化两个步骤交替迭代进行。在某些条件下，这个过程能收敛于待估计参数的最大似然值（或最大后验值）。
通常这些条件分布包括未知的参数，必须从数据中估计出来，例如，使用'''最大似然估计 maximum likelihood'''。给定未观测的变量，直接进行最大化似然（或后验概率）往往是很复杂的。这个问题的一个经典解决方案是'''<font color="#ff8000">EM算法</font>。它利用观测数据计算出未观测变量的期望值，并假设先前计算的期望值是正确的，然后最大化完全似然（或后验），求期望和最大化两个步骤交替迭代进行。在某些条件下，这个过程能收敛于待估计参数的最大似然值（或最大后验值）。
学习树宽有限的贝叶斯网络对于精确的，可追溯的推理是必要的，因为最坏情况下的推理复杂度也只是树宽 k 的指数级（在指数时间假设下）。然而，作为图表的全局属性，它大大增加了学习过程的难度。在这种情况下，可以使用 K 树进行有效的学习。<ref>M. Scanagatta, G. Corani, C. P. de Campos, and M. Zaffalon. [http://papers.nips.cc/paper/6232-learning-treewidth-bounded-bayesian-networks-with-thousands-of-variables Learning Treewidth-Bounded Bayesian Networks with Thousands of Variables.] In NIPS-16: Advances in Neural Information Processing Systems 29, 2016.</ref>
学习树宽有限的贝叶斯网络对于精确的，可追溯的推理是必要的，因为最坏情况下的推理复杂度也只是树宽 k 的指数级（在指数时间假设下）。然而，作为图表的全局属性，它大大增加了学习过程的难度。在这种情况下，可以使用 K 树进行有效的学习。<ref>M. Scanagatta, G. Corani, C. P. de Campos, and M. Zaffalon. [http://papers.nips.cc/paper/6232-learning-treewidth-bounded-bayesian-networks-with-thousands-of-variables Learning Treewidth-Bounded Bayesian Networks with Thousands of Variables.] In NIPS-16: Advances in Neural Information Processing Systems 29, 2016.</ref>
==统计学简介==
==统计学简介==