概率图模型

图模型 Graphical Model，亦称概率图模型 Probabilistic Graphical Model（PGM）或结构化概率模型 structured probabilistic model，是一种用图表示随机变量之间条件依赖关系的概率模型。它们通常用于概率论、统计学，尤其是贝叶斯统计学和机器学习。

这是一个图模型的例子。每个箭头表示一个依赖关系。在这个例子中: D 依赖于 A、 B 和 C; C 依赖于 B 和 D; 而 A 和 B 相互独立。

概率图理论共分为三个部分，分别为概率图模型表示理论，概率图模型推理理论和概率图模型学习理论。

图模型的类型

一般来说，概率图模型中图的表示方法常常作为对多维空间上的分布进行编码的基础，主要由参数和结构两个部分组成。

常用的概率图模型大致分为两类：贝叶斯网络（Bayesian network, BN）和马尔可夫网络（Markov network, MN）或者称为马尔可夫随机场（。这两种都包含因子分解和独立性的性质，但是在它们可以编码的一系列独立性和它们所诱导的分布的因子分解上有所不同。

在有向图模型中，节点之间的链接有一个特定的方向，表达变量之间的因果关系；

贝叶斯网络

如果模型的网络结构是有向无环图，则模型表示所有随机变量的联合概率的因子分解。更确切地说，如果事件是[math]\displaystyle{ X_1,\ldots,X_n }[/math]，那么联合概率满足：

[math]\displaystyle{ P[X_1,\ldots,X_n]=\prod_{i=1}^nP[X_i|\text{pa}(X_i)] }[/math]

其中 [math]\displaystyle{ \text{pa}(X_i) }[/math] 是节点 [math]\displaystyle{ X_i }[/math] 的父节点集（节点的边际指向 [math]\displaystyle{ X_i }[/math] )。换句话说，联合分布因子可以表示为条件分布的乘积。例如，上图中的图模型（实际上不是有向无环图，而是原始图）是由随机变量[math]\displaystyle{ A, B, C, D }[/math] 组成，联合概率密度因子为

[math]\displaystyle{ P[A,B,C,D] = P[A]\cdot P[B]\cdot P[C,D|A,B] }[/math]

任何两个节点都是和其父节点的值是条件独立的。一般来说，如果 d-分离准则在图中成立，那么任意两组节点和给定第三个节点集都是条件独立的。在贝叶斯网络中，局部独立性和全局独立性是等价的。

这种类型的图形模型被称为有向图模型、贝氏网路或信念网络。经典的机器学习模型：隐马尔可夫模型、神经网络和更新的模型如可变阶马尔可夫模型都可以看作是贝叶斯网络的特殊情况。

其他类别

• 朴素贝叶斯分类器 Naive Bayes classifier,其中我们会使用一颗单结点树
• 依赖网络 Dependency network中环的出现
• 树增广朴素贝叶斯分类器 Tree-augmented classifier 或简称为TAN模型
• 因子图 factor graph是连接变量和因子的无向二分图。 每个因子代表与其连接的变量有关的函数。 这对于理解和实现信念传播算法很有帮助。
• 在节点树 clique tree 算法中，通常会使用派系中一棵派系树或者是节点树。
• 链式图 chain graph 是既可以有向也可以无向的边，但是没有任何有向环（即，如果我们从任意一个顶点开始并依据任何箭头的方向沿该图形移动，则只要我们沿着箭头走了一步我们将无法返回到该顶点）。 有向无环图和无向图都是链式图的特例，因此可以提供一种统一和泛化贝叶斯网络和马尔可夫网络的方法。

• An ancestral graph is a further extension, having directed, bidirected and undirected edges.

• Random field techniques

• • A Markov random field, also known as a Markov network, is a model over an undirected graph. A graphical model with many repeated subunits can be represented with plate notation.

• • A conditional random field is a discriminative model specified over an undirected graph.

• A restricted Boltzmann machine is a bipartite generative model specified over an undirected graph.

应用

该模型的框架为发现和分析复杂分布中的结构、简洁地描述结构和提取非结构化信息提供了算法，使模型得到有效的构建和利用。图形模型的应用包括因果推理、信息抽取、语音识别、l计算机视觉、低密度奇偶校验码的解码、基因调控网络的建模、基因发现和疾病诊断，以及蛋白质结构的图形模型。

另见

• Belief propagation 信念传递网络
• Structural equation model 结构方程模型

进一步阅读

书籍

• Barber, David (2012). Bayesian Reasoning and Machine Learning. Cambridge University Press. ISBN 978-0-521-51814-7. 
• Bishop, Christopher M. (2006). "Chapter 8. Graphical Models". Pattern Recognition and Machine Learning. Springer. pp. 359–422. ISBN 978-0-387-31073-2. MR 2247587. https://www.microsoft.com/en-us/research/wp-content/uploads/2016/05/Bishop-PRML-sample.pdf. 
• Cowell, Robert G.; Dawid, A. Philip; Lauritzen, Steffen L. author4=Spiegelhalter, David J. (1999). Probabilistic networks and expert systems. Berlin: Springer. ISBN 978-0-387-98767-5. MR 1697175.  一本更先进和面向统计的书。
• Jensen, Finn (1996). An introduction to Bayesian networks. Berlin: Springer. ISBN 978-0-387-91502-9. 
• Pearl, Judea (1988). Probabilistic Reasoning in Intelligent Systems (2nd revised ed.). San Mateo, CA: Morgan Kaufmann. ISBN 978-1-55860-479-7. MR 0965765. 一种计算推理方法，图和概率之间的关系被正式引入。

论文

• Edoardo M. Airoldi (2007). "Getting Started in Probabilistic Graphical Models". PLoS Computational Biology. 3 (12): e252. doi:10.1371/journal.pcbi.0030252. PMC 2134967. PMID 18069887.
• Jordan, M. I. (2004). "Graphical Models". Statistical Science. 19: 140–155. doi:10.1214/088342304000000026.
• Ghahramani, Zoubin (May 2015). "Probabilistic machine learning and artificial intelligence". Nature (in English). 521 (7553): 452–459. doi:10.1038/nature14541. PMID 26017444.

其他

• Heckerman's Bayes Net Learning Tutorial

• A Brief Introduction to Graphical Models and Bayesian Networks

• Sargur Srihari's lecture slides on probabilistic graphical models

其他链接

• Graphical models and Conditional Random Fields
• Probabilistic Graphical Models taught by Eric Xing at CMU

---

本中文词条由HaoZHAN翻译，Yuling审校，薄荷欢迎在讨论页面留言。

本词条内容源自公开资料，遵守 CC3.0协议。