“概率图模型”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
第1行: 第1行:
此词条暂由Yuling翻译,未经人工整理和审校,带来阅读不便,请见谅。
+
{{#seo:
 +
|keywords=概率图模型,图模型,结构化概率模型
 +
|description=是一种用图表示随机变量之间条件依赖关系的概率模型。
 +
}}
 +
'''图模型 Graphical Model''','''亦称概率图模型 Probabilistic Graphical Model(PGM)'''或'''结构化概率模型 structured probabilistic model''',是一种用图表示随机变量之间条件依赖关系的概率模型。它们通常用于概率论、统计学,尤其是[[贝叶斯统计学]]和[[机器学习]]。
  
'''<font color="#ff8000">图模型 Graphical Model</font>''','''亦称<font color="#ff8000">概率图模型 Probabilistic Graphical Model(PGM)</font>'''或'''结构化概率模型 structured probabilistic model''',是一种用图表示随机变量之间条件依赖关系的概率模型。它们通常用于概率论、统计学,尤其是[[贝叶斯统计学]][[机器学习]]
+
[[File:Graph model.svg|thumb|right|这是一个图模型的例子。每个箭头表示一个依赖关系。在这个例子中: D 依赖于 A、 B 和 C; C 依赖于 B 和 D; 而 A B 相互独立。]]
  
[[File:Graph model.svg|thumb|right|这是一个图模型的例子。每个箭头表示一个依赖关系。在这个例子中: D 依赖于 A、 B 和 C; C 依赖于 B 和 D; 而 A 和 B 相互独立。]]
 
  
 
==图模型的类别==
 
==图模型的类别==
  
 
一般来说,概率图模型中图的表示方法常常作为对多维空间上的分布进行编码的基础,而图是一组独立分布的紧凑或分解表示。常用的概率图模型大致分为两类:贝叶斯网络和马尔可夫随机场。这两种都包含因子分解和独立性的性质,但是它们在它们可以编码的一系列独立性和它们所诱导的分布的因子分解上有所不同。 <ref name=koller09>{{ cite book|author=Koller, D.|author2=Friedman, N.|title=Probabilistic Graphical Models|url=http://pgm.stanford.edu/|publisher=MIT Press|location=Massachusetts|year=2009|pages=1208|isbn=978-0-262-01319-2|archive-url=https://web.archive.org/web/20140427083249/http://pgm.stanford.edu/|archive-date=2014-04-27|url-status=dead}}</ref>
 
一般来说,概率图模型中图的表示方法常常作为对多维空间上的分布进行编码的基础,而图是一组独立分布的紧凑或分解表示。常用的概率图模型大致分为两类:贝叶斯网络和马尔可夫随机场。这两种都包含因子分解和独立性的性质,但是它们在它们可以编码的一系列独立性和它们所诱导的分布的因子分解上有所不同。 <ref name=koller09>{{ cite book|author=Koller, D.|author2=Friedman, N.|title=Probabilistic Graphical Models|url=http://pgm.stanford.edu/|publisher=MIT Press|location=Massachusetts|year=2009|pages=1208|isbn=978-0-262-01319-2|archive-url=https://web.archive.org/web/20140427083249/http://pgm.stanford.edu/|archive-date=2014-04-27|url-status=dead}}</ref>
 +
  
 
===贝叶斯网络===
 
===贝叶斯网络===
第46行: 第50行:
  
 
* A [[restricted Boltzmann machine]] is a [[Bipartite graph|bipartite]] [[generative model]] specified over an undirected graph.
 
* A [[restricted Boltzmann machine]] is a [[Bipartite graph|bipartite]] [[generative model]] specified over an undirected graph.
 
  
  
第98行: 第101行:
 
* [https://www.cs.cmu.edu/~epxing/Class/10708/ Probabilistic Graphical Models taught by Eric Xing at CMU]
 
* [https://www.cs.cmu.edu/~epxing/Class/10708/ Probabilistic Graphical Models taught by Eric Xing at CMU]
  
 +
 +
----
 +
本中文词条由[[用户:|用户:]]翻译,[[用户:|用户:]]、[[用户:Lux Cicero|Lux Cicero]]审校,[[用户:薄荷|薄荷]]欢迎在讨论页面留言。
 +
 +
'''本词条内容源自公开资料,遵守 CC3.0协议。'''
  
 
[[Category:贝叶斯统计]]
 
[[Category:贝叶斯统计]]
 
[[Category:图模型]]
 
[[Category:图模型]]

2021年1月10日 (日) 22:37的版本

图模型 Graphical Model,亦称概率图模型 Probabilistic Graphical Model(PGM)结构化概率模型 structured probabilistic model,是一种用图表示随机变量之间条件依赖关系的概率模型。它们通常用于概率论、统计学,尤其是贝叶斯统计学机器学习

这是一个图模型的例子。每个箭头表示一个依赖关系。在这个例子中: D 依赖于 A、 B 和 C; C 依赖于 B 和 D; 而 A 和 B 相互独立。


图模型的类别

一般来说,概率图模型中图的表示方法常常作为对多维空间上的分布进行编码的基础,而图是一组独立分布的紧凑或分解表示。常用的概率图模型大致分为两类:贝叶斯网络和马尔可夫随机场。这两种都包含因子分解和独立性的性质,但是它们在它们可以编码的一系列独立性和它们所诱导的分布的因子分解上有所不同。 [1]


贝叶斯网络

如果模型的网络结构是有向无环图,则模型表示所有随机变量的联合概率的因子分解。更确切地说,如果事件是[math]\displaystyle{ X_1,\ldots,X_n }[/math],那么联合概率满足:


[math]\displaystyle{ P[X_1,\ldots,X_n]=\prod_{i=1}^nP[X_i|\text{pa}(X_i)] }[/math]


其中 [math]\displaystyle{ \text{pa}(X_i) }[/math] 是节点 [math]\displaystyle{ X_i }[/math] 的父节点集(节点的边际指向 [math]\displaystyle{ X_i }[/math] )。换句话说,联合分布因子可以表示为条件分布的乘积。例如,上图中的图模型(实际上不是有向无环图,而是原始图)是由随机变量[math]\displaystyle{ A, B, C, D }[/math] 组成,联合概率密度因子为


[math]\displaystyle{ P[A,B,C,D] = P[A]\cdot P[B]\cdot P[C,D|A,B] }[/math]


任何两个节点都是和其父节点的值是条件独立的。一般来说,如果 d-分离准则在图中成立,那么任意两组节点和给定第三个节点集都是条件独立的。在贝叶斯网络中,局部独立性和全局独立性是等价的。


这种类型的图形模型被称为有向图模型、贝氏网路或信念网络。经典的机器学习模型:隐马尔可夫模型神经网络和更新的模型如可变阶马尔可夫模型都可以看作是贝叶斯网络的特殊情况。


其他类别

  • 朴素贝叶斯分类器 Naive Bayes classifier,其中我们会使用一颗单结点树
  • 依赖网络 Dependency network中环的出现
  • 树增广朴素贝叶斯分类器 Tree-augmented classifier 或简称为TAN模型
  • 因子图 factor graph是连接变量和因子的无向二分图。 每个因子代表与其连接的变量有关的函数。 这对于理解和实现信念传播算法很有帮助。
  • 节点树 clique tree 算法中,通常会使用派系中一棵派系树或者是节点树。
  • 链式图 chain graph 是既可以有向也可以无向的边,但是没有任何有向环(即,如果我们从任意一个顶点开始并依据任何箭头的方向沿该图形移动,则只要我们沿着箭头走了一步我们将无法返回到该顶点)。 有向无环图和无向图都是链式图的特例,因此可以提供一种统一和泛化贝叶斯网络和马尔可夫网络的方法。[2]
  • An ancestral graph is a further extension, having directed, bidirected and undirected edges.[3]


应用

该模型的框架为发现和分析复杂分布中的结构、简洁地描述结构和提取非结构化信息提供了算法,使模型得到有效的构建和利用。图形模型的应用包括因果推理、信息抽取、语音识别l计算机视觉、低密度奇偶校验码的解码、基因调控网络的建模、基因发现和疾病诊断,以及蛋白质结构的图形模型。


另见


参考文献

  1. Koller, D.; Friedman, N. (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. pp. 1208. ISBN 978-0-262-01319-2. http://pgm.stanford.edu/. 
  2. Frydenberg, Morten (1990). "The Chain Graph Markov Property". Scandinavian Journal of Statistics. 17 (4): 333–353. JSTOR 4616181. MR 1096723.
  3. Richardson, Thomas; Spirtes, Peter (2002). "Ancestral graph Markov models". Annals of Statistics. 30 (4): 962–1030. CiteSeerX 10.1.1.33.4906. doi:10.1214/aos/1031689015. MR 1926166. Zbl 1033.60008.


进一步阅读

书籍

论文


其他


其他链接



本中文词条由[[用户:|用户:]]翻译,[[用户:|用户:]]、Lux Cicero审校,薄荷欢迎在讨论页面留言。

本词条内容源自公开资料,遵守 CC3.0协议。