91
个编辑
更改
跳到导航
跳到搜索
第244行：
第244行： − + 第251行：
第251行： − ·每个元素 <math>X_{ij}</math> 表示词<math>j</math>在词 <math>i</math> 的上下文窗口中出现的次数；+ − ·矩阵是稀疏且高维的，规模为 <math>V \times V</math>，其中 <math>V</math> 是词汇表大小。+
→技术原理：
GloVe 是由斯坦福大学的 Jeffrey Pennington、Richard Socher 和 Christopher D. Manning 于 2014 年提出，旨在结合传统基于计数的模型（如 LSA）和 Word2Vec 的优势，提出一种高效的全局词向量训练方法。
GloVe 是由斯坦福大学的 Jeffrey Pennington、Richard Socher 和 Christopher D. Manning 于 2014 年提出，旨在结合传统基于计数的模型（如 LSA）和 Word2Vec 的优势，提出一种高效的全局词向量训练方法。
==== 技术原理： ====
====技术原理====
GloVe 是一种基于全局共现信息来学习词向量的方法<ref>Pennington J, Socher R, Manning C D. Glove: Global vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014: 1532-1543.</ref>，与 Word2Vec 不同，它不依赖上下文窗口中的预测任务，而是采用词与词之间在整个语料库中共现频率的统计信息来构造词语之间的关系。
GloVe 是一种基于全局共现信息来学习词向量的方法<ref>Pennington J, Socher R, Manning C D. Glove: Global vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014: 1532-1543.</ref>，与 Word2Vec 不同，它不依赖上下文窗口中的预测任务，而是采用词与词之间在整个语料库中共现频率的统计信息来构造词语之间的关系。
在训练之前，GloVe 首先对整个语料库构建一个 共现矩阵<math>X</math>：
在训练之前，GloVe 首先对整个语料库构建一个 共现矩阵<math>X</math>：
* 每个元素 <math>X_{ij}</math> 表示词<math>j</math>在词 <math>i</math> 的上下文窗口中出现的次数；
* 矩阵是稀疏且高维的，规模为 <math>V \times V</math>，其中 <math>V</math> 是词汇表大小。
GloVe 的一个重要设计理念是：两个词之间的语义关系可由它们对其他词的共现比值刻画。对于一个目标词 '''<math>i</math>'''，考虑两个上下文词 '''<math>j</math>''' 和 '''<math>k</math>'''，如果 '''<math>i</math>''' 与 '''<math>j</math>''' 的共现频率远高于与 '''<math>k</math>'''，则两者在语义上的关联也会不同。
GloVe 的一个重要设计理念是：两个词之间的语义关系可由它们对其他词的共现比值刻画。对于一个目标词 '''<math>i</math>'''，考虑两个上下文词 '''<math>j</math>''' 和 '''<math>k</math>'''，如果 '''<math>i</math>''' 与 '''<math>j</math>''' 的共现频率远高于与 '''<math>k</math>'''，则两者在语义上的关联也会不同。