130
个编辑
更改
跳到导航
跳到搜索
第192行：
第192行： + + + + + + + + + + + +
→历史背景
=='''相关技术与扩展'''==
=='''相关技术与扩展'''==
==== '''5.1 GloVe（Global Vectors for Word Representation）''' ====
===== 背景： =====
GloVe 是由斯坦福大学的 Jeffrey Pennington、Richard Socher 和 Christopher D. Manning 于 2014 年提出，旨在结合传统基于计数的模型（如 LSA）和 Word2Vec 的优势，提出一种高效的全局词向量训练方法。
===== 技术原理： =====
GloVe 不是基于上下文预测，而是通过统计词与词之间的'''共现频率'''，利用整个语料库构造一个共现矩阵 <math>X</math> ,并以此矩阵为基础优化词向量。其基本思想是：两个词之间的语义关系可以通过它们与其他词的共现比值来建模。
损失函数如下：
<math>J = \sum_{i,j=1}^{V} f(X_{ij}) \cdot \left( \mathbf{w}_i^\top \tilde{\mathbf{w}}_j + b_i + \tilde{b}_j - \log X_{ij} \right)^2
</math>
* GloVe（Global Vectors for Word Representation）
* GloVe（Global Vectors for Word Representation）
*FastText
*FastText