130
个编辑
更改
跳到导航
跳到搜索
第5行：
第5行： − + − * 相关技术的前身（如神经语言模型、潜在语义分析）+ + + + + +
无编辑摘要
== '''历史背景''' ==
== '''历史背景''' ==
Word2Vec 由 Tomas Mikolov 及其团队于 2013 年在 Google Research 提出。Tomas Mikolov 在布尔诺理工大学（Brno University of Technology）完成了神经网络语言建模的博士研究后，加入 Google，与 Kai Chen、Greg Corrado 和 Jeffrey Dean 等人合作，致力于大规模数据下的词表示学习问题。面对传统方法在大规模语料处理上的局限，Mikolov 团队提出了两种简洁高效的浅层神经网络架构，即 Continuous Bag-of-Words（CBOW）和 Continuous Skip-gram，统称为 Word2Vec。Word2Vec 实现了在数十亿词级别的数据上快速训练高质量词向量的目标，一经发布便在NLP领域引起了广泛关注和应用。
Word2Vec 由 Tomas Mikolov 及其团队于 2013 年在 Google Research 提出。Tomas Mikolov 在布尔诺理工大学（Brno University of Technology）完成了神经网络语言建模的博士研究后，加入 Google后，与 Kai Chen、Greg Corrado 和 Jeffrey Dean 等人合作，致力于大规模数据下的词表示学习问题。面对传统方法在大规模语料处理上的局限，Mikolov 团队提出了两种简洁高效的浅层神经网络架构，即 Continuous Bag-of-Words（CBOW）和 Continuous Skip-gram，统称为 Word2Vec。Word2Vec 实现了在数十亿词级别的数据上快速训练高质量词向量的目标，一经发布便在NLP领域引起了广泛关注和应用。
'''潜在语义分析（Latent Semantic Analysis, LSA）'''
1990 年提出的 LSA 是最早试图从统计信息中抽取语义结构的方法。旨在从大规模文本数据中自动抽取潜在的语义结构。LSA 的核心思想是：词语的含义可以通过它们在不同文档中的共现模式来推断。具体来说，LSA 首先构建一个词-文档共现矩阵，矩阵中的每一行对应一个词，每一列对应一篇文档，矩阵元素表示词在文档中出现的频率或加权频率。为了从这种高维稀疏矩阵中提取有用的语义信息，LSA 采用了奇异值分解（Singular Value Decomposition, SVD）技术，将原始矩阵分解为三个矩阵的乘积，并截断只保留最大的若干个奇异值。这一降维过程使得词语和文档可以被映射到一个低维连续空间，在这个空间中，语义上相似的词和文档会被映射到彼此接近的位置。
LSA 的优势在于它能在一定程度上缓解词义多样性（polysemy）和同义性（synonymy）问题，揭示出词语之间的隐含关联关系。特别是在小到中等规模的语料库上，LSA 能够有效提取出有意义的语义结构，并在文档检索、文本分类等早期应用中取得了良好的效果。然而，LSA 也存在显著的局限性。首先，LSA 是一种无监督统计方法，它不区分不同类型的语义关系，容易混合不相关的信息。其次，由于 SVD 分解需要对整个共现矩阵进行全局运算，当词表规模和文档数量巨大时（如百万级、十亿级词量），计算成本极高且内存占用极大，在大规模语料上难以实际应用。
* Word2Vec 的影响和后续发展
* Word2Vec 的影响和后续发展