130
个编辑
更改
跳到导航
跳到搜索
第6行：
第6行： + + + + + + + +
无编辑摘要
== '''历史背景''' ==
== '''历史背景''' ==
Word2Vec 由 Tomas Mikolov 及其团队于 2013 年在 Google Research 提出。Tomas Mikolov 在布尔诺理工大学（Brno University of Technology）完成了神经网络语言建模的博士研究后，加入 Google后，与 Kai Chen、Greg Corrado 和 Jeffrey Dean 等人合作，致力于大规模数据下的词表示学习问题。面对传统方法在大规模语料处理上的局限，Mikolov 团队提出了两种简洁高效的浅层神经网络架构，即 Continuous Bag-of-Words（CBOW）和 Continuous Skip-gram，统称为 Word2Vec。Word2Vec 实现了在数十亿词级别的数据上快速训练高质量词向量的目标，一经发布便在NLP领域引起了广泛关注和应用。
Word2Vec 由 Tomas Mikolov 及其团队于 2013 年在 Google Research 提出。Tomas Mikolov 在布尔诺理工大学（Brno University of Technology）完成了神经网络语言建模的博士研究后，加入 Google后，与 Kai Chen、Greg Corrado 和 Jeffrey Dean 等人合作，致力于大规模数据下的词表示学习问题。面对传统方法在大规模语料处理上的局限，Mikolov 团队提出了两种简洁高效的浅层神经网络架构，即 Continuous Bag-of-Words（CBOW）和 Continuous Skip-gram，统称为 Word2Vec。Word2Vec 实现了在数十亿词级别的数据上快速训练高质量词向量的目标，一经发布便在NLP领域引起了广泛关注和应用。
'''N-gram 模型'''
N-gram模型基于一种简化的假设，即一个词的出现概率只依赖于它前面有限数量的词，而不是整个句子的全部历史。通过这种方式，语言建模问题被大大简化，可以通过局部上下文来近似建模词与词之间的关系。在N-gram模型中，"N"指的是窗口的大小。例如，当N为2时，称为二元模型（bigram），意味着每个词的出现只依赖于它前面的一个词；当N为3时，称为三元模型（trigram），每个词的出现依赖于前面两个词。为了建立这样的模型，通常需要在大量文本数据中统计各类词序列的出现频率，根据频率来估计词与上下文之间的关联强度。N-gram模型的基本思想非常直接：频繁一起出现的词组会被赋予较高的联合出现概率，从而在生成或理解语言时优先考虑。
由于自然语言极其丰富和多样，哪怕拥有大规模的训练语料，许多合理的词序列也未必在数据中出现过。因此，N-gram模型面临数据稀疏的问题。为了缓解这一问题，研究者们提出了各种平滑技术，为未出现过的词组分配合理的小概率。此外，N-gram模型还有其他局限，比如它只能建模固定长度的上下文，难以捕捉长距离的依赖关系；并且当N值增大时，模型的参数数量也会迅速膨胀，导致存储和计算成本变得很高。因此，在实际应用中通常只采用二元或三元模型，以在建模效果和计算资源之间取得平衡。
N-gram模型在统计语言建模、语音识别、机器翻译、信息检索等多个领域中长期发挥着基础性作用。它不仅为自然语言处理技术的发展奠定了重要的理论和实践基础，还启发了后续更加复杂、表达能力更强的语言建模方法。作为自然语言处理演进过程中不可或缺的一步，N-gram模型至今仍在许多简单任务中发挥着实际价值，并以其简洁有效的方法论为后续研究提供了重要借鉴。
'''潜在语义分析（Latent Semantic Analysis, LSA）'''
'''潜在语义分析（Latent Semantic Analysis, LSA）'''