| 第1行: |
第1行: |
| | == Intro == | | == Intro == |
| − | '''Word2Vec''' 是一种将词语(Word)映射为连续向量(Vector)的高效建模技术,它通过在大规模文本语料中自动学习,使每个词表示为一个低维、密集、连续的向量(Embedding),这种向量能够捕捉词语之间的'''语义'''和'''句法'''关系。 | + | '''Word2Vec''' 是一种将词语(Word)映射为连续向量(Vector)的高效建模技术,由 Google 的 Tomas Mikolov 团队于 2013 年提出。通过在大规模文本语料中自动学习,Word2Vec 将每个词表示为一个低维、稠密、连续的向量(Embedding),这种向量能够捕捉词语之间的语义和句法关系。与传统将词视为离散 ID 的方法(如 N-gram)不同,Word2Vec 将词嵌入到连续空间中,相似意义的词在向量空间中距离更近,为后续复杂模型(如 Transformer)奠定了基础。 |
| | | | |
| − | 训练后,通过word2vec模型得到的词向量(Word Embeddings)可以广泛应用于各种自然语言处理(NLP)任务中,包括机器翻译(Machine Translation)、信息检索(Information Retrieval)、文本分类(Text Classification)以及情感分析(Sentiment Analysis)等。
| + | Word2Vec 的底层是一个浅层神经网络,采用 Skip-gram 或 Continuous Bag-of-Words(CBOW)两种架构进行训练。训练后得到的词向量(Word Embedding)被广泛应用于自然语言处理(NLP)任务中,包括机器翻译(Machine Translation)、信息检索(Information Retrieval)、文本分类(Text Classification)和情感分析(Sentiment Analysis)等,成为当前 NLP 领域的重要基础方法之一。 |
| − | | |
| − | 传统方法(如N-gram)将词视为离散的ID,无法表达词语间的联系,而word2vec模型将词嵌入到连续空间,相近意义的词在向量空间中距离更近,为后续复杂的模型(如 Transformer)提供了基础。
| |
| | | | |
| | == '''历史背景''' == | | == '''历史背景''' == |