5,443
个编辑
更改
→技术原理
使用 Word2vec 算法创建的嵌入向量与早期的算法（如使用 n-grams 和潜在语义分析的算法）相比具有一些优势。GloVe 是斯坦福大学的一个团队专门作为竞争对手开发的，原始论文指出 GloVe 比 word2vec 有多处改进。Mikolov 认为，这种比较是不公平的，因为 GloVe 是在更多数据上训练出来的，而 fastText 项目表明，在相同数据上训练出来的 word2vec 更胜一筹。不过截至到现在，'''直接的 Word2vec 方法被认为是 "过时的"'''。基于transformer的模型，如 ELMo 和 BERT，在类似 Word2vec 的词嵌入模型之上添加了多个神经网络关注层，已被视为 NLP 领域的最新技术。
使用 Word2vec 算法创建的嵌入向量与早期的算法（如使用 n-grams 和潜在语义分析的算法）相比具有一些优势。GloVe 是斯坦福大学的一个团队专门作为竞争对手开发的，原始论文指出 GloVe 比 word2vec 有多处改进。Mikolov 认为，这种比较是不公平的，因为 GloVe 是在更多数据上训练出来的，而 fastText 项目表明，在相同数据上训练出来的 word2vec 更胜一筹。不过截至到现在，'''直接的 Word2vec 方法被认为是 "过时的"'''。基于transformer的模型，如 ELMo 和 BERT，在类似 Word2vec 的词嵌入模型之上添加了多个神经网络关注层，已被视为 NLP 领域的最新技术。
== '''技术原理''' ==
== '''技术原理''' ==
Word2vec 的目的在于为每个词汇都分配一个稠密的向量，能够做到相比传统的稀疏向量（如 one-hot 编码），更具表达能力和计算效率。形式上也就是，如果词汇表为 <math>V</math>，每个词 <math>w\inV</math> 被映射为向量 <math>\mathbf{v}_w \in \mathbb{R}^d</math>，其中 <math>d \ll |V|</math>。
Word2vec 的目的在于为每个词汇都分配一个稠密的向量，能够做到相比传统的稀疏向量（如 one-hot 编码），更具表达能力和计算效率。形式上也就是，如果词汇表为 <math>V</math>，每个词 <math>w \in V</math> 被映射为向量 <math>\mathbf{v}_w \in \mathbb{R}^d</math>，其中 <math>d \ll |V|</math>。
Word2vec使用两种模型架构中的任何一种来生成词汇的分布式表示：连续词袋模型（CBOW）或Skip-gram。在这两种架构中，word2vec 在遍历语料库时都会考虑单个词和滑动上下文窗口，这种设计来源于分布式假设，由语言学家 Zellig Harris 在1954年提出。它的核心思想是：“上下文相似的词具有相似的意义”（You shall know a word by the company it keeps）。即如果两个词在相似的上下文中出现，那么它们的意义可能也相似。
Word2vec使用两种模型架构中的任何一种来生成词汇的分布式表示：连续词袋模型（CBOW）或Skip-gram。在这两种架构中，word2vec 在遍历语料库时都会考虑单个词和滑动上下文窗口，这种设计来源于分布式假设，由语言学家 Zellig Harris 在1954年提出。它的核心思想是：“上下文相似的词具有相似的意义”（You shall know a word by the company it keeps）。即如果两个词在相似的上下文中出现，那么它们的意义可能也相似。