更改

Word2vec 的目的在于为每个词汇都分配一个稠密的向量，能够做到相比传统的稀疏向量（如 [[one-hot 编码]]），更具表达能力和计算效率。形式上也就是，如果词汇表为 <math>V</math>，每个词 <math>w \in V</math> 被映射为向量 <math>\mathbf{v}_w \in \mathbb{R}^d</math>，其中 <math>d \ll |V|</math>。

Word2vec 的目的在于为每个词汇都分配一个稠密的向量，能够做到相比传统的稀疏向量（如 [[one-hot 编码]]），更具表达能力和计算效率。形式上也就是，如果词汇表为 <math>V</math>，每个词 <math>w \in V</math> 被映射为向量 <math>\mathbf{v}_w \in \mathbb{R}^d</math>，其中 <math>d \ll |V|</math>。

Word2vec使用两种模型架构中的任何一种来生成词汇的分布式表示：CBOW或Skip-gram。在这两种架构中，Word2vec 在遍历语料库时都会考虑单个词和滑动上下文窗口，这种设计来源于[[语言的分布式假设]]，由语言学家 Zellig Harris 在1954年提出。它的核心思想是：“上下文相似的词具有相似的意义”（You shall know a word by the company it keeps）。即如果两个词在相似的上下文中出现，那么它们的意义可能也相似。

Word2vec使用两种模型架构中的任何一种来生成词汇的分布式表示：CBOW或Skip-gram。在这两种架构中，Word2vec 在遍历语料库时都会考虑单个词和滑动上下文窗口，这种设计来源于[[词的分布式假设]]，由语言学家 Zellig Harris 在1954年提出。它的核心思想是：“上下文相似的词具有相似的意义”（You shall know a word by the company it keeps）。即如果两个词在相似的上下文中出现，那么它们的意义可能也相似。

CBOW 可被视为一项 "填空 "任务，其中词汇嵌入代表了词汇影响上下文窗口中其他词汇相对概率的方式。语义相似的词应该以相似的方式影响这些概率，因为语义相似的词应该在相似的语境中使用。上下文词语的顺序不会影响预测（词袋假设）。

CBOW 可被视为一项 "填空 "任务，其中词汇嵌入代表了词汇影响上下文窗口中其他词汇相对概率的方式。语义相似的词应该以相似的方式影响这些概率，因为语义相似的词应该在相似的语境中使用。上下文词语的顺序不会影响预测（词袋假设）。