CBOW是由 Mikolov 等人在 2013 年提出的一种经典的词嵌入模型,是 Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词,从而学习词向量。CBOW 的输入是目标词周围的上下文词汇(窗口内的相邻词),输出是对目标词 <math>V_t</math> 的预测。模型的目标是:'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>,即在目标词左右各取 <math>c</math> 个词作为上下文,那么对于中心词 <math>w_t</math>,其上下文为:<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层,分别是输入层、嵌入层(Embedding)、输出层。 | CBOW是由 Mikolov 等人在 2013 年提出的一种经典的词嵌入模型,是 Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词,从而学习词向量。CBOW 的输入是目标词周围的上下文词汇(窗口内的相邻词),输出是对目标词 <math>V_t</math> 的预测。模型的目标是:'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>,即在目标词左右各取 <math>c</math> 个词作为上下文,那么对于中心词 <math>w_t</math>,其上下文为:<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层,分别是输入层、嵌入层(Embedding)、输出层。 |