更改

跳到导航 跳到搜索
添加234字节 、 2025年7月5日 (六) 14:45
小
无编辑摘要
第20行: 第20行:  
===模型架构===
 
===模型架构===
 
==== CBOW ====
 
==== CBOW ====
−
[[文件:Word2v-CBOW.png|缩略图|CBOW 模型的三层结构:输入层、嵌入层和输出层。模型以上下文词为输入,通过嵌入矩阵将其转换为词向量,并对这些向量求平均得到上下文表示,该表示输入到输出层,用于预测中心词。]]
+
[[文件:CBOW.png|替代=|缩略图|CBOW 模型的三层结构:输入层、嵌入层和输出层。模型以上下文词为输入,通过嵌入矩阵将其转换为词向量,并对这些向量求平均得到上下文表示,该表示输入到输出层,用于预测中心词。]]
−
 
   
CBOW是由 Mikolov 等人在 2013 年提出的一种经典的词嵌入模型,是 Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词,从而学习词向量。CBOW 的输入是目标词周围的上下文词汇(窗口内的相邻词),输出是对目标词 <math>V_t</math> 的预测。模型的目标是:'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>,即在目标词左右各取 <math>c</math> 个词作为上下文,那么对于中心词 <math>w_t</math>,其上下文为:<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层,分别是输入层、嵌入层(Embedding)、输出层。
 
CBOW是由 Mikolov 等人在 2013 年提出的一种经典的词嵌入模型,是 Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词,从而学习词向量。CBOW 的输入是目标词周围的上下文词汇(窗口内的相邻词),输出是对目标词 <math>V_t</math> 的预测。模型的目标是:'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>,即在目标词左右各取 <math>c</math> 个词作为上下文,那么对于中心词 <math>w_t</math>,其上下文为:<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层,分别是输入层、嵌入层(Embedding)、输出层。
   第61行: 第60行:     
训练完成后,词向量可以从输入嵌入矩阵 <math>W</math> 提取,也可以从输出矩阵 <math>W'</math> 提取,或者对两者进行平均得到最终词向量。
 
训练完成后,词向量可以从输入嵌入矩阵 <math>W</math> 提取,也可以从输出矩阵 <math>W'</math> 提取,或者对两者进行平均得到最终词向量。
 +
[[文件:Skipgram.png|缩略图|Skip-gram 通过中心词预测上下文词,适合捕捉罕见词的语义,尤其在大规模语料上表现优异。Skip-gram的模型结构也分为三层:输入层、投影层、输出层。]]
    
====Skip-gram 模型====
 
====Skip-gram 模型====
130

个编辑

导航菜单