打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
Word2Vec
(查看源代码)
2025年6月28日 (六) 20:01的版本
删除26字节
、
2025年6月28日 (六) 20:01
→CBOW
第22行:
第22行:
[[文件:Word2v-CBOW.png|缩略图|CBOW 模型的三层结构:输入层、嵌入层和输出层。模型以上下文词为输入,通过嵌入矩阵将其转换为词向量,并对这些向量求平均得到上下文表示,该表示输入到输出层,用于预测中心词。]]
[[文件:Word2v-CBOW.png|缩略图|CBOW 模型的三层结构:输入层、嵌入层和输出层。模型以上下文词为输入,通过嵌入矩阵将其转换为词向量,并对这些向量求平均得到上下文表示,该表示输入到输出层,用于预测中心词。]]
−
CBOW是一种经典的'''词嵌入(Word Embedding)'''模型,由
Mikolov 等人在 2013
年提出,是
Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词,从而学习词向量。CBOW 的输入是目标词周围的上下文词汇(窗口内的相邻词),输出是对目标词 <math>V_t</math> 的预测。模型的目标是:'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>,即在目标词左右各取 <math>c</math> 个词作为上下文,那么对于中心词 <math>w_t</math>,其上下文为:<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层,分别是输入层、嵌入层(Embedding)、输出层。
+
CBOW是由
Mikolov 等人在 2013
年提出的一种经典的词嵌入模型,是
Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词,从而学习词向量。CBOW 的输入是目标词周围的上下文词汇(窗口内的相邻词),输出是对目标词 <math>V_t</math> 的预测。模型的目标是:'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>,即在目标词左右各取 <math>c</math> 个词作为上下文,那么对于中心词 <math>w_t</math>,其上下文为:<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层,分别是输入层、嵌入层(Embedding)、输出层。
'''输入层:'''
'''输入层:'''
吃卤煮的火烧
91
个编辑