130
个编辑
更改
跳到导航
跳到搜索
第38行：
第38行： − CBOW − 原理：通过上下文预测目标词+ + + − + − − '''Skip-gram 模型''' +
无编辑摘要
===模型架构===
===模型架构===
==== CBOW ====
给定一个长度为2L的上下文窗口，用上下文预测中心词汇，目标是最大化下式：<syntaxhighlight lang="tex">
\frac{1}{T} \sum_{t=1}^{T} \log P(w_t \mid w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c})
结构：输入层、隐藏层、输出层
</syntaxhighlight>结构：输入层、隐藏层、输出层
==== '''Skip-gram 模型''' ====
原理：通过目标词预测上下文
原理：通过目标词预测上下文