91
个编辑
更改
跳到导航
跳到搜索
第101行：
第101行： − 负采样的核心思想在于将原始问题转换成一个二分类问题，让模型只区分正样本和负样本，例如在Skip-gram中，对于一个中心词 <math>w_t</math> 和一个正确的上下文词 <math>w_o</math>，正确的上下文词被称为正样本。同时人为给出错误的上下文文本 <math>w'_{o_i}</math>，也就是负样本。负样本的采样一般按照词频 <math>U</math> 的 <math>3/4</math> 次方作为采样概率，即：+
→训练方法
'''负采样（Negative Sampling）:'''
'''负采样（Negative Sampling）:'''
负采样的核心思想在于将原始问题转换成一个[[二分类问题]]，让模型只区分正样本和负样本，例如在Skip-gram中，对于一个中心词 <math>w_t</math> 和一个正确的上下文词 <math>w_o</math>，正确的上下文词被称为正样本。同时人为给出错误的上下文文本 <math>w'_{o_i}</math>，也就是负样本。负样本的采样一般按照词频 <math>U</math> 的 <math>3/4</math> 次方作为采样概率，即：
<math>
<math>