130
个编辑
更改
小第117行：
第117行： − 负采样只更新与目标词和少数“负样本”相关的参数，而不是计算整个 softmax。而“负样本”代表没有出现在上下文中、但被人为采样出来“假装”是上下文的词，一般采用词频过高或者过低的词汇。相反，“正样本”就是真实共现的词对，也就是模型要学习的正确上下文关系。而负采样的目的就是最大化正样本的出现概率：+ − −
→训练方法
'''负采样（Negative Sampling）:'''
'''负采样（Negative Sampling）:'''
负采样的核心思想在于将原始问题转换成一个二分类问题，让模型只区分正样本和负样本，例如在Skip-gram中，对于一个中心词 <math>w_t</math> 和一个正样本上下文词 <math>w_o</math>，原始的模型目标是最大化它们的联合概率：<math>p(w_o \mid w_t)</math>。而负采样
其中，\sigma是sigmoid函数，同时最小化负样本的出现概率：
其中，\sigma是sigmoid函数，同时最小化负样本的出现概率：