130
个编辑
更改
→训练方法
==='''训练方法'''===
==='''训练方法'''===
无论是CBOW还是Skip-gram，其总是需要遍历整个词表，因此计算代价很大，所以就有了两种近似的计算方法，负采样与层次softmax。这两个是 Word2Vec 中非常重要的训练加速策略，它们用于高效地优化输出词的概率分布。
无论是CBOW还是Skip-gram，总是需要遍历整个词表，因此计算代价很大，所以就有了两种近似的计算方法，负采样与层次softmax。这两个是 Word2Vec 中非常重要的训练加速策略，它们用于高效地优化输出词的概率分布。
'''负采样（Negative Sampling）:'''
'''负采样（Negative Sampling）:'''
负采样只更新与目标词和少数“负样本”相关的参数，而不是计算整个 softmax。而“复样本”代表没有出现在上下文中、但被人为采样出来“假装”是上下文的词，一般采用词频过高或者过低的词汇。相反，“正样本”就是真实共现的词对，也就是模型要学习的正确上下文关系。而负采样的目的就是最大化正样本的出现概率：
负采样只更新与目标词和少数“负样本”相关的参数，而不是计算整个 softmax。而“负样本”代表没有出现在上下文中、但被人为采样出来“假装”是上下文的词，一般采用词频过高或者过低的词汇。相反，“正样本”就是真实共现的词对，也就是模型要学习的正确上下文关系。而负采样的目的就是最大化正样本的出现概率：
层次softmax的核心思路是构建一个霍夫曼树，每个叶节点代表一个词汇，而预测一个词汇就是沿着树走的一条路径，对应的也就是一个不断重复的二分类问题，目标函数就可以变化为：
层次softmax的核心思路是构建一个霍夫曼树，每个叶节点代表一个词汇，而预测一个词汇就是沿着树走的一条路径，对应的也就是一个不断重复的二分类问题，目标函数就可以变化为：
=='''应用领域'''==
=='''应用领域'''==