130
个编辑
更改
→总结与对比:
===== 总结与对比: =====
===== 总结与对比: =====
·不同于 Word2Vec：Word2Vec 是基于预测任务（局部上下文窗口）；而 GloVe 是基于矩阵分解（全局共现频率）；
·相比传统 LSA（SVD）：GloVe 使用非线性权重函数，训练时不需要全局矩阵分解，更高效；
·适合全局语义关系建模，尤其在大规模语料训练中表现优异；
·支持线性类比关系，类似 Word2Vec（如“king - man + woman ≈ queen”）
·支持线性类比关系，类似 Word2Vec（如“king - man + woman ≈ queen”）
===== 总结与对比： =====
===== 总结与对比： =====
子词增强表示能力：FastText 通过引入 n-gram，有效表示未登录词与形态变化词；
面向多语言与拼写多样化语言（如芬兰语、德语）效果显著优于 Word2Vec；
与 Word2Vec 相比：Word2Vec 只能对词表中出现过的词进行建模，FastText 可泛化到未出现的新词，具备更强的鲁棒性与泛化能力；
与 GloVe 相比：GloVe 基于全局共现信息构建稠密表示，适合静态建模，FastText 基于局部上下文与子词结构，适合细粒度语义与动态扩展；
应用场景广泛：在文本分类、命名实体识别、搜索排序、拼写纠错、推荐系统中广泛使用；
==== BERT 和 Transformer 模型 ====
==== BERT 和 Transformer 模型 ====