130
个编辑
更改
跳到导航
跳到搜索
第238行：
第238行： − ·'''不同于 Word2Vec'''：Word2Vec 是基于预测任务（局部上下文窗口）；而 GloVe 是基于矩阵分解（全局共现频率）；+ − ·'''相比传统 LSA（SVD）'''：GloVe 使用非线性权重函数，训练时不需要全局矩阵分解，更高效；+ − ·'''适合全局语义关系建模'''，尤其在大规模语料训练中表现优异；+ 第289行：
第289行： − '''子词增强表示能力'''：FastText 通过引入 n-gram，有效表示未登录词与形态变化词；+ − '''面向多语言与拼写多样化语言'''（如芬兰语、德语）效果显著优于 Word2Vec；+ − '''与 Word2Vec 相比'''：Word2Vec 只能对词表中出现过的词进行建模，FastText 可泛化到未出现的新词，具备更强的鲁棒性与泛化能力；+ − '''与 GloVe 相比'''：GloVe 基于全局共现信息构建稠密表示，适合静态建模，FastText 基于局部上下文与子词结构，适合细粒度语义与动态扩展；+ − '''应用场景广泛'''：在文本分类、命名实体识别、搜索排序、拼写纠错、推荐系统中广泛使用；+
→总结与对比:
===== 总结与对比: =====
===== 总结与对比: =====
·不同于 Word2Vec：Word2Vec 是基于预测任务（局部上下文窗口）；而 GloVe 是基于矩阵分解（全局共现频率）；
·相比传统 LSA（SVD）：GloVe 使用非线性权重函数，训练时不需要全局矩阵分解，更高效；
·适合全局语义关系建模，尤其在大规模语料训练中表现优异；
·支持线性类比关系，类似 Word2Vec（如“king - man + woman ≈ queen”）
·支持线性类比关系，类似 Word2Vec（如“king - man + woman ≈ queen”）
===== 总结与对比： =====
===== 总结与对比： =====
子词增强表示能力：FastText 通过引入 n-gram，有效表示未登录词与形态变化词；
面向多语言与拼写多样化语言（如芬兰语、德语）效果显著优于 Word2Vec；
与 Word2Vec 相比：Word2Vec 只能对词表中出现过的词进行建模，FastText 可泛化到未出现的新词，具备更强的鲁棒性与泛化能力；
与 GloVe 相比：GloVe 基于全局共现信息构建稠密表示，适合静态建模，FastText 基于局部上下文与子词结构，适合细粒度语义与动态扩展；
应用场景广泛：在文本分类、命名实体识别、搜索排序、拼写纠错、推荐系统中广泛使用；
==== BERT 和 Transformer 模型 ====
==== BERT 和 Transformer 模型 ====