91
个编辑
更改
跳到导航
跳到搜索
第295行：
第295行： − + − + 第337行：
第337行： − +
→FastText
=== FastText ===
=== FastText ===
==== 背景： ====
==== 背景 ====
FastText 是由 Facebook AI Research 的 Armand Joulin、Tomas Mikolov 等人于 2016 年提出<ref>Joulin A, Grave E, Bojanowski P, et al. Bag of tricks for efficient text classification[J]. arXiv preprint arXiv:1607.01759, 2016.</ref>，旨在解决 Word2Vec 模型在处理罕见词、词形变化（如复数、时态）等方面的能力不足。其核心理念是在训练过程中引入子词信息，以增强词向量对形态的建模能力。
FastText 是由 Facebook AI Research 的 Armand Joulin、Tomas Mikolov 等人于 2016 年提出<ref>Joulin A, Grave E, Bojanowski P, et al. Bag of tricks for efficient text classification[J]. arXiv preprint arXiv:1607.01759, 2016.</ref>，旨在解决 Word2Vec 模型在处理罕见词、词形变化（如复数、时态）等方面的能力不足。其核心理念是在训练过程中引入子词信息，以增强词向量对形态的建模能力。
==== 技术原理： ====
==== 技术原理 ====
FastText 的核心思想是：将词视为子词（subword）n-gram 的组合体，而不是独立的原子单位。这一设计增强了模型对罕见词、形态变化词以及未登录词（OOV）的表示能力。
FastText 的核心思想是：将词视为子词（subword）n-gram 的组合体，而不是独立的原子单位。这一设计增强了模型对罕见词、形态变化词以及未登录词（OOV）的表示能力。
FastText 的训练过程本质上是端到端地联合优化所有子词的向量表示，以提升整体语义建模能力。
FastText 的训练过程本质上是端到端地联合优化所有子词的向量表示，以提升整体语义建模能力。
==== 总结与对比： ====
==== 总结与对比 ====
* FastText 通过引入 n-gram，有效表示未登录词与形态变化词；
* FastText 通过引入 n-gram，有效表示未登录词与形态变化词；