更改

==== 技术原理： ====

==== 技术原理： ====

GloVe 是一种基于全局共现信息来学习词向量的方法，与 Word2Vec 不同，它不依赖上下文窗口中的预测任务，而是采用词与词之间在整个语料库中共现频率的统计信息来构造词语之间的关系。

GloVe 是一种基于全局共现信息来学习词向量的方法<ref>Pennington J, Socher R, Manning C D. Glove: Global vectors for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). 2014: 1532-1543.</ref>，与 Word2Vec 不同，它不依赖上下文窗口中的预测任务，而是采用词与词之间在整个语料库中共现频率的统计信息来构造词语之间的关系。

GloVe 的设计灵感来自以下关键观察：词语的语义关系可以通过它们与其他词共现的比例来表达，而不是仅通过是否共现或是否邻近。例如，“ice” 和 “steam” 都与 “water” 有很强的共现关系，但 “ice” 更倾向与 “cold” 共现，而 “steam” 更倾向与 “hot” 共现。GloVe 试图让词向量之间的差异或比例能反映出这种语义关系。

GloVe 的设计灵感来自以下关键观察：词语的语义关系可以通过它们与其他词共现的比例来表达，而不是仅通过是否共现或是否邻近。例如，“ice” 和 “steam” 都与 “water” 有很强的共现关系，但 “ice” 更倾向与 “cold” 共现，而 “steam” 更倾向与 “hot” 共现。GloVe 试图让词向量之间的差异或比例能反映出这种语义关系。

==== 背景： ====

==== 背景： ====

FastText 是由 Facebook AI Research 的 Armand Joulin、Tomas Mikolov 等人于 2016 年提出，旨在解决 Word2Vec 模型在处理罕见词、词形变化（如复数、时态）等方面的能力不足。其核心理念是在训练过程中引入子词信息，以增强词向量对形态的建模能力。

FastText 是由 Facebook AI Research 的 Armand Joulin、Tomas Mikolov 等人于 2016 年提出<ref>Joulin A, Grave E, Bojanowski P, et al. Bag of tricks for efficient text classification[J]. arXiv preprint arXiv:1607.01759, 2016.</ref>，旨在解决 Word2Vec 模型在处理罕见词、词形变化（如复数、时态）等方面的能力不足。其核心理念是在训练过程中引入子词信息，以增强词向量对形态的建模能力。

==== 技术原理： ====

==== 技术原理： ====

==== 背景： ====

==== 背景： ====

BERT 是由 Google AI Language 团队于 2018 年提出的一种预训练语言表示模型，发表在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中。该模型首次将 深度双向 Transformer 编码器 应用于语言建模任务，并通过大规模语料上的预训练 + 微调机制，在多个自然语言处理任务上取得了 SOTA（state-of-the-art）成绩。

BERT 是由 Google AI Language 团队于 2018 年提出的一种预训练语言表示模型<ref>Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers). 2019: 4171-4186.</ref>，发表在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中。该模型首次将 深度双向 Transformer 编码器 应用于语言建模任务，并通过大规模语料上的预训练 + 微调机制，在多个自然语言处理任务上取得了 SOTA（state-of-the-art）成绩。

BERT 的设计动机是解决传统语言模型（如 Word2Vec、GloVe）在上下文建模、语义歧义处理和句子级理解方面的不足，特别是在建模“一个词在不同上下文中含义不同”这一关键问题。

BERT 的设计动机是解决传统语言模型（如 Word2Vec、GloVe）在上下文建模、语义歧义处理和句子级理解方面的不足，特别是在建模“一个词在不同上下文中含义不同”这一关键问题。

==== 背景： ====

==== 背景： ====

LMo（'''Embeddings from Language Models'''）是由 Allen Institute for AI（AI2）的 Matthew Peters 等人在 2018 年 NAACL 上提出的预训练词嵌入方法。ELMo 是 NLP 中首个大规模应用上下文动态词向量的模型，突破了 Word2Vec 和 GloVe 中“一个词一个向量”的静态表示限制。其提出背景在于自然语言中存在大量多义词与语义歧义现象（如 "bank" 表示“银行”或“河岸”），传统静态词向量模型无法根据上下文动态调整词的含义表示。而 ELMo 利用双向语言模型（BiLM）捕捉词的上下文依赖关系，为每个词生成可变的、语境敏感的表示。

ELMo（'''Embeddings from Language Models'''）是由 Allen Institute for AI（AI2）的 Matthew Peters 等人在 2018 年 NAACL 上提出的预训练词嵌入方法<ref>PETERS M E, NEUMANN M, IYER M, et al. Deep contextualized word representations[J/OL]. arXiv, 2018: 1802.05365 [2023-12-01]. <nowiki>https://arxiv.org/abs/1802.05365</nowiki>.</ref>。ELMo 是 NLP 中首个大规模应用上下文动态词向量的模型，突破了 Word2Vec 和 GloVe 中“一个词一个向量”的静态表示限制。其提出背景在于自然语言中存在大量多义词与语义歧义现象（如 "bank" 表示“银行”或“河岸”），传统静态词向量模型无法根据上下文动态调整词的含义表示。而 ELMo 利用双向语言模型（BiLM）捕捉词的上下文依赖关系，为每个词生成可变的、语境敏感的表示。

==== 技术原理： ====

==== 技术原理： ====