更改

=== 动态词嵌入（ ELMo）： ===

=== 动态词嵌入（ ELMo）： ===

==== 背景： ====

==== 背景 ====

ELMo（'''Embeddings from Language Models'''）是由 Allen Institute for AI（AI2）的 Matthew Peters 等人在 2018 年 NAACL 上提出的预训练词嵌入方法<ref>PETERS M E, NEUMANN M, IYER M, et al. Deep contextualized word representations[J/OL]. arXiv, 2018: 1802.05365 [2023-12-01]. <nowiki>https://arxiv.org/abs/1802.05365</nowiki>.</ref>。ELMo 是 NLP 中首个大规模应用上下文动态词向量的模型，突破了 Word2Vec 和 GloVe 中“一个词一个向量”的静态表示限制。其提出背景在于自然语言中存在大量多义词与语义歧义现象（如 "bank" 表示“银行”或“河岸”），传统静态词向量模型无法根据上下文动态调整词的含义表示。而 ELMo 利用双向语言模型（BiLM）捕捉词的上下文依赖关系，为每个词生成可变的、语境敏感的表示。

ELMo（'''Embeddings from Language Models'''）是由 Allen Institute for AI（AI2）的 Matthew Peters 等人在 2018 年 NAACL 上提出的预训练词嵌入方法<ref>PETERS M E, NEUMANN M, IYER M, et al. Deep contextualized word representations[J/OL]. arXiv, 2018: 1802.05365 [2023-12-01]. <nowiki>https://arxiv.org/abs/1802.05365</nowiki>.</ref>。ELMo 是 NLP 中首个大规模应用上下文动态词向量的模型，突破了 Word2Vec 和 GloVe 中“一个词一个向量”的静态表示限制。其提出背景在于自然语言中存在大量多义词与语义歧义现象（如 "bank" 表示“银行”或“河岸”），传统静态词向量模型无法根据上下文动态调整词的含义表示。而 ELMo 利用双向语言模型（BiLM）捕捉词的上下文依赖关系，为每个词生成可变的、语境敏感的表示。

==== 技术原理： ====

==== 技术原理 ====

ELMo 基于传统语言模型（Language Model, LM），但引入了以下三个关键技术点：

ELMo 基于传统语言模型（Language Model, LM），但引入了以下三个关键技术点：

</math>。这种机制大幅提高了模型对语境、词义变化的感知能力，适用于情感分类（Sentiment Analysis）、问答系统（QA）和自然语言推理（NLI）。

</math>。这种机制大幅提高了模型对语境、词义变化的感知能力，适用于情感分类（Sentiment Analysis）、问答系统（QA）和自然语言推理（NLI）。

==== 总结与对比： ====

==== 总结与对比 ====

* ELMo 是首个提供每个词在不同上下文中动态表示的预训练词嵌入；

* ELMo 是首个提供每个词在不同上下文中动态表示的预训练词嵌入；