130
个编辑
更改
→BERT 和 Transformer 模型
应用场景广泛：在文本分类、命名实体识别、搜索排序、拼写纠错、推荐系统中广泛使用；
应用场景广泛：在文本分类、命名实体识别、搜索排序、拼写纠错、推荐系统中广泛使用；
==== BERT 和 Transformer 模型 ====
==== 5.3 BERT 模型 ====
===== 背景： =====
BERT 是由 Google AI Language 团队于 2018 年提出的一种预训练语言表示模型，发表在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中。该模型首次将 '''深度双向 Transformer 编码器''' 应用于语言建模任务，并通过大规模语料上的预训练 + 微调机制，在多个自然语言处理任务上取得了 SOTA（state-of-the-art）成绩。
BERT 的设计动机是解决传统语言模型（如 Word2Vec、GloVe）在'''上下文建模、语义歧义处理和句子级理解'''方面的不足，特别是在建模“一个词在不同上下文中含义不同”这一关键问题。
===== 技术原理： =====
===== 总结与对比： =====
==== 动态词嵌入（如 ELMo） ====
==== 动态词嵌入（如 ELMo） ====