更改

=== BERT 模型 ===

=== BERT 模型 ===

==== 背景： ====

==== 背景 ====

BERT 是由 Google AI Language 团队于 2018 年提出的一种预训练语言表示模型<ref>Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers). 2019: 4171-4186.</ref>，发表在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中。该模型首次将 深度双向 Transformer 编码器 应用于语言建模任务，并通过大规模语料上的预训练 + 微调机制，在多个自然语言处理任务上取得了 SOTA（state-of-the-art）成绩。

BERT 是由 Google AI Language 团队于 2018 年提出的一种预训练语言表示模型<ref>Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers). 2019: 4171-4186.</ref>，发表在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中。该模型首次将 深度双向 Transformer 编码器 应用于语言建模任务，并通过大规模语料上的预训练 + 微调机制，在多个自然语言处理任务上取得了 SOTA（state-of-the-art）成绩。

BERT 的设计动机是解决传统语言模型（如 Word2Vec、GloVe）在上下文建模、语义歧义处理和句子级理解方面的不足，特别是在建模“一个词在不同上下文中含义不同”这一关键问题。

BERT 的设计动机是解决传统语言模型（如 Word2Vec、GloVe）在上下文建模、语义歧义处理和句子级理解方面的不足，特别是在建模“一个词在不同上下文中含义不同”这一关键问题。

==== 技术原理： ====

==== 技术原理====

'''基础架构：'''

'''基础架构：'''

在预训练后，BERT 可被快速迁移到下游任务，如：文本分类（情感分析）、序列标注（命名实体识别）、问答系统，只需在最后加上一层简单的任务特定结构，并用少量数据进行微调即可。

在预训练后，BERT 可被快速迁移到下游任务，如：文本分类（情感分析）、序列标注（命名实体识别）、问答系统，只需在最后加上一层简单的任务特定结构，并用少量数据进行微调即可。

==== 总结与对比： ====

==== 总结与对比 ====

* BERT 同时利用左上下文与右上下文，解决传统语言模型单向建模的局限；

* BERT 同时利用左上下文与右上下文，解决传统语言模型单向建模的局限；