91
个编辑
更改
跳到导航
跳到搜索
第396行：
第396行： − 深度双向建模：BERT 同时利用左上下文与右上下文，解决传统语言模型单向建模的局限；+ − 动态词表示：同一个词在不同句子中的表示不同，能处理多义词与上下文依赖；+ − Transformer 架构支持全局依赖建模，相比 RNN 更并行高效；+ − 统一多任务结构：BERT 能处理分类、标注、问答等多类任务，具备高度迁移能力；+ − 与 Word2Vec/GloVe 对比：Word2Vec/GloVe 生成的是固定词向量、语境无关，BERT 输出的是上下文相关的词表示，能捕捉复杂句法语义关系；+
→总结与对比：
==== 总结与对比： ====
==== 总结与对比： ====
* BERT 同时利用左上下文与右上下文，解决传统语言模型单向建模的局限；
* BERT 能处理多义词与上下文依赖，如同一个词在不同句子中的不同含义；
* BERT 采用Transformer 架构支持全局依赖建模，相比 RNN 更并行高效；
* BERT 能处理分类、标注、问答等多类任务，具备高度迁移能力；
* Word2Vec/GloVe 生成的是固定词向量、语境无关，BERT 输出的是上下文相关的词表示，能捕捉复杂句法语义关系。
=== 动态词嵌入（ ELMo）： ===
=== 动态词嵌入（ ELMo）： ===