91
个编辑
更改
→总结与对比：
==== 总结与对比： ====
==== 总结与对比： ====
* ELMo 是首个提供每个词在不同上下文中动态表示的预训练词嵌入；
* ELMo 同时考虑前文与后文，有效捕捉语言结构与语义；
与 Word2Vec/GloVe 对比：ELMo 输出的词向量会随句子变化，是“动态词向量”；
* 与 Word2Vec/GloVe相比，ELMo 输出的词向量会随句子变化，是“动态词向量”；
与 BERT 对比：BERT 使用 Transformer 架构，具备更强建模能力，训练代价更高，ELMo 使用 LSTM 架构，计算成本相对较低，更适合中小规模任务。
* 与 BERT 相比，ELMo 使用 LSTM 架构，计算成本相对较低，更适合中小规模任务。
=='''开源实现与工具'''==
=='''开源实现与工具'''==