91
个编辑
更改
跳到导航
跳到搜索
第356行：
第356行： − +
→技术原理：
==== 技术原理： ====
==== 技术原理： ====
'''基础架构：Transformer Encoder：'''
'''基础架构：'''
BERT 构建在 Transformer 架构之上，具体使用了 多层 Transformer 编码器堆叠（通常 BERT-base 为 12 层，BERT-large 为 24 层）。Transformer 由 Vaswani 等人在 2017 年提出，其最大特点是 完全基于注意力机制（Self-Attention），无需使用 RNN 或 CNN，可并行处理任意长度的输入。
BERT 构建在 Transformer 架构之上，具体使用了 多层 Transformer 编码器堆叠（通常 BERT-base 为 12 层，BERT-large 为 24 层）。Transformer 由 Vaswani 等人在 2017 年提出，其最大特点是 完全基于注意力机制（Self-Attention），无需使用 RNN 或 CNN，可并行处理任意长度的输入。