201
个编辑
更改
无编辑摘要
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型架构（Large Language Model Architectures）大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-Decoder、Encoder-only、Decoder-only、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
==Transformer 架构==
==Transformer 架构==
Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。
Transformer 是大语言模型的核心架构，最早由 Vaswani 等人在论文《Attention is All You Need》（2017）中提出。Transformer 的关键机制是'''自注意力机制（self-attention）'''，它可以并行处理序列中的所有位置，并通过注意力权重捕捉不同位置之间的依赖关系。Transformer 架构已成为构建各类语言模型的基础框架。
'''主要组成：'''
'''主要组成：'''
*位置编码（Positional Encoding）
*位置编码（Positional Encoding）
==Encoder-Decoder 架构==
==Encoder-Decoder 架构==
Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。
Encoder-Decoder 架构结合了 Transformer 的编码器与解码器部分，广泛应用于序列到序列（Seq2seq）的任务，如机器翻译、摘要生成、语义解析等。
'''代表模型：'''
'''代表模型：'''
*多样化预训练任务（如 span corruption）
*多样化预训练任务（如 span corruption）
==Encoder-only 架构==
==Encoder-only 架构==
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于需要对整段输入进行理解的任务，如文本分类、实体识别、句子嵌入等。
'''代表模型：'''
'''代表模型：'''
*不具备自回归生成能力
*不具备自回归生成能力
==Decoder-only 架构==
==Decoder-only 架构==
Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。
Decoder-only 架构仅使用 Transformer 的解码器部分，适用于语言建模和文本生成任务，如对话系统、代码生成、写作辅助等。
'''代表模型：'''
'''代表模型：'''