大模型架构
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型架构（Large Language Model Architectures）大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-Decoder、Encoder-only、Decoder-only、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
Transformer 架构
Transformer 是大语言模型的核心架构，最早由 Vaswani 等人在论文《Attention is All You Need》（2017）中提出。Transformer 的关键机制是自注意力机制（self-attention），它可以并行处理序列中的所有位置，并通过注意力权重捕捉不同位置之间的依赖关系。Transformer 架构已成为构建各类语言模型的基础框架。
主要组成：
- 多头自注意力机制（Multi-Head Self-Attention）
- 前馈神经网络（Feed-Forward Network）
- 残差连接与层归一化（Residual + LayerNorm）
- 位置编码（Positional Encoding）
Encoder-Decoder 架构
Encoder-Decoder 架构结合了 Transformer 的编码器与解码器部分，广泛应用于序列到序列（Seq2seq）的任务，如机器翻译、摘要生成、语义解析等。
代表模型：
- T5（Text-to-Text Transfer Transformer）
- BART、FLAN-T5、UL2、mT5
特点：
- 编码器双向建模，解码器自回归生成
- 支持多任务统一建模
- 多样化预训练任务（如 span corruption）
Encoder-only 架构
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于需要对整段输入进行理解的任务，如文本分类、实体识别、句子嵌入等。
代表模型：
- BERT
- RoBERTa、ALBERT、ELECTRA
特点：
- 双向建模，结合上下文信息
- 预训练任务通常为掩码语言建模（MLM）
- 不具备自回归生成能力
Decoder-only 架构
Decoder-only 架构仅使用 Transformer 的解码器部分，适用于语言建模和文本生成任务，如对话系统、代码生成、写作辅助等。
代表模型：
- GPT系列
- Llama系列
特点：
- 单向自注意力，支持自回归语言建模
- 预训练任务为语言模型（LM）
- 高效生成，适用于推理、对话等任务
混合专家（MoE）架构
混合专家（Mixture of Experts）架构引入多个子网络（专家）并通过门控机制动态选择部分专家参与计算，以提高参数容量并控制计算成本。
代表模型：
- GShard、Switch Transformer、DeepSpeed-MoE
- DeepSeek-V2/V3/R1
机制：
- 每层包含多个专家（如 FFN）
- 门控网络选择 top-k 专家（通常 k=1 或 2）参与前向计算
- 有效扩大模型规模，同时节省资源
基于检索的架构
基于检索的语言模型结合外部知识库，通过检索相关文档辅助生成，提升事实性与知识覆盖。
代表模型：
- REALM、RAG（Retrieval-Augmented Generation）
- RETRO（DeepMind）、KNN-LM、WebGPT
流程：
- 输入查询文本
- 使用检索器从语料库中获取相关文档
- 将检索文档作为上下文送入生成模型
- 输出增强型回答
多模态架构
多模态架构可以同时处理文本与图像、音频、视频等不同模态，适用于图文问答、视频理解、语音助手等任务。
代表模型：
- CLIP、BLIP/BLIP-2、Flamingo
- GPT-4o、GILL、Kosmos-2、MM-ReAct
架构形式：
- 双塔模型（Two-Tower）：文本/图像各自独立编码（如 CLIP）
- 融合模型（Fusion）：联合注意力建模多模态输入（如 Flamingo）
- 插件模型（Adapter）：视觉模块插入语言模型（如 BLIP-2）
架构对比总结表
| 架构类型 | 输入类型 | 输出类型 | 代表模型 | 典型任务 | 优点 |
|---|---|---|---|---|---|
| Transformer（基础） | 任意序列 | 任意序列 | - | 所有 NLP 任务 | 通用性强 |
| Encoder-only | 文本（双向） | 分类/嵌入 | BERT、RoBERTa | 理解类任务 | 上下文建模强 |
| Decoder-only | 文本（单向） | 自回归文本 | GPT 系列 | 文本生成 | 推理灵活、训练高效 |
| Encoder-Decoder | 输入序列 | 输出序列 | T5、BART | 翻译、摘要 | 灵活、任务统一化 |
| 混合专家 MoE | 任意序列 | 任意序列 | Switch、DeepSeek-V2 | 大规模训练 | 大容量、低计算成本 |
| 基于检索 | 文本+外部文档 | 知识增强文本 | RETRO、RAG | QA、知识生成 | 强事实性 |
| 多模态架构 | 文本+图像/音频 | 多种模态输出 | GPT-4o、Flamingo | 图文问答、多模态生成 | 支持跨模态任务 |
发展趋势与挑战
趋势：
- 模型架构统一化（支持多任务、多模态）
- 模块化设计（工具调用、专家组件）
- 更高效的 MoE 稀疏激活机制
- 外部知识增强与可控生成能力
挑战：
- 模型训练与对齐的稳定性问题
- 模型幻觉与知识陈旧性
- 多模态评估困难
- MoE 的专家负载均衡与漂移
- 高效部署与低延迟推理
参考文献
- Vaswani et al., Attention is All You Need, 2017.
- Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2018.
- Brown et al., Language Models are Few-Shot Learners (GPT-3), 2020.
- Shazeer et al., Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, 2021.
- Roberts et al., RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020.
- Rae et al., RETRO: Improving Language Models with Retrieval, DeepMind, 2021.