201
个编辑
更改
大模型架构
=大模型架构（Large Language Model Architectures）=
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
==1. Transformer 架构==
Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。
'''主要组成：'''
*多头自注意力机制（Multi-Head Self-Attention）
*前馈神经网络（Feed-Forward Network）
*残差连接与层归一化（Residual + LayerNorm）
*位置编码（Positional Encoding）
==2. Encoder-Decoder 架构==
Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。
'''代表模型：'''
*T5（Text-to-Text Transfer Transformer）
*BART、FLAN-T5、UL2、mT5
'''特点：'''
*编码器双向建模，解码器自回归生成
*支持多任务统一建模
*多样化预训练任务（如 span corruption）
==3. Encoder-only 架构==
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。
'''代表模型：'''
*BERT
*RoBERTa、ALBERT、ELECTRA
'''特点：'''
*双向建模，结合上下文信息
*预训练任务通常为掩码语言建模（MLM）
*不具备自回归生成能力
==4. Decoder-only 架构==
Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。
'''代表模型：'''
*GPT系列
*Llama系列
'''特点：'''
*单向自注意力，支持自回归语言建模
*预训练任务为语言模型（LM）
*高效生成，适用于推理、对话等任务
==5. 混合专家（MoE）架构==
混合专家（Mixture of Experts）架构引入多个子网络（专家）并通过门控机制动态选择部分专家参与计算，以提高参数容量并控制计算成本。
'''代表模型：'''
*GShard、Switch Transformer、DeepSpeed-MoE
*DeepSeek-V2/V3/R1
'''机制：'''
*每层包含多个专家（如 FFN）
*门控网络选择 top-k 专家（通常 k=1 或 2）参与前向计算
*有效扩大模型规模，同时节省资源
==6. 基于检索的架构==
基于检索的语言模型结合外部知识库，通过检索相关文档辅助生成，提升事实性与知识覆盖。
'''代表模型：'''
*REALM、RAG（Retrieval-Augmented Generation）
*RETRO（DeepMind）、KNN-LM、WebGPT
'''流程：'''
#输入查询文本
#使用检索器从语料库中获取相关文档
#将检索文档作为上下文送入生成模型
#输出增强型回答
==7. 多模态架构==
多模态架构可以同时处理文本与图像、音频、视频等不同模态，适用于图文问答、视频理解、语音助手等任务。
'''代表模型：'''
*CLIP、BLIP/BLIP-2、Flamingo
*GPT-4o、GILL、Kosmos-2、MM-ReAct
'''架构形式：'''
*双塔模型（Two-Tower）：文本/图像各自独立编码（如 CLIP）
*融合模型（Fusion）：联合注意力建模多模态输入（如 Flamingo）
*插件模型（Adapter）：视觉模块插入语言模型（如 BLIP-2）
==8. 架构对比总结表==
{| class="wikitable"
|+各类大语言模型架构对比
!架构类型!!输入类型!!输出类型!!代表模型!!典型任务!!优点
|-
|Transformer（基础）||任意序列||任意序列||-||所有 NLP 任务||通用性强
|-
|Encoder-only||文本（双向）||分类/嵌入||BERT、RoBERTa||理解类任务||上下文建模强
|-
|Decoder-only||文本（单向）||自回归文本||GPT 系列||文本生成||推理灵活、训练高效
|-
|Encoder-Decoder||输入序列||输出序列||T5、BART||翻译、摘要||灵活、任务统一化
|-
|混合专家 MoE||任意序列||任意序列||Switch、DeepSeek-V2||大规模训练||大容量、低计算成本
|-
|基于检索||文本+外部文档||知识增强文本||RETRO、RAG||QA、知识生成||强事实性
|-
|多模态架构||文本+图像/音频||多种模态输出||GPT-4o、Flamingo||图文问答、多模态生成||支持跨模态任务
|}
==9. 发展趋势与挑战==
'''趋势：'''
*模型架构统一化（支持多任务、多模态）
*模块化设计（工具调用、专家组件）
*更高效的 MoE 稀疏激活机制
*外部知识增强与可控生成能力
'''挑战：'''
*模型训练与对齐的稳定性问题
*模型幻觉与知识陈旧性
*多模态评估困难
*MoE 的专家负载均衡与漂移
*高效部署与低延迟推理
==参考文献==
*Vaswani et al., ''Attention is All You Need'', 2017.
*Devlin et al., ''BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding'', 2018.
*Brown et al., ''Language Models are Few-Shot Learners (GPT-3)'', 2020.
*Shazeer et al., ''Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity'', 2021.
*Roberts et al., ''RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'', 2020.
*Rae et al., ''RETRO: Improving Language Models with Retrieval'', DeepMind, 2021.
==参见==
[[Transformer架构]]
[[DeepSeek-v3]]
[[DeepSeek-R1]]