201
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − =大模型架构（Large Language Model Architectures）= − + 第10行：
第9行： − + 第20行：
第19行： − + 第30行：
第29行： − + 第40行：
第39行： − + 第50行：
第49行： − + 第61行：
第60行： − + 第71行：
第70行： − + 第90行：
第89行： − + 第109行：
第108行： − +
→Transformer 架构
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
==1. Transformer 架构==
==Transformer 架构==
Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。
Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。
*残差连接与层归一化（Residual + LayerNorm）
*残差连接与层归一化（Residual + LayerNorm）
*位置编码（Positional Encoding）
*位置编码（Positional Encoding）
==2. Encoder-Decoder 架构==
==Encoder-Decoder 架构==
Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。
Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。
*支持多任务统一建模
*支持多任务统一建模
*多样化预训练任务（如 span corruption）
*多样化预训练任务（如 span corruption）
==3. Encoder-only 架构==
==Encoder-only 架构==
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。
*预训练任务通常为掩码语言建模（MLM）
*预训练任务通常为掩码语言建模（MLM）
*不具备自回归生成能力
*不具备自回归生成能力
==4. Decoder-only 架构==
==Decoder-only 架构==
Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。
Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。
*预训练任务为语言模型（LM）
*预训练任务为语言模型（LM）
*高效生成，适用于推理、对话等任务
*高效生成，适用于推理、对话等任务
==5. 混合专家（MoE）架构==
==混合专家（MoE）架构==
混合专家（Mixture of Experts）架构引入多个子网络（专家）并通过门控机制动态选择部分专家参与计算，以提高参数容量并控制计算成本。
混合专家（Mixture of Experts）架构引入多个子网络（专家）并通过门控机制动态选择部分专家参与计算，以提高参数容量并控制计算成本。
*门控网络选择 top-k 专家（通常 k=1 或 2）参与前向计算
*门控网络选择 top-k 专家（通常 k=1 或 2）参与前向计算
*有效扩大模型规模，同时节省资源
*有效扩大模型规模，同时节省资源
==6. 基于检索的架构==
== 基于检索的架构==
基于检索的语言模型结合外部知识库，通过检索相关文档辅助生成，提升事实性与知识覆盖。
基于检索的语言模型结合外部知识库，通过检索相关文档辅助生成，提升事实性与知识覆盖。
#将检索文档作为上下文送入生成模型
#将检索文档作为上下文送入生成模型
#输出增强型回答
#输出增强型回答
==7. 多模态架构==
==多模态架构==
多模态架构可以同时处理文本与图像、音频、视频等不同模态，适用于图文问答、视频理解、语音助手等任务。
多模态架构可以同时处理文本与图像、音频、视频等不同模态，适用于图文问答、视频理解、语音助手等任务。
*融合模型（Fusion）：联合注意力建模多模态输入（如 Flamingo）
*融合模型（Fusion）：联合注意力建模多模态输入（如 Flamingo）
*插件模型（Adapter）：视觉模块插入语言模型（如 BLIP-2）
*插件模型（Adapter）：视觉模块插入语言模型（如 BLIP-2）
==8. 架构对比总结表==
==架构对比总结表==
{| class="wikitable"
{| class="wikitable"
|+各类大语言模型架构对比
|+各类大语言模型架构对比
|多模态架构||文本+图像/音频||多种模态输出||GPT-4o、Flamingo||图文问答、多模态生成||支持跨模态任务
|多模态架构||文本+图像/音频||多种模态输出||GPT-4o、Flamingo||图文问答、多模态生成||支持跨模态任务
|}
|}
==9. 发展趋势与挑战==
==发展趋势与挑战==
'''趋势：'''
'''趋势：'''
*模型架构统一化（支持多任务、多模态）
*模型架构统一化（支持多任务、多模态）
*Roberts et al., ''RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'', 2020.
*Roberts et al., ''RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'', 2020.
*Rae et al., ''RETRO: Improving Language Models with Retrieval'', DeepMind, 2021.
*Rae et al., ''RETRO: Improving Language Models with Retrieval'', DeepMind, 2021.
==参见==
==参见 ==
[[Transformer架构]]
[[Transformer架构]]