大模型架构 - 版本历史

2025年6月15日 (日) 13:24 RWKV

2025-06-15T13:24:20Z

RWKV：/* Transformer 架构 */

2025-06-15T13:18:30Z

Transformer 架构

RWKV：大模型架构

2025-06-15T13:11:26Z

大模型架构

新页面

=大模型架构（Large Language Model Architectures）=
大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
==1. Transformer 架构==
Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。

'''主要组成：'''
*多头自注意力机制（Multi-Head Self-Attention）
*前馈神经网络（Feed-Forward Network）
*残差连接与层归一化（Residual + LayerNorm）
*位置编码（Positional Encoding）
==2. Encoder-Decoder 架构==
Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。

'''代表模型：'''
*T5（Text-to-Text Transfer Transformer）
*BART、FLAN-T5、UL2、mT5
'''特点：'''
*编码器双向建模，解码器自回归生成
*支持多任务统一建模
*多样化预训练任务（如 span corruption）
==3. Encoder-only 架构==
Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。

'''代表模型：'''
*BERT
*RoBERTa、ALBERT、ELECTRA
'''特点：'''
*双向建模，结合上下文信息
*预训练任务通常为掩码语言建模（MLM）
*不具备自回归生成能力
==4. Decoder-only 架构==
Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。

'''代表模型：'''
*GPT系列
*Llama系列
'''特点：'''
*单向自注意力，支持自回归语言建模
*预训练任务为语言模型（LM）
*高效生成，适用于推理、对话等任务
==5. 混合专家（MoE）架构==
混合专家（Mixture of Experts）架构引入多个子网络（专家）并通过门控机制动态选择部分专家参与计算，以提高参数容量并控制计算成本。

'''代表模型：'''
*GShard、Switch Transformer、DeepSpeed-MoE
*DeepSeek-V2/V3/R1
'''机制：'''
*每层包含多个专家（如 FFN）
*门控网络选择 top-k 专家（通常 k=1 或 2）参与前向计算
*有效扩大模型规模，同时节省资源
==6. 基于检索的架构==
基于检索的语言模型结合外部知识库，通过检索相关文档辅助生成，提升事实性与知识覆盖。

'''代表模型：'''
*REALM、RAG（Retrieval-Augmented Generation）
*RETRO（DeepMind）、KNN-LM、WebGPT
'''流程：'''
#输入查询文本
#使用检索器从语料库中获取相关文档
#将检索文档作为上下文送入生成模型
#输出增强型回答
==7. 多模态架构==
多模态架构可以同时处理文本与图像、音频、视频等不同模态，适用于图文问答、视频理解、语音助手等任务。

'''代表模型：'''
*CLIP、BLIP/BLIP-2、Flamingo
*GPT-4o、GILL、Kosmos-2、MM-ReAct
'''架构形式：'''
*双塔模型（Two-Tower）：文本/图像各自独立编码（如 CLIP）
*融合模型（Fusion）：联合注意力建模多模态输入（如 Flamingo）
*插件模型（Adapter）：视觉模块插入语言模型（如 BLIP-2）
==8. 架构对比总结表==
{| class="wikitable"
|+各类大语言模型架构对比
!架构类型!!输入类型!!输出类型!!代表模型!!典型任务!!优点
|-
|Transformer（基础）||任意序列||任意序列||-||所有 NLP 任务||通用性强
|-
|Encoder-only||文本（双向）||分类/嵌入||BERT、RoBERTa||理解类任务||上下文建模强
|-
|Decoder-only||文本（单向）||自回归文本||GPT 系列||文本生成||推理灵活、训练高效
|-
|Encoder-Decoder||输入序列||输出序列||T5、BART||翻译、摘要||灵活、任务统一化
|-
|混合专家 MoE||任意序列||任意序列||Switch、DeepSeek-V2||大规模训练||大容量、低计算成本
|-
|基于检索||文本+外部文档||知识增强文本||RETRO、RAG||QA、知识生成||强事实性
|-
|多模态架构||文本+图像/音频||多种模态输出||GPT-4o、Flamingo||图文问答、多模态生成||支持跨模态任务
|}
==9. 发展趋势与挑战==
'''趋势：'''
*模型架构统一化（支持多任务、多模态）
*模块化设计（工具调用、专家组件）
*更高效的 MoE 稀疏激活机制
*外部知识增强与可控生成能力
'''挑战：'''
*模型训练与对齐的稳定性问题
*模型幻觉与知识陈旧性
*多模态评估困难
*MoE 的专家负载均衡与漂移
*高效部署与低延迟推理
==参考文献==
*Vaswani et al., ''Attention is All You Need'', 2017.
*Devlin et al., ''BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding'', 2018.
*Brown et al., ''Language Models are Few-Shot Learners (GPT-3)'', 2020.
*Shazeer et al., ''Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity'', 2021.
*Roberts et al., ''RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'', 2020.
*Rae et al., ''RETRO: Improving Language Models with Retrieval'', DeepMind, 2021.
==参见==
[[Transformer架构]]

[[DeepSeek-v3]]

[[DeepSeek-R1]]

@@ 第1行： / 第1行： @@
-大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
+大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型架构（Large Language Model Architectures）大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-Decoder、Encoder-only、Decoder-only、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
 ==Transformer 架构==
-Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。
+Transformer 是大语言模型的核心架构，最早由 Vaswani 等人在论文《Attention is All You Need》（2017）中提出。Transformer 的关键机制是'''自注意力机制（self-attention）'''，它可以并行处理序列中的所有位置，并通过注意力权重捕捉不同位置之间的依赖关系。Transformer 架构已成为构建各类语言模型的基础框架。
 '''主要组成：'''
@@ 第10行： / 第10行： @@
 *位置编码（Positional Encoding）
 ==Encoder-Decoder 架构==
-Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。
+Encoder-Decoder 架构结合了 Transformer 的编码器与解码器部分，广泛应用于序列到序列（Seq2seq）的任务，如机器翻译、摘要生成、语义解析等。
 '''代表模型：'''
@@ 第20行： / 第20行： @@
 *多样化预训练任务（如 span corruption）
 ==Encoder-only 架构==
-Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。
+Encoder-only 架构仅使用 Transformer 的编码器部分，适用于需要对整段输入进行理解的任务，如文本分类、实体识别、句子嵌入等。
 '''代表模型：'''
@@ 第30行： / 第30行： @@
 *不具备自回归生成能力
 ==Decoder-only 架构==
-Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。
+Decoder-only 架构仅使用 Transformer 的解码器部分，适用于语言建模和文本生成任务，如对话系统、代码生成、写作辅助等。
 '''代表模型：'''

@@ 第1行： / 第1行： @@
 大语言模型（Large Language Model, LLM）是一类基于深度神经网络的自然语言处理模型，具备大规模参数、强泛化能力，广泛应用于问答、翻译、生成、推理等任务。现代大语言模型的架构大多建立在 Transformer 架构之上，并演化出多种变体，如 Encoder-only、Decoder-only、Encoder-Decoder、混合专家（Mixture of Experts, MoE）、基于检索、以及多模态架构等。
-==1. Transformer 架构==
+==Transformer 架构==
 Transformer 架构由 Vaswani 等人于 2017 年提出，其核心为自注意力机制（self-attention）。Transformer 架构已成为构建各类语言模型的基础框架。
@@ 第10行： / 第9行： @@
 *残差连接与层归一化（Residual + LayerNorm）
 *位置编码（Positional Encoding）
-==2. Encoder-Decoder 架构==
+==Encoder-Decoder 架构==
 Encoder-Decoder 架构结合 Transformer 的编码器与解码器模块，用于序列到序列任务（seq2seq），如翻译、摘要、问答等。
@@ 第20行： / 第19行： @@
 *支持多任务统一建模
 *多样化预训练任务（如 span corruption）
-==3. Encoder-only 架构==
+==Encoder-only 架构==
 Encoder-only 架构仅使用 Transformer 的编码器部分，适用于语言理解类任务，如分类、实体识别等。
@@ 第30行： / 第29行： @@
 *预训练任务通常为掩码语言建模（MLM）
 *不具备自回归生成能力
-==4. Decoder-only 架构==
+==Decoder-only 架构==
 Decoder-only 架构采用 Transformer 的解码器部分，广泛用于文本生成任务，如对话、写作、代码生成等。
@@ 第40行： / 第39行： @@
 *预训练任务为语言模型（LM）
 *高效生成，适用于推理、对话等任务
-==5. 混合专家（MoE）架构==
+==混合专家（MoE）架构==
 混合专家（Mixture of Experts）架构引入多个子网络（专家）并通过门控机制动态选择部分专家参与计算，以提高参数容量并控制计算成本。
@@ 第50行： / 第49行： @@
 *门控网络选择 top-k 专家（通常 k=1 或 2）参与前向计算
 *有效扩大模型规模，同时节省资源
-==6. 基于检索的架构==
+== 基于检索的架构==
 基于检索的语言模型结合外部知识库，通过检索相关文档辅助生成，提升事实性与知识覆盖。
@@ 第61行： / 第60行： @@
 #将检索文档作为上下文送入生成模型
 #输出增强型回答
-==7. 多模态架构==
+==多模态架构==
 多模态架构可以同时处理文本与图像、音频、视频等不同模态，适用于图文问答、视频理解、语音助手等任务。
@@ 第71行： / 第70行： @@
 *融合模型（Fusion）：联合注意力建模多模态输入（如 Flamingo）
 *插件模型（Adapter）：视觉模块插入语言模型（如 BLIP-2）
-==8. 架构对比总结表==
+==架构对比总结表==
 {| class="wikitable"
 |+各类大语言模型架构对比
@@ 第90行： / 第89行： @@
 |多模态架构||文本+图像/音频||多种模态输出||GPT-4o、Flamingo||图文问答、多模态生成||支持跨模态任务
 |}
-==9. 发展趋势与挑战==
+==发展趋势与挑战==
 '''趋势：'''
 *模型架构统一化（支持多任务、多模态）
@@ 第109行： / 第108行： @@
 *Roberts et al., ''RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'', 2020.
 *Rae et al., ''RETRO: Improving Language Models with Retrieval'', DeepMind, 2021.
-==参见==
+==参见 ==
 [[Transformer架构]]