130
个编辑
更改
无编辑摘要
进入 2000 年代，随着神经网络方法的发展，Yoshua Bengio 等人在 2003 年提出了神经网络语言模型（Neural Network Language Model, NNLM），这是第一个显式将词语表示为连续向量并联合训练语言建模任务的框架。在传统的 N-gram 语言模型中，词语被作为离散的符号处理，缺乏内部结构，无法体现词语之间的语义联系。而 NNLM 首次提出将每个词映射为一个低维稠密向量，并通过神经网络在端到端训练中自动优化这些词向量，能够有效捕捉词序和上下文信息。其基本结构包括一个输入层，将上下文词以 one-hot 向量形式编码；一个嵌入层，将稀疏编码映射到连续空间形成词向量；一个非线性隐藏层，建模上下文特征；以及一个输出层，生成词表中下一个词的概率分布。通过这种方式，NNLM 不仅提升了语言模型的预测性能，还首次引入了“词嵌入”（Word Embedding）这一重要概念，为后续自然语言处理方法的发展奠定了基础。但NNLM 由于模型包含复杂的非线性变换，同时输出层需计算整个词表大小的概率分布，使得训练过程在大规模语料上极为缓慢，计算开销和内存需求极高。此外，NNLM通常只能处理固定长度的上下文，限制了对长程依赖的建模能力。
进入 2000 年代，随着神经网络方法的发展，Yoshua Bengio 等人在 2003 年提出了神经网络语言模型（Neural Network Language Model, NNLM），这是第一个显式将词语表示为连续向量并联合训练语言建模任务的框架。在传统的 N-gram 语言模型中，词语被作为离散的符号处理，缺乏内部结构，无法体现词语之间的语义联系。而 NNLM 首次提出将每个词映射为一个低维稠密向量，并通过神经网络在端到端训练中自动优化这些词向量，能够有效捕捉词序和上下文信息。其基本结构包括一个输入层，将上下文词以 one-hot 向量形式编码；一个嵌入层，将稀疏编码映射到连续空间形成词向量；一个非线性隐藏层，建模上下文特征；以及一个输出层，生成词表中下一个词的概率分布。通过这种方式，NNLM 不仅提升了语言模型的预测性能，还首次引入了“词嵌入”（Word Embedding）这一重要概念，为后续自然语言处理方法的发展奠定了基础。但NNLM 由于模型包含复杂的非线性变换，同时输出层需计算整个词表大小的概率分布，使得训练过程在大规模语料上极为缓慢，计算开销和内存需求极高。此外，NNLM通常只能处理固定长度的上下文，限制了对长程依赖的建模能力。
为了克服传统神经网络语言模型（NNLM）只能建模固定长度上下文的局限，递归神经网络语言模型（Recurrent Neural Network Language Model, RNNLM）被提出。RNNLM 由 Tomas Mikolov 等人在 2010 年提出，其核心思想是通过递归连接隐藏层，使得网络在处理当前输入词时，能够同时参考前一时刻的隐藏状态，从而理论上具备建模任意长度上下文依赖的能力。在 RNNLM 中，每个时间步输入当前词的嵌入表示，并结合前一时刻的隐藏层状态，通过共享的隐藏权重矩阵更新新的隐藏状态，进而预测下一个词的概率分布。与 NNLM 的静态上下文窗口不同，RNNLM 的隐藏层作为一种动态记忆，可以不断累积和更新序列信息，因此更加灵活，能够捕捉到语言中远距离的依赖关系。RNNLM 的出现显著提升了语言建模的表达能力，使得模型能够更自然地处理复杂的语言现象，例如主谓一致、跨句关系等。然而，RNNLM 也存在明显的效率问题。由于递归连接的特性，每一步的隐藏状态更新都依赖前一步的计算结果，导致训练过程必须严格顺序进行，难以并行加速。同时，RNNLM 在每一个时间步都需要进行大规模矩阵乘法运算，尤其在输出层面对大词表进行归一化时，计算量和存储需求依然非常巨大。此外，传统的基本 RNN 结构在实际应用中还容易遭遇梯度消失或梯度爆炸的问题，使得模型在处理很长序列时训练变得困难。
== '''技术原理''' ==
== '''技术原理''' ==