130
个编辑
更改
跳到导航
跳到搜索
第12行：
第12行： + + + +
无编辑摘要
LSA 的优势在于它能在一定程度上缓解词义多样性（polysemy）和同义性（synonymy）问题，揭示出词语之间的隐含关联关系。特别是在小到中等规模的语料库上，LSA 能够有效提取出有意义的语义结构，并在文档检索、文本分类等早期应用中取得了良好的效果。然而，LSA 也存在显著的局限性。首先，LSA 是一种无监督统计方法，它不区分不同类型的语义关系，容易混合不相关的信息。其次，由于 SVD 分解需要对整个共现矩阵进行全局运算，当词表规模和文档数量巨大时（如百万级、十亿级词量），计算成本极高且内存占用极大，在大规模语料上难以实际应用。
LSA 的优势在于它能在一定程度上缓解词义多样性（polysemy）和同义性（synonymy）问题，揭示出词语之间的隐含关联关系。特别是在小到中等规模的语料库上，LSA 能够有效提取出有意义的语义结构，并在文档检索、文本分类等早期应用中取得了良好的效果。然而，LSA 也存在显著的局限性。首先，LSA 是一种无监督统计方法，它不区分不同类型的语义关系，容易混合不相关的信息。其次，由于 SVD 分解需要对整个共现矩阵进行全局运算，当词表规模和文档数量巨大时（如百万级、十亿级词量），计算成本极高且内存占用极大，在大规模语料上难以实际应用。
'''神经网络语言模型（Neural Network Language Model, NNLM）'''
进入 2000 年代，随着神经网络方法的发展，Yoshua Bengio 等人在 2003 年提出了神经网络语言模型（Neural Network Language Model, NNLM），这是第一个显式将词语表示为连续向量并联合训练语言建模任务的框架。在传统的 N-gram 语言模型中，词语被作为离散的符号处理，缺乏内部结构，无法体现词语之间的语义联系。而 NNLM 首次提出将每个词映射为一个低维稠密向量，并通过神经网络在端到端训练中自动优化这些词向量，能够有效捕捉词序和上下文信息。其基本结构包括一个输入层，将上下文词以 one-hot 向量形式编码；一个嵌入层，将稀疏编码映射到连续空间形成词向量；一个非线性隐藏层，建模上下文特征；以及一个输出层，生成词表中下一个词的概率分布。通过这种方式，NNLM 不仅提升了语言模型的预测性能，还首次引入了“词嵌入”（Word Embedding）这一重要概念，为后续自然语言处理方法的发展奠定了基础。但NNLM 由于模型包含复杂的非线性变换，同时输出层需计算整个词表大小的概率分布，使得训练过程在大规模语料上极为缓慢，计算开销和内存需求极高。此外，NNLM通常只能处理固定长度的上下文，限制了对长程依赖的建模能力。
* Word2Vec 的影响和后续发展
* Word2Vec 的影响和后续发展