130
个编辑
更改
跳到导航
跳到搜索
小第151行：
第151行： + − *计算高效+ − *能捕捉语义和语法关系+ − *适用于大规模语料库+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + − *无法处理多义词（Polysemy）+ − *依赖局部上下文，忽略全局信息 − *需要大量训练数据
→优点
==='''优点'''===
==='''优点'''===
'''捕捉语义和语法关系：'''
通过上下文预测（Skip-gram/CBOW），可学习到单词的分布式表示，相似语义或语法角色的词在向量空间中距离相近。
支持线性类比关系（如“国王 - 男 + 女 ≈ 女王”）。
'''适用于大规模数据：'''
可高效训练数十亿级别的语料，内存消耗相对较低。
'''通用性强：'''
词向量可作为下游任务（如文本分类、机器翻译）的特征输入，提升模型性能。
==='''局限性'''===
==='''局限性'''===
'''无法处理多义词（Polysemy）：'''
每个词仅对应单一向量，无法区分不同上下文中的多义性（如“苹果”指水果或公司）。
'''依赖局部上下文：'''
仅基于窗口内的局部共现信息，忽略文档级或语料级的全局统计特征（如GloVe的优势）。
'''需要大量训练数据：'''
小规模语料下生成的词向量质量较差，难以捕捉低频词语义。
'''静态词向量（Static Embeddings）：'''
词向量在训练后固定，无法动态适应不同上下文（后续模型如ELMo、BERT解决了这一问题）。
'''窗口大小敏感：'''
表现受上下文窗口大小影响，过大或过小均可能导致语义捕捉不充分。
'''未考虑词序信息：'''
Skip-gram和CBOW模型忽略窗口内词的顺序关系（后续改进如Seq2Vec或Transformer可解决）。
=='''相关技术与扩展'''==
=='''相关技术与扩展'''==