130
个编辑
更改
大纲
= '''概述''' =
简要介绍 Word2Vec 的定义、用途及其在自然语言处理（NLP）中的重要性。
== '''历史背景''' ==
* 开发者和提出时间（Tomas Mikolov 等，2013，Google）
* 相关技术的前身（如神经语言模型、潜在语义分析）
* Word2Vec 的影响和后续发展
== '''技术原理''' ==
=== '''基本概念''' ===
* 词嵌入（Word Embedding）的定义
* 分布式假设（Distributional Hypothesis）
* 向量空间模型
=== '''模型架构''' ===
# '''连续词袋模型（CBOW, Continuous Bag of Words）'''
#* 原理：通过上下文预测目标词
#* 结构：输入层、隐藏层、输出层
# '''Skip-gram 模型'''
#* 原理：通过目标词预测上下文
#* 与 CBOW 的对比
=== '''训练方法''' ===
* 负采样（Negative Sampling）
* 层次 Softmax（Hierarchical Softmax）
* 优化算法（如随机梯度下降）
== '''应用领域''' ==
* 自然语言处理（语义分析、机器翻译、文本分类）
* 推荐系统
* 信息检索
* 其他领域（如生物信息学、社会科学）
== '''优缺点''' ==
=== '''优点''' ===
* 计算高效
* 能捕捉语义和语法关系
* 适用于大规模语料库
=== '''局限性''' ===
* 无法处理多义词（Polysemy）
* 依赖局部上下文，忽略全局信息
* 需要大量训练数据
== '''相关技术与扩展''' ==
* GloVe（Global Vectors for Word Representation）
* FastText
* BERT 和 Transformer 模型
* 动态词嵌入（如 ELMo）
== '''开源实现与工具''' ==
* Gensim 库
* TensorFlow / PyTorch 实现
* 原始 C 语言实现（Google Code）
== '''参考文献''' ==