Word2Vec - 版本历史

念：/* 参考文献 */

2025-08-09T03:05:55Z

参考文献

2025年8月9日 (六) 03:05 念

2025-08-09T03:05:14Z

2025年7月11日 (五) 02:26 Word2vec

2025-07-11T02:26:53Z

Word2vec：/* 推荐系统 */

2025-07-11T02:23:20Z

推荐系统

相信未来：/* 参考文献 */

2025-07-06T10:11:47Z

参考文献

2025年7月5日 (六) 09:25 Word2vec

2025-07-05T09:25:25Z

Word2vec：/* 优缺点 */

2025-07-05T06:52:50Z

优缺点

2025年7月5日 (六) 06:45 Word2vec

2025-07-05T06:45:39Z

Jake：/* 训练方法 */

2025-07-05T04:25:02Z

训练方法

Jake：/* 训练方法 */

2025-07-05T04:24:44Z

训练方法

@@ 第691行： / 第691行： @@
 <references />
-此词条由[[苏一铭]]、[[杨锦浩]]编写。
+此词条由[[苏一铭]]、[[杨锦浩]]编写，张江老师审校。
 '''本词条内容大纲源自[[wikipedia:Word2vec|wikipedia]]及公开资料，遵守 CC3.0协议。'''

@@ 第632行： / 第632行： @@
 * 需要最高训练效率（如 Wikipedia 或 Common Crawl 级别语料）。
 * 对模型定制需求低，仅需基础词向量生成。
 =='''参考文献'''==

←上一版本		2025年7月11日 (五) 02:26的版本
第638行：		第638行：
	此词条由[[苏一铭]]、[[杨锦浩]]编写。		此词条由[[苏一铭]]、[[杨锦浩]]编写。

−	'''~~本词条内容源自wikipedia及公开资料，遵守~~ CC3.0协议。'''	+	'''本词条内容大纲源自[[wikipedia:Word2vec\|wikipedia]]及公开资料，遵守 CC3.0协议。'''

@@ 第147行： / 第147行： @@
 ==== 语义分析 ====
-在语义分析方面，Word2Vec 能够通过词向量之间的相对距离和方向关系建模词义相似度与句法结构。例如，在词义消歧任务中，如果句子中出现了歧义词“bank”，模型可以利用其与上下文词（如“money”或“river”）之间的向量相似性，推断其在当前语境中是“银行”还是“河岸”。情感分析也是 Word2Vec 的典型应用场景之一，通过聚类“好”、“棒”、“糟糕”、“失望”等情感色彩明显的词向量，构建带情感权重的表示，再结合分类器（如 SVM）进行句子级或文档级的情绪判定。例如，企业可使用该方法自动识别客户评论的正负面态度。在主题建模任务中，研究者常利用 Word2Vec 学习到的语义向量进行 K-means 等聚类操作，从而发掘出语料中隐含的语义主题，如科技类文本中自动聚类出“人工智能”、“量子计算”、“大数据”等主题簇。
+在语义分析方面，Word2Vec 能够通过词向量之间的相对距离和方向关系建模词义相似度与句法结构<ref>Barkan O. Bayesian neural word embedding[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2017, 31(1).</ref>。例如，在词义消歧任务中，如果句子中出现了歧义词“bank”，模型可以利用其与上下文词（如“money”或“river”）之间的向量相似性，推断其在当前语境中是“银行”还是“河岸”。情感分析也是 Word2Vec 的典型应用场景之一，通过聚类“好”、“棒”、“糟糕”、“失望”等情感色彩明显的词向量，构建带情感权重的表示，再结合分类器（如 SVM）进行句子级或文档级的情绪判定。例如，企业可使用该方法自动识别客户评论的正负面态度。在主题建模任务中，研究者常利用 Word2Vec 学习到的语义向量进行 K-means 等聚类操作，从而发掘出语料中隐含的语义主题，如科技类文本中自动聚类出“人工智能”、“量子计算”、“大数据”等主题簇。
 ==== 机器翻译 ====
@@ 第158行： / 第158行： @@
 === 推荐系统 ===
-虽然 Word2Vec 最初是为处理语言建模任务而设计，但其核心思想——“在上下文中共现的词语往往意义相关”——可以被自然迁移到非语言领域，特别是推荐系统中。推荐系统中的“用户行为序列”与 NLP 中的“句子”结构高度相似，而“商品、视频、音乐等内容”则可类比为“词”。基于这种结构对应关系，Word2Vec 成为建模用户偏好和内容相似性的强大工具。
+虽然 Word2Vec 最初是为处理语言建模任务而设计，但其核心思想——“在上下文中共现的词语往往意义相关”——可以被自然迁移到非语言领域，特别是推荐系统中<ref>Goldberg Y, Levy O. word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method[J]. arXiv preprint arXiv:1402.3722, 2014.</ref><ref>Grbovic M, Cheng H. Real-time personalization using embeddings for search ranking at airbnb[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 311-320.</ref>。推荐系统中的“用户行为序列”与 NLP 中的“句子”结构高度相似，而“商品、视频、音乐等内容”则可类比为“词”。基于这种结构对应关系，Word2Vec 成为建模用户偏好和内容相似性的强大工具。
 在实践中，推荐系统会将用户的历史点击序列、购物行为或播放列表视作时间序列数据，将其中每一个物品（如商品ID、音乐ID）作为一个“词”输入 Word2Vec 模型进行训练。采用 Skip-gram 结构后，模型试图预测某个物品的上下文物品（即前后点击或购买的内容），从而学习出反映行为模式的向量表示。
@@ 第166行： / 第166行： @@
 这一思想已经在多个主流平台落地并取得了良好效果。例如：
-* 淘宝、京东等电商平台使用商品序列训练 Word2Vec，构建“商品—商品”图谱，用于猜你喜欢、搭配购、商品联想等场景。比如用户在浏览“运动鞋”页面后，系统会推荐“运动袜”、“运动手表”等与其行为序列中相邻频繁出现的物品。
+* 淘宝、京东等电商平台使用商品序列训练 Word2Vec，构建“商品—商品”图谱，用于猜你喜欢、搭配购、商品联想等场景。比如用户在浏览“运动鞋”页面后，系统会推荐“运动袜”、“运动手表”等与其行为序列中相邻频繁出现的物品<ref>Feng Y, Lv F, Shen W, et al. Deep session interest network for click-through rate prediction[J]. arXiv preprint arXiv:1905.06482, 2019.</ref>。
 * 美团和大众点评等本地生活平台，通过用户在一定时间段内访问的商家序列（如早餐店、便利店、药店），构建“地点向量”或“服务向量”，支持基于用户轨迹的本地商家推荐，如“去过 A 的人，也常去 B”。
@@ 第186行： / 第186行： @@
 ==== 生物信息学 ====
-在生物信息学中，研究者将蛋白质或 DNA 序列中的氨基酸、核苷酸片段视为“词”，构建“生物语言”。通过训练 Word2Vec 模型，可以学习到功能相关序列的向量表示，应用于蛋白质功能预测、疾病相关区域识别等任务。例如，某些氨基酸片段在多个蛋白质中共现频繁，模型会自动捕捉它们的潜在生物学意义。此外，Word2Vec 也被用于药物发现场景，辅助建模药物与靶点间的语义联系。
+在生物信息学中，研究者将蛋白质或 DNA 序列中的氨基酸、核苷酸片段视为“词”，构建“生物语言”<ref>Min S, Lee B, Yoon S. Deep learning in bioinformatics[J]. Briefings in bioinformatics, 2017, 18(5): 851-869.</ref>。通过训练 Word2Vec 模型，可以学习到功能相关序列的向量表示，应用于蛋白质功能预测、疾病相关区域识别等任务。例如，某些氨基酸片段在多个蛋白质中共现频繁，模型会自动捕捉它们的潜在生物学意义。此外，Word2Vec 也被用于药物发现场景，辅助建模药物与靶点间的语义联系。
 ==== 社会科学 ====
-在社会科学中，Word2Vec 被用于探测语言中的刻板印象和社会偏见。通过分析词向量之间的距离，如“nurse”更接近“she”，“doctor”更接近“he”，可揭示潜在的性别偏见结构。同时，研究人员也使用时间序列语料构建跨年代词向量，研究词义随时代的语义漂移，如“liberal”、“gender”等词在不同时期的语义演变路径。
+在社会科学中，Word2Vec 被用于探测语言中的刻板印象和社会偏见<ref>Benton A, Arora R, Dredze M. Learning multiview embeddings of twitter users[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2016: 14-19.</ref>。通过分析词向量之间的距离，如“nurse”更接近“she”，“doctor”更接近“he”，可揭示潜在的性别偏见结构<ref>Bolukbasi T, Chang K W, Zou J Y, et al. Man is to computer programmer as woman is to homemaker? debiasing word embeddings[J]. Advances in neural information processing systems, 2016, 29.</ref>。同时，研究人员也使用时间序列语料构建跨年代词向量，研究词义随时代的语义漂移，如“liberal”、“gender”等词在不同时期的语义演变路径<ref>Hamilton W L, Leskovec J, Jurafsky D. Diachronic word embeddings reveal statistical laws of semantic change[J]. arXiv preprint arXiv:1605.09096, 2016.</ref>。
 ==== 法律、金融、医疗等垂直领域 ====
-在法律、金融、医疗等垂直领域，Word2Vec 有助于理解专业术语之间的语义关系。在法律文本分析中，模型可用于预测文书之间的相似度，辅助法官判例归类与类案推荐；在金融领域，Word2Vec 被用于情绪识别系统中，帮助模型理解公告、舆情或分析报告中的潜在语义态度；在医疗信息处理中，词向量支持将病症、药品与治疗手段建模为统一向量空间，用于构建医学知识图谱或提升电子病历挖掘效率。
+在法律、金融、医疗等垂直领域，Word2Vec 有助于理解专业术语之间的语义关系<ref>Li J, Sun A, Han J, et al. A survey on deep learning for named entity recognition[J]. IEEE transactions on knowledge and data engineering, 2020, 34(1): 50-70.</ref>。在法律文本分析中，模型可用于预测文书之间的相似度，辅助法官判例归类与类案推荐；在金融领域，Word2Vec 被用于情绪识别系统中，帮助模型理解公告、舆情或分析报告中的潜在语义态度；在医疗信息处理中，词向量支持将病症、药品与治疗手段建模为统一向量空间，用于构建医学知识图谱或提升电子病历挖掘效率。
 =='''优缺点'''==

@@ 第634行： / 第634行： @@
 =='''参考文献'''==
-<references />此词条由苏一铭、杨锦浩编写。
+<references />
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第197行： / 第197行： @@
 ===优点===
-[[文件:Example11.png|替代=|缩略图|Word2Vec 学习到的词向量空间中的分布关系。可以看到，语义或语法角色相似的词（如 “man” 与 “woman”，“king” 与 “queen”，以及 “apple” 与 “pear”）在二维向量空间中彼此距离较近，体现了模型在词语表示上的语义聚类能力。]]
+[[文件:Word2vec fig1.png|替代=|缩略图|Word2Vec 学习到的词向量空间中的分布关系。可以看到，语义相似的词（如 “man” 与 “woman”，“king” 与 “queen”）在二维向量空间中彼此距离较近，体现了模型在词语表示上的语义聚类能力。]]
 '''捕捉语义和语法关系：'''

@@ 第20行： / 第20行： @@
 ===模型架构===
 ==== CBOW ====
-[[文件:Word2v-CBOW.png|缩略图|CBOW 模型的三层结构：输入层、嵌入层和输出层。模型以上下文词为输入，通过嵌入矩阵将其转换为词向量，并对这些向量求平均得到上下文表示,该表示输入到输出层，用于预测中心词。]]
+[[文件:CBOW.png|替代=|缩略图|CBOW 模型的三层结构：输入层、嵌入层和输出层。模型以上下文词为输入，通过嵌入矩阵将其转换为词向量，并对这些向量求平均得到上下文表示,该表示输入到输出层，用于预测中心词。]]
 CBOW是由 Mikolov 等人在 2013 年提出的一种经典的词嵌入模型，是 Word2Vec 的两种核心架构之一。CBOW 通过上下文词汇预测当前词，从而学习词向量。CBOW 的输入是目标词周围的上下文词汇（窗口内的相邻词），输出是对目标词 <math>V_t</math> 的预测。模型的目标是：'''根据上下文词汇预测中心词'''。设定窗口大小为 <math>2c</math>，即在目标词左右各取 <math>c</math> 个词作为上下文，那么对于中心词 <math>w_t</math>，其上下文为：<math>C_t = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c} \}</math>。模型的结构分为三层，分别是输入层、嵌入层（Embedding）、输出层。
@@ 第61行： / 第60行： @@
 训练完成后，词向量可以从输入嵌入矩阵 <math>W</math> 提取，也可以从输出矩阵 <math>W'</math> 提取，或者对两者进行平均得到最终词向量。
 ====Skip-gram 模型====

@@ 第110行： / 第110行： @@
 <math>
-\mathcal{L}_{Skip-gram} = log\sigma(\mathbf{v}^\top_{w_o} \mathbf{v}_{w_t}) + \sum^{k}_{i=1}log\sigma(-\mathbf{v}^\top_{w'_{o_i}} \mathbf{v}_{w_t})
+\mathcal{L}_{Skip-gram} = \log\sigma(\mathbf{v}^\top_{w_o} \mathbf{v}_{w_t}) + \sum^{k}_{i=1}\log\sigma(-\mathbf{v}^\top_{w'_{o_i}} \mathbf{v}_{w_t})
 </math>

@@ 第116行： / 第116行： @@
 <math>
-\mathcal{L}_{CBOW} = log\sigma(\mathbf{v}^\top_{w_t} \mathbf{h}) + \sum^{k}_{i=1}log\sigma(-\mathbf{v}^\top_{w'_{o_i}} \mathbf{h})
+\mathcal{L}_{CBOW} = \log\sigma(\mathbf{v}^\top_{w_t} \mathbf{h}) + \sum^{k}_{i=1}\log\sigma(-\mathbf{v}^\top_{w'_{o_i}} \mathbf{h})
 </math>