| 第147行: |
第147行: |
| | | | |
| | ==== 语义分析 ==== | | ==== 语义分析 ==== |
| − | 在语义分析方面,Word2Vec 能够通过词向量之间的相对距离和方向关系建模词义相似度与句法结构。例如,在词义消歧任务中,如果句子中出现了歧义词“bank”,模型可以利用其与上下文词(如“money”或“river”)之间的向量相似性,推断其在当前语境中是“银行”还是“河岸”。情感分析也是 Word2Vec 的典型应用场景之一,通过聚类“好”、“棒”、“糟糕”、“失望”等情感色彩明显的词向量,构建带情感权重的表示,再结合分类器(如 SVM)进行句子级或文档级的情绪判定。例如,企业可使用该方法自动识别客户评论的正负面态度。在主题建模任务中,研究者常利用 Word2Vec 学习到的语义向量进行 K-means 等聚类操作,从而发掘出语料中隐含的语义主题,如科技类文本中自动聚类出“人工智能”、“量子计算”、“大数据”等主题簇。 | + | 在语义分析方面,Word2Vec 能够通过词向量之间的相对距离和方向关系建模词义相似度与句法结构<ref>Barkan O. Bayesian neural word embedding[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2017, 31(1).</ref>。例如,在词义消歧任务中,如果句子中出现了歧义词“bank”,模型可以利用其与上下文词(如“money”或“river”)之间的向量相似性,推断其在当前语境中是“银行”还是“河岸”。情感分析也是 Word2Vec 的典型应用场景之一,通过聚类“好”、“棒”、“糟糕”、“失望”等情感色彩明显的词向量,构建带情感权重的表示,再结合分类器(如 SVM)进行句子级或文档级的情绪判定。例如,企业可使用该方法自动识别客户评论的正负面态度。在主题建模任务中,研究者常利用 Word2Vec 学习到的语义向量进行 K-means 等聚类操作,从而发掘出语料中隐含的语义主题,如科技类文本中自动聚类出“人工智能”、“量子计算”、“大数据”等主题簇。 |
| | | | |
| | ==== 机器翻译 ==== | | ==== 机器翻译 ==== |
| 第158行: |
第158行: |
| | | | |
| | === 推荐系统 === | | === 推荐系统 === |
| − | 虽然 Word2Vec 最初是为处理语言建模任务而设计,但其核心思想——“在上下文中共现的词语往往意义相关”——可以被自然迁移到非语言领域,特别是推荐系统中。推荐系统中的“用户行为序列”与 NLP 中的“句子”结构高度相似,而“商品、视频、音乐等内容”则可类比为“词”。基于这种结构对应关系,Word2Vec 成为建模用户偏好和内容相似性的强大工具。 | + | 虽然 Word2Vec 最初是为处理语言建模任务而设计,但其核心思想——“在上下文中共现的词语往往意义相关”——可以被自然迁移到非语言领域,特别是推荐系统中<ref>Goldberg Y, Levy O. word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method[J]. arXiv preprint arXiv:1402.3722, 2014.</ref><ref>Grbovic M, Cheng H. Real-time personalization using embeddings for search ranking at airbnb[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 311-320.</ref>。推荐系统中的“用户行为序列”与 NLP 中的“句子”结构高度相似,而“商品、视频、音乐等内容”则可类比为“词”。基于这种结构对应关系,Word2Vec 成为建模用户偏好和内容相似性的强大工具。 |
| | | | |
| | 在实践中,推荐系统会将用户的历史点击序列、购物行为或播放列表视作时间序列数据,将其中每一个物品(如商品ID、音乐ID)作为一个“词”输入 Word2Vec 模型进行训练。采用 Skip-gram 结构后,模型试图预测某个物品的上下文物品(即前后点击或购买的内容),从而学习出反映行为模式的向量表示。 | | 在实践中,推荐系统会将用户的历史点击序列、购物行为或播放列表视作时间序列数据,将其中每一个物品(如商品ID、音乐ID)作为一个“词”输入 Word2Vec 模型进行训练。采用 Skip-gram 结构后,模型试图预测某个物品的上下文物品(即前后点击或购买的内容),从而学习出反映行为模式的向量表示。 |
| 第166行: |
第166行: |
| | 这一思想已经在多个主流平台落地并取得了良好效果。例如: | | 这一思想已经在多个主流平台落地并取得了良好效果。例如: |
| | | | |
| − | * 淘宝、京东等电商平台使用商品序列训练 Word2Vec,构建“商品—商品”图谱,用于猜你喜欢、搭配购、商品联想等场景。比如用户在浏览“运动鞋”页面后,系统会推荐“运动袜”、“运动手表”等与其行为序列中相邻频繁出现的物品。 | + | * 淘宝、京东等电商平台使用商品序列训练 Word2Vec,构建“商品—商品”图谱,用于猜你喜欢、搭配购、商品联想等场景。比如用户在浏览“运动鞋”页面后,系统会推荐“运动袜”、“运动手表”等与其行为序列中相邻频繁出现的物品<ref>Feng Y, Lv F, Shen W, et al. Deep session interest network for click-through rate prediction[J]. arXiv preprint arXiv:1905.06482, 2019.</ref>。 |
| | | | |
| | * 美团和大众点评等本地生活平台,通过用户在一定时间段内访问的商家序列(如早餐店、便利店、药店),构建“地点向量”或“服务向量”,支持基于用户轨迹的本地商家推荐,如“去过 A 的人,也常去 B”。 | | * 美团和大众点评等本地生活平台,通过用户在一定时间段内访问的商家序列(如早餐店、便利店、药店),构建“地点向量”或“服务向量”,支持基于用户轨迹的本地商家推荐,如“去过 A 的人,也常去 B”。 |
| 第186行: |
第186行: |
| | | | |
| | ==== 生物信息学 ==== | | ==== 生物信息学 ==== |
| − | 在生物信息学中,研究者将蛋白质或 DNA 序列中的氨基酸、核苷酸片段视为“词”,构建“生物语言”。通过训练 Word2Vec 模型,可以学习到功能相关序列的向量表示,应用于蛋白质功能预测、疾病相关区域识别等任务。例如,某些氨基酸片段在多个蛋白质中共现频繁,模型会自动捕捉它们的潜在生物学意义。此外,Word2Vec 也被用于药物发现场景,辅助建模药物与靶点间的语义联系。 | + | 在生物信息学中,研究者将蛋白质或 DNA 序列中的氨基酸、核苷酸片段视为“词”,构建“生物语言”<ref>Min S, Lee B, Yoon S. Deep learning in bioinformatics[J]. Briefings in bioinformatics, 2017, 18(5): 851-869.</ref>。通过训练 Word2Vec 模型,可以学习到功能相关序列的向量表示,应用于蛋白质功能预测、疾病相关区域识别等任务。例如,某些氨基酸片段在多个蛋白质中共现频繁,模型会自动捕捉它们的潜在生物学意义。此外,Word2Vec 也被用于药物发现场景,辅助建模药物与靶点间的语义联系。 |
| | | | |
| | ==== 社会科学 ==== | | ==== 社会科学 ==== |
| − | 在社会科学中,Word2Vec 被用于探测语言中的刻板印象和社会偏见。通过分析词向量之间的距离,如“nurse”更接近“she”,“doctor”更接近“he”,可揭示潜在的性别偏见结构。同时,研究人员也使用时间序列语料构建跨年代词向量,研究词义随时代的语义漂移,如“liberal”、“gender”等词在不同时期的语义演变路径。 | + | 在社会科学中,Word2Vec 被用于探测语言中的刻板印象和社会偏见<ref>Benton A, Arora R, Dredze M. Learning multiview embeddings of twitter users[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2016: 14-19.</ref>。通过分析词向量之间的距离,如“nurse”更接近“she”,“doctor”更接近“he”,可揭示潜在的性别偏见结构<ref>Bolukbasi T, Chang K W, Zou J Y, et al. Man is to computer programmer as woman is to homemaker? debiasing word embeddings[J]. Advances in neural information processing systems, 2016, 29.</ref>。同时,研究人员也使用时间序列语料构建跨年代词向量,研究词义随时代的语义漂移,如“liberal”、“gender”等词在不同时期的语义演变路径<ref>Hamilton W L, Leskovec J, Jurafsky D. Diachronic word embeddings reveal statistical laws of semantic change[J]. arXiv preprint arXiv:1605.09096, 2016.</ref>。 |
| | | | |
| | ==== 法律、金融、医疗等垂直领域 ==== | | ==== 法律、金融、医疗等垂直领域 ==== |
| − | 在法律、金融、医疗等垂直领域,Word2Vec 有助于理解专业术语之间的语义关系。在法律文本分析中,模型可用于预测文书之间的相似度,辅助法官判例归类与类案推荐;在金融领域,Word2Vec 被用于情绪识别系统中,帮助模型理解公告、舆情或分析报告中的潜在语义态度;在医疗信息处理中,词向量支持将病症、药品与治疗手段建模为统一向量空间,用于构建医学知识图谱或提升电子病历挖掘效率。 | + | 在法律、金融、医疗等垂直领域,Word2Vec 有助于理解专业术语之间的语义关系<ref>Li J, Sun A, Han J, et al. A survey on deep learning for named entity recognition[J]. IEEE transactions on knowledge and data engineering, 2020, 34(1): 50-70.</ref>。在法律文本分析中,模型可用于预测文书之间的相似度,辅助法官判例归类与类案推荐;在金融领域,Word2Vec 被用于情绪识别系统中,帮助模型理解公告、舆情或分析报告中的潜在语义态度;在医疗信息处理中,词向量支持将病症、药品与治疗手段建模为统一向量空间,用于构建医学知识图谱或提升电子病历挖掘效率。 |
| | | | |
| | =='''优缺点'''== | | =='''优缺点'''== |