'''自然语言处理 Natural language processing(NLP)'''赋予机器阅读和理解人类语言的能力。一个足够强大的自然语言处理系统可以提供自然语言用户界面,并能直接从如新闻专线文本的人类文字中获取知识。一些简单的自然语言处理的应用包括信息检索、文本挖掘、问答和机器翻译。<ref name="Russell & Norvig 2003"/><ref name="Luger & Stubblefield 2004"/>目前许多方法使用词的共现频率来构建文本的句法表示。用“关键词定位”策略进行搜索很常见且可扩展,但很粗糙;搜索“狗”可能只匹配与含“狗”字的文档,而漏掉与“犬”匹配的文档。“词汇相关性”策略使用如“事故”这样的词出现的频次,评估文本想表达的情感。现代统计NLP方法可以结合所有这些策略以及其他策略,在以页或段落为单位的处理上获得还能让人接受的准确度,但仍然缺乏对单独的句子进行分类所需的语义理解。除了编码语义常识常见的困难外,现有的语义NLP有时可扩展性太差,无法应用到在商业中。而“叙述性”NLP除了达到语义NLP的功能之外,还想最终能做到充分理解常识推理。<ref>Cambria, Erik; White, Bebo (May 2014). "Jumping NLP Curves: A Review of Natural Language Processing Research [Review Article]". IEEE Computational Intelligence Magazine. 9 (2): 48–57. doi:10.1109/MCI.2014.2307227. S2CID 206451986.</ref>到2019年,变压器基于深度学习的架构可以生成连贯的文本。<ref>Vincent, James (7 November 2019). "OpenAI has published the text-generating AI it said was too dangerous to share". The Verge. Archived from the original on 11 June 2020. </ref> | '''自然语言处理 Natural language processing(NLP)'''赋予机器阅读和理解人类语言的能力。一个足够强大的自然语言处理系统可以提供自然语言用户界面,并能直接从如新闻专线文本的人类文字中获取知识。一些简单的自然语言处理的应用包括信息检索、文本挖掘、问答和机器翻译。<ref name="Russell & Norvig 2003"/><ref name="Luger & Stubblefield 2004"/>目前许多方法使用词的共现频率来构建文本的句法表示。用“关键词定位”策略进行搜索很常见且可扩展,但很粗糙;搜索“狗”可能只匹配与含“狗”字的文档,而漏掉与“犬”匹配的文档。“词汇相关性”策略使用如“事故”这样的词出现的频次,评估文本想表达的情感。现代统计NLP方法可以结合所有这些策略以及其他策略,在以页或段落为单位的处理上获得还能让人接受的准确度,但仍然缺乏对单独的句子进行分类所需的语义理解。除了编码语义常识常见的困难外,现有的语义NLP有时可扩展性太差,无法应用到在商业中。而“叙述性”NLP除了达到语义NLP的功能之外,还想最终能做到充分理解常识推理。<ref>Cambria, Erik; White, Bebo (May 2014). "Jumping NLP Curves: A Review of Natural Language Processing Research [Review Article]". IEEE Computational Intelligence Magazine. 9 (2): 48–57. doi:10.1109/MCI.2014.2307227. S2CID 206451986.</ref>到2019年,变压器基于深度学习的架构可以生成连贯的文本。<ref>Vincent, James (7 November 2019). "OpenAI has published the text-generating AI it said was too dangerous to share". The Verge. Archived from the original on 11 June 2020. </ref> |