113
个编辑
更改
创建页面，内容为“==自然语言处理== ===前言=== 自然语言处理是人工智能研究领域中浓墨重彩的一笔，也是我们经常能接触到的商业人工智能应…”
==自然语言处理==
===前言===
自然语言处理是人工智能研究领域中浓墨重彩的一笔，也是我们经常能接触到的商业人工智能应用。
根据处理的信息种类不同，自然语言处理可分为“文本处理”、“语音识别”、“自然语言理解”等多种技术领域。
而综合使用这些技术，企业可以研发出用于自动进行市场调研的“文本分析器”，以及“语音交互个人助手”等等的工业应用。
下面我们就介绍已经在工业领域落地的基于自然语言处理技术的应用，同时也提供了一些与这些应用技术相关的开源项目，供大家学习参考。
===文本===
====文本自动摘要系统：AbstractiveSummarization ====
https://github.com/facebookarchive/NAMAS
这个是由 Facebook 实现的“基于注意力机制的文本自动摘要系统”。
因为现在网络上充斥着大量的新闻媒体内容，而我们的时间又是那么宝贵，如果有一套系统，可以自动提供文本内容的摘要那是最好不过了。
这种自动摘要系统可以作为机器理解系统的预处理系统，除去文本内容中的冗杂信息，以便于理解。
这种系统可以应用在“股票交易决策”系统中，以实时检测分析网络媒体中的“风声”，提供进出仓建议。
====文本内容分析系统：DeepMind Teaching Machines to Read and Comprehend====
https://github.com/thomasmesnard/DeepMind-Teaching-Machines-to-Read-and-Comprehend
让机器具有阅读理解的能力。给定机器一段文本，机器可以自动分析出文本中涉及到的实体，以及实体“干了什么”，甚至能直接使用自然语言与用户交流，回答关于文本的问题。
这种系统同样可以做媒体分析，应用在市场调研领域。
还有一种已经落地的应用是做“口供分析”，可以从相关人员的“口供描述”中自动分析出“要点信息”，以方便警务人员立案调查，甚至直接与城市监控系统联网，自动锁定“口供描述”中分析出的“重点对象”。
====工业应用案例 ====
'''Synapsify'''
美国的Synapsify提供文本分析服务，它可以用于对内容的加速发现、观点提取和建议，如出版商可以用Synapsify来评估市场，政府还可以用Synapsify来进行网络舆情监控。
'''深度好奇'''
上面讲到的“口供文本分析系统”，就是深度好奇这家公司研发的。同时他们还研发了“可以自动理解表格信息的问答系统”，它可以使用自然语言，与用户交流数字表格中的信息，可以做到根据用户的要求，进行归纳、计算，并使用自然语言表达出结果。
===语音识别===
====句子级语音识别：Speech-to-Text-WaveNet====
https://github.com/buriburisuri/speech-to-text-wavenet
这是一个基于 DeepMind 最新理论实现的语音识别系统，可以将语音识别为文本。因为采用了最新的WaveNet技术，是它可以具有相当高的准确率，所以非常有参考的价值。
其实就语音识别这个技术无需多说，因为要进行基于语音交互的自然语言处理，计算机得首先将说话的声音转化成文本，才能进行后续的处理。
====工业应用案列====
'''科大讯飞'''
这个公司不用多说，国内一线的老牌语音识别大厂，在语音识别、语义理解领域都有非常高的技术水准。
'''出门问问'''
即拥有2C端硬件产品，又拥有核心技术的公司。其将自主研发的中文语音识别系统结合到“智能手表、只能车载设备、家用智能音响”上，给予用户提供便捷的“语音操控”。
'''思必驰'''
国内有名的提供“围绕语音识别”的解决方案的公司，已经为多家智能硬件公司提供语义交互解决方案。
'''云知声'''
专注物联网的，人工智能服务提供商，以“语音识别”为核心，提供产品解决方案。
===机器翻译===
====开源机器翻译系统：PyOpenNMT====
https://github.com/OpenNMT/OpenNMT-py.git
OpenNMT，一套开源的神经网络机器翻译模型实现。
因为是开源实现，所以这套系统设计的非常易用且支持扩展，并且有着相当高的翻译准确率！
====谷歌“注意力机制”机器翻译模型：Attention is all you need====
https://github.com/jadore801120/attention-is-all-you-need-pytorch.git
2017年由 Facebook、Google、Microsoft三家公司引领的“机器翻译模型争夺战”着实闹出了不小的动静。
其中《Attention is all your need》论文提出的就是基于注意力机制的机器翻译模型，这种模型在进行西方语言的翻译时，可以取得相当优秀的结果。
====工业应用案例====
机器翻译任务在人工智能领域可算是老生常谈了。
目前 Google、百度、金山、有道都采用了基于神经网络的翻译模型来提升自己机器翻译系统的性能。
===语音/语言交互助手===
====自然语言交互推荐系统：NNDIAL====
https://github.com/shawnwun/NNDIAL#nndial
这个是由剑桥大学研发的基于文本的交互系统。他能够以自然语言与人类交流，目前能实现根据用户的要求，为用户提供当地餐厅的咨询服务。
这个系统采用模块化的结构，采用了多个神经网络，整体采用“编码器-解码器构架”。
系统采用的工作机制非常典型，与国内多家公司的语音助手结构相似，非常适于刚进入这个领域的人学习和研究。
====基于文本知识库的问答系统：DrQA====
https://github.com/facebookresearch/DrQA#drqa
这个系统可以学习一个基于文本的知识库，然后根据学习到的内容回答用户的问题。
目前它已经实现了自动化学习维基百科的知识库，然后据此用自然语言与用户交流，回答有关维基百科里相关知识的问题。
====开放领域的聊天系统：Deep Q&A====
https://github.com/Conchylicultor/DeepQA
这个项目复刻了 Google 的开放领域聊天机器人。
与之前说过的交互推荐系统不同的是，这个聊天系统的响应更加丰富，并且具有闲聊功能。
它支持知识库扩展，想让机器人能回答某个领域的问题，只要提供这个领域的训练数据即可。
====具有记忆的语音交互系统：memnn====
https://github.com/facebook/MemNN
这个连接中有多个“记忆神经网络”的实现。“记忆神经网络”是 Facebook 提出的一种理论。
根据这种理论，可以使聊天机器人具有记忆，从而使聊天机器人在与人交流的过程中，可以学习到交流的内容，从而根据交流的内容进行推理等工作。
====工业应用案例====
做语音/语音交互助手真是非常多，几乎有自然语言处理研发能力的公司都涉及了这方面的工作。
放下Google、Apple、Microsoft三家的语音助手不说，国外有Api.ai，可以私人订制语音交互助手。
国内有出门问问、图灵机器人、思必驰等都提供语音交互助手的订制服务。
[[category:旧词条迁移]]
===前言===
自然语言处理是人工智能研究领域中浓墨重彩的一笔，也是我们经常能接触到的商业人工智能应用。
根据处理的信息种类不同，自然语言处理可分为“文本处理”、“语音识别”、“自然语言理解”等多种技术领域。
而综合使用这些技术，企业可以研发出用于自动进行市场调研的“文本分析器”，以及“语音交互个人助手”等等的工业应用。
下面我们就介绍已经在工业领域落地的基于自然语言处理技术的应用，同时也提供了一些与这些应用技术相关的开源项目，供大家学习参考。
===文本===
====文本自动摘要系统：AbstractiveSummarization ====
https://github.com/facebookarchive/NAMAS
这个是由 Facebook 实现的“基于注意力机制的文本自动摘要系统”。
因为现在网络上充斥着大量的新闻媒体内容，而我们的时间又是那么宝贵，如果有一套系统，可以自动提供文本内容的摘要那是最好不过了。
这种自动摘要系统可以作为机器理解系统的预处理系统，除去文本内容中的冗杂信息，以便于理解。
这种系统可以应用在“股票交易决策”系统中，以实时检测分析网络媒体中的“风声”，提供进出仓建议。
====文本内容分析系统：DeepMind Teaching Machines to Read and Comprehend====
https://github.com/thomasmesnard/DeepMind-Teaching-Machines-to-Read-and-Comprehend
让机器具有阅读理解的能力。给定机器一段文本，机器可以自动分析出文本中涉及到的实体，以及实体“干了什么”，甚至能直接使用自然语言与用户交流，回答关于文本的问题。
这种系统同样可以做媒体分析，应用在市场调研领域。
还有一种已经落地的应用是做“口供分析”，可以从相关人员的“口供描述”中自动分析出“要点信息”，以方便警务人员立案调查，甚至直接与城市监控系统联网，自动锁定“口供描述”中分析出的“重点对象”。
====工业应用案例 ====
'''Synapsify'''
美国的Synapsify提供文本分析服务，它可以用于对内容的加速发现、观点提取和建议，如出版商可以用Synapsify来评估市场，政府还可以用Synapsify来进行网络舆情监控。
'''深度好奇'''
上面讲到的“口供文本分析系统”，就是深度好奇这家公司研发的。同时他们还研发了“可以自动理解表格信息的问答系统”，它可以使用自然语言，与用户交流数字表格中的信息，可以做到根据用户的要求，进行归纳、计算，并使用自然语言表达出结果。
===语音识别===
====句子级语音识别：Speech-to-Text-WaveNet====
https://github.com/buriburisuri/speech-to-text-wavenet
这是一个基于 DeepMind 最新理论实现的语音识别系统，可以将语音识别为文本。因为采用了最新的WaveNet技术，是它可以具有相当高的准确率，所以非常有参考的价值。
其实就语音识别这个技术无需多说，因为要进行基于语音交互的自然语言处理，计算机得首先将说话的声音转化成文本，才能进行后续的处理。
====工业应用案列====
'''科大讯飞'''
这个公司不用多说，国内一线的老牌语音识别大厂，在语音识别、语义理解领域都有非常高的技术水准。
'''出门问问'''
即拥有2C端硬件产品，又拥有核心技术的公司。其将自主研发的中文语音识别系统结合到“智能手表、只能车载设备、家用智能音响”上，给予用户提供便捷的“语音操控”。
'''思必驰'''
国内有名的提供“围绕语音识别”的解决方案的公司，已经为多家智能硬件公司提供语义交互解决方案。
'''云知声'''
专注物联网的，人工智能服务提供商，以“语音识别”为核心，提供产品解决方案。
===机器翻译===
====开源机器翻译系统：PyOpenNMT====
https://github.com/OpenNMT/OpenNMT-py.git
OpenNMT，一套开源的神经网络机器翻译模型实现。
因为是开源实现，所以这套系统设计的非常易用且支持扩展，并且有着相当高的翻译准确率！
====谷歌“注意力机制”机器翻译模型：Attention is all you need====
https://github.com/jadore801120/attention-is-all-you-need-pytorch.git
2017年由 Facebook、Google、Microsoft三家公司引领的“机器翻译模型争夺战”着实闹出了不小的动静。
其中《Attention is all your need》论文提出的就是基于注意力机制的机器翻译模型，这种模型在进行西方语言的翻译时，可以取得相当优秀的结果。
====工业应用案例====
机器翻译任务在人工智能领域可算是老生常谈了。
目前 Google、百度、金山、有道都采用了基于神经网络的翻译模型来提升自己机器翻译系统的性能。
===语音/语言交互助手===
====自然语言交互推荐系统：NNDIAL====
https://github.com/shawnwun/NNDIAL#nndial
这个是由剑桥大学研发的基于文本的交互系统。他能够以自然语言与人类交流，目前能实现根据用户的要求，为用户提供当地餐厅的咨询服务。
这个系统采用模块化的结构，采用了多个神经网络，整体采用“编码器-解码器构架”。
系统采用的工作机制非常典型，与国内多家公司的语音助手结构相似，非常适于刚进入这个领域的人学习和研究。
====基于文本知识库的问答系统：DrQA====
https://github.com/facebookresearch/DrQA#drqa
这个系统可以学习一个基于文本的知识库，然后根据学习到的内容回答用户的问题。
目前它已经实现了自动化学习维基百科的知识库，然后据此用自然语言与用户交流，回答有关维基百科里相关知识的问题。
====开放领域的聊天系统：Deep Q&A====
https://github.com/Conchylicultor/DeepQA
这个项目复刻了 Google 的开放领域聊天机器人。
与之前说过的交互推荐系统不同的是，这个聊天系统的响应更加丰富，并且具有闲聊功能。
它支持知识库扩展，想让机器人能回答某个领域的问题，只要提供这个领域的训练数据即可。
====具有记忆的语音交互系统：memnn====
https://github.com/facebook/MemNN
这个连接中有多个“记忆神经网络”的实现。“记忆神经网络”是 Facebook 提出的一种理论。
根据这种理论，可以使聊天机器人具有记忆，从而使聊天机器人在与人交流的过程中，可以学习到交流的内容，从而根据交流的内容进行推理等工作。
====工业应用案例====
做语音/语音交互助手真是非常多，几乎有自然语言处理研发能力的公司都涉及了这方面的工作。
放下Google、Apple、Microsoft三家的语音助手不说，国外有Api.ai，可以私人订制语音交互助手。
国内有出门问问、图灵机器人、思必驰等都提供语音交互助手的订制服务。
[[category:旧词条迁移]]