更改

Some notably successful natural language processing systems developed in the 1960s were SHRDLU, a natural language system working in restricted "blocks worlds" with restricted vocabularies, and ELIZA, a simulation of a Rogerian psychotherapist, written by Joseph Weizenbaum between 1964 and 1966.  Using almost no information about human thought or emotion, ELIZA sometimes provided a startlingly human-like interaction. When the "patient" exceeded the very small knowledge base, ELIZA might provide a generic response, for example, responding to "My head hurts" with "Why do you say your head hurts?".

Some notably successful natural language processing systems developed in the 1960s were SHRDLU, a natural language system working in restricted "blocks worlds" with restricted vocabularies, and ELIZA, a simulation of a Rogerian psychotherapist, written by Joseph Weizenbaum between 1964 and 1966.  Using almost no information about human thought or emotion, ELIZA sometimes provided a startlingly human-like interaction. When the "patient" exceeded the very small knowledge base, ELIZA might provide a generic response, for example, responding to "My head hurts" with "Why do you say your head hurts?".

SHRDLU和ELIZA是在20世纪60年代开发的两个非常成功的自然语言处理系统。SHRDLU是一个工作在只有有限词汇的 “沙盒游戏”的自然语言系统；而ELIZA是由约瑟夫·维森鲍姆在1964年和1966年之间编写的一个罗杰式模拟心理治疗师。Eliza 几乎没有用到任何有关人类思想或情感的信息，但有时却能做出一些令人吃惊的类似人类的互动。当“病人”的问题超出了它的小知识范围时，ELIZA 可能会给出一般性的回答，例如，用“你为什么说你头疼? ”来回答病人“我头疼”的问题。

SHRDLU和ELIZA是在20世纪60年代开发的两个非常成功的自然语言处理系统。SHRDLU是一个工作在只有有限词汇的 “沙盒游戏”的自然语言系统；而ELIZA是由约瑟夫·维森鲍姆在1964年和1966年之间编写的一个罗杰式模拟心理治疗师。ELIZA 几乎没有用到任何有关人类思想或情感的信息，但有时却能做出一些令人吃惊的类似人类的互动。当“病人”的问题超出了它的小知识范围时，ELIZA 可能会给出一般性的回答，例如，用“你为什么说你头疼? ”来回答病人“我头疼”的问题。

二十一世纪一零年代，<font color=#ff8000>表示学习</font>和深度神经网络式的机器学习方法在自然语言处理中得到了广泛的应用，部分原因是一系列的结果表明这些技术可以在许多自然语言任务中获得最先进的结果，比如语言建模、语法分析等。流行的技术包括使用<font color=#ff8000>词嵌入</font>来获取单词的语义属性，以及增加高级任务的<font color=#ff8000>端到端</font>学习(如问答) ，而不是依赖于分立的中间任务流程(如词性标记和依赖性分析)。在某些领域，这种转变使得NLP系统的设计发生了重大变化，因此，基于深层神经网络的方法可以被视为一种有别于统计自然语言处理的新范式。例如，神经机器翻译(neural machine translation，NMT)一词强调了这样一个事实：基于深度学习的机器翻译方法直接学习<font color=#ff8000>序列到序列</font>变换，从而避免了统计机器翻译(statistical machine translation，SMT)中使用的<font color=#ff8000>词对齐</font>和语言建模等中间步骤。

二十一世纪一零年代，<font color=#ff8000>表示学习</font>和深度神经网络式的机器学习方法在自然语言处理中得到了广泛的应用，部分原因是一系列的结果表明这些技术可以在许多自然语言任务中获得最先进的结果，比如语言建模、语法分析等。流行的技术包括使用<font color=#ff8000>词嵌入</font>来获取单词的语义属性，以及增加高级任务的<font color=#ff8000>端到端</font>学习(如问答) ，而不是依赖于分立的中间任务流程(如词性标记和依赖性分析)。在某些领域，这种转变使得NLP系统的设计发生了重大变化，因此，基于深层神经网络的方法可以被视为一种有别于统计自然语言处理的新范式。例如，神经机器翻译(neural machine translation，NMT)一词强调了这样一个事实：基于深度学习的机器翻译方法直接学习<font color=#ff8000>序列到序列</font>变换，从而避免了统计机器翻译(statistical machine translation，SMT)中使用的<font color=#ff8000>词对齐</font>和语言建模等中间步骤。

==基于规则的NLP vs. 统计NLP (Rule-based vs. statistical NLP{{anchor|Statistical natural language processing (SNLP)}})==

==基于规则的NLP vs. 统计NLP (Rule-based vs. statistical NLP{{anchor|Statistical natural language processing (SNLP)}})==