更改

* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。

* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。

* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。

* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。

* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref>。

* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref><ref>Joseph, R. D. (1960). Contributions to Perceptron Theory. Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.</ref>。

* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962） 引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。

* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962）<ref>Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New York.</ref>引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。

* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。

* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络<ref>Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.</ref><ref>Ivakhnenko, A. G.; Lapa, Valentin Grigorʹevich (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co.</ref>。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。

* 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络。

* 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络<ref>Amari, Shun'ichi (1967). "A theory of adaptive pattern classifier". IEEE Transactions. EC (16): 279–307.</ref>。

* 1970 年，Seppo Linnainmaa在他的硕士论文 (1970) 中发表了反向传播的现代形式。  G.M. Ostrovski 等人于 1971 年重新发表了该论文。 Paul Werbos于 1982 年将反向传播应用于神经网络（他 1974 年的博士论文，重印在 1994 年的一本书中，尚未描述该算法）。1986 年，David E. Rumelhart等人推广了反向传播，但未引用原始文献。

* 1970 年，Seppo Linnainmaa在他的硕士论文 (1970) 中发表了反向传播的现代形式<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Linnainmaa, Seppo (1976). "Taylor expansion of the accumulated rounding error". BIT Numerical Mathematics. 16 (2): 146–160.</ref>。  G.M. Ostrovski 等人于 1971 年重新发表了该论文<ref>Ostrovski, G. M., Volin, Y. M., & Boris, W. W. (1971). "On the computation of derivatives". Wissenschaftliche Zeitschrift der Technischen Hochschule für Chemie, 13: 382–384.</ref><ref>Schmidhuber, Juergen (2014-10-25). "Who Invented Backpropagation?". IDSIA, Switzerland.</ref>。 Paul Werbos于 1982 年将反向传播应用于神经网络<ref>Anderson, James A.; Rosenfeld, Edward, eds. (2000). Talking Nets: An Oral History of Neural Networks. The MIT Press. <nowiki>ISBN 978-0-262-26715-1</nowiki>.</ref>（他 1974 年的博士论文，重印在 1994 年的一本书中<ref>Werbos, Paul J. (1994). The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting. New York: John Wiley & Sons. <nowiki>ISBN 0-471-59897-6</nowiki>.</ref>，尚未描述该算法）。1986 年，David E. Rumelhart等人推广了反向传播，但未引用原始文献<ref>Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986). "Learning representations by back-propagating errors". Nature. 323 (6088): 533–536.</ref>。

* 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起。

* 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起<ref>Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (2003). "A neural probabilistic language model". The Journal of Machine Learning Research. 3: 1137–1155.</ref>。

=== 代表性研究成果与应用 ===

=== 代表性研究成果与应用 ===