更改

第一个可以用的深度学习网络是由A. G.伊瓦赫年科和V.G.拉帕 在1965年发表的。这些网络每次只训练一层。1971年伊瓦赫年科的论文描述了一个8层的深度前馈多层感知机网络的学习过程，这个网络已经比许多后来的网络要深得多了<ref name="ivak1971">{{Cite journal |doi = 10.1109/TSMC.1971.4308320|title = Polynomial Theory of Complex Systems|journal = IEEE Transactions on Systems, Man, and Cybernetics|issue = 4|pages = 364–378|year = 1971|last1 = Ivakhnenko|first1 = A. G.|url = https://semanticscholar.org/paper/b7efb6b6f7e9ffa017e970a098665f76d4dfeca2}}</ref>。2006年，杰弗里•辛顿和特迪诺夫的文章介绍了另一种预训练'''<font color=#ff8000>多层前馈神经网络 Many-layered Feedforward Neural Networks, FNNs</font>''' 的方法，一次训练一层，将每一层都视为无监督的[[受限玻尔兹曼机]]，然后使用监督式反向传播进行微调。与浅层人工神经网络类似，深层神经网络可以模拟复杂的非线性关系。在过去的几年里，机器学习算法和计算机硬件的进步催生了更有效的方法，训练包含许多层非线性隐藏单元和一个非常大的输出层的深层神经网络。<ref>{{cite web|last1=Research|first1=AI|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|website=airesearch.com|accessdate=23 October 2015|date=23 October 2015}}</ref>

第一个可以用的深度学习网络是由A. G.伊瓦赫年科和V.G.拉帕 在1965年发表的。这些网络每次只训练一层。1971年伊瓦赫年科的论文描述了一个8层的深度前馈多层感知机网络的学习过程，这个网络已经比许多后来的网络要深得多了<ref name="ivak1971">{{Cite journal |doi = 10.1109/TSMC.1971.4308320|title = Polynomial Theory of Complex Systems|journal = IEEE Transactions on Systems, Man, and Cybernetics|issue = 4|pages = 364–378|year = 1971|last1 = Ivakhnenko|first1 = A. G.|url = https://semanticscholar.org/paper/b7efb6b6f7e9ffa017e970a098665f76d4dfeca2}}</ref>。2006年，杰弗里•辛顿和特迪诺夫的文章介绍了另一种预训练'''层前馈神经网络 Many-layered Feedforward Neural Networks（FNNs）''' 的方法，一次训练一层，将每一层都视为无监督的[[受限玻尔兹曼机]]，然后使用监督式反向传播进行微调。与浅层人工神经网络类似，深层神经网络可以模拟复杂的非线性关系。在过去的几年里，机器学习算法和计算机硬件的进步催生了更有效的方法，训练包含许多层非线性隐藏单元和一个非常大的输出层的深层神经网络。<ref>{{cite web|last1=Research|first1=AI|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|website=airesearch.com|accessdate=23 October 2015|date=23 October 2015}}</ref>