130
个编辑
更改
无编辑摘要
前馈是指神经网络的识别推理架构。人工神经网络架构基于输入乘以权重以获得输出（输入到输出）：前馈<ref>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. <nowiki>ISBN 978-1492671206</nowiki>.</ref><ref>Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73. <nowiki>ISBN 3-89319-554-8</nowiki>.</ref>。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理<ref>Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117.</ref>。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. 30 (10): 947–954.</ref><ref>Rosenblatt, Frank. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961.</ref><ref>Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". In System Modeling and Optimization. Springer. pp. 762–770.</ref><ref>Rumelhart, David E., Hinton, Geoffrey E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation". In: Rumelhart, D. E., McClelland, J. L., and the PDP Research Group (eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1: Foundations. MIT Press.</ref>或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点<ref>Achler, T. (2023). "What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective". Cognitive Computation.</ref>。
== 介绍 ==
== 介绍 ==
这取决于第 [math]\displaystyle{k}[/math] 个节点代表输出层。
这取决于第 [math]\displaystyle{k}[/math] 个节点代表输出层。
因此，为了改变隐藏层权重，输出层权重会根据激活函数的导数而变化，因此该算法代表了激活函数的反向传播<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref>。
== 常见前馈神经网络 ==
== 常见前馈神经网络 ==
=== 时间线 ===
=== 时间线 ===
* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归。
* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。
* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型。
* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。
* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成。
* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref>。
* 1960年，Joseph 提出了具有自适应隐藏层的多层感知器，并赞扬了 HD Block 和 BW Knight 的工作。
* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962） 引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。
* 1965年，Alexey Grigorevich Ivakhnenko 和 Valentin Lapa 发布了“数据处理群方法”（Group Method of Data Handling），这是第一个可行的深度学习算法，用于训练任意深度的神经网络。
* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。
* 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络。
* 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络。
* 1970年，Seppo Linnainmaa 在他的硕士论文中发表了反向传播的现代形式。Paul Werbos 于1982年将反向传播推广到多层神经网络。
* 1970 年，Seppo Linnainmaa在他的硕士论文 (1970) 中发表了反向传播的现代形式。 G.M. Ostrovski 等人于 1971 年重新发表了该论文。 Paul Werbos于 1982 年将反向传播应用于神经网络（他 1974 年的博士论文，重印在 1994 年的一本书中，尚未描述该算法）。1986 年，David E. Rumelhart等人推广了反向传播，但未引用原始文献。
* 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起。
* 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起。