更改

前馈是指神经网络的识别推理架构。人工神经网络架构基于输入乘以权重以获得输出（输入到输出）：前馈<ref>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. <nowiki>ISBN 978-1492671206</nowiki>.</ref><ref>Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73. <nowiki>ISBN 3-89319-554-8</nowiki>.</ref>。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理<ref>Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117.</ref>。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. 30 (10): 947–954.</ref><ref>Rosenblatt, Frank. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961.</ref><ref>Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". In System Modeling and Optimization. Springer. pp. 762–770.</ref><ref>Rumelhart, David E., Hinton, Geoffrey E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation". In: Rumelhart, D. E., McClelland, J. L., and the PDP Research Group (eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1: Foundations. MIT Press.</ref>或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点<ref>Achler, T. (2023). "What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective". Cognitive Computation.</ref>。

前馈是指神经网络的识别推理架构。[[人工神经网络]]架构基于输入乘以权重以获得输出（输入到输出）：前馈<ref>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. <nowiki>ISBN 978-1492671206</nowiki>.</ref><ref>Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73. <nowiki>ISBN 3-89319-554-8</nowiki>.</ref>。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理<ref>Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117.</ref>。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. 30 (10): 947–954.</ref><ref>Rosenblatt, Frank. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961.</ref><ref>Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". In System Modeling and Optimization. Springer. pp. 762–770.</ref><ref>Rumelhart, David E., Hinton, Geoffrey E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation". In: Rumelhart, D. E., McClelland, J. L., and the PDP Research Group (eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1: Foundations. MIT Press.</ref>或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点<ref>Achler, T. (2023). "What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective". Cognitive Computation.</ref>。

== 介绍 ==

== 介绍 ==

=== 简介 ===

=== 简介 ===

前馈神经网络（feedforward neural network，FNN），简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层，也可以是多层。

前馈神经网络（feedforward neural network，FNN），简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构。其中每一层包含若干个[[神经元]]。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层，也可以是多层。

整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示 [2]。

整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示 [2]。

* '''修剪法'''：从一个较大的网络出发，训练后逐步删除不重要的连接或节点，优化结构但计算开销大。

* '''修剪法'''：从一个较大的网络出发，训练后逐步删除不重要的连接或节点，优化结构但计算开销大。

* [[文件:前馈网络示意图.png|缩略图|图2：在前馈网络中，信息总是朝一个方向移动；它永远不会倒退。]]'''生长法'''：从小网络开始，逐步添加节点或连接，自适应构建网络结构，具有自组织特性，灵活但训练过程较复杂。

* '''生长法'''：从小网络开始，逐步添加节点或连接，自适应构建网络结构，具有自组织特性，灵活但训练过程较复杂。

=== 工作原理 ===

=== 工作原理 ===

=== 特点 ===

=== 特点 ===

== 数学基础 ==

== 数学基础 ==

第一个是双曲正切函数，其范围从 -1 到 1，另一个是逻辑函数，其形状类似，但范围从 0 到 1。这里[math]\displaystyle{y_i}[/math]是第[math]\displaystyle{i}[/math]个节点（神经元）和。[math]\displaystyle{v_i}[/math]是输入连接的加权和。其他激活函数已被提出，包括rectifier 和 softplus函数。更专业的激活函数包括径向基函数（用于径向基网络，这是另一类有监督神经网络模型）。

第一个是双曲正切函数，其范围从 -1 到 1，另一个是逻辑函数，其形状类似，但范围从 0 到 1。这里[math]\displaystyle{y_i}[/math]是第[math]\displaystyle{i}[/math]个节点（神经元）和。[math]\displaystyle{v_i}[/math]是输入连接的加权和。其他激活函数已被提出，包括rectifier 和 softplus函数。更专业的激活函数包括径向基函数（用于径向基网络，这是另一类有监督神经网络模型）。

在深度学习的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。

在[[深度学习]]的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。

=== 学习 ===

=== 学习 ===

学习是通过在处理每条数据后，根据输出结果与预期结果之间的误差量，改变连接权重来实现的。这是监督学习的一个例子，通过反向传播进行。

学习是通过在处理每条数据后，根据输出结果与预期结果之间的误差量，改变连接权重来实现的。这是监督学习的一个例子，通过反向传播进行。

=== 感知器网络 ===

=== 感知器网络 ===

=== BP网络 ===

=== BP网络 ===

* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。

* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。

* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。

* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为[[生物网络|生物神经网络]]的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。

* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref><ref>Joseph, R. D. (1960). Contributions to Perceptron Theory. Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.</ref>。

* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref><ref>Joseph, R. D. (1960). Contributions to Perceptron Theory. Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.</ref>。

* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962）<ref>Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New York.</ref>引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。

* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962）<ref>Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New York.</ref>引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是[[深度学习]]。

* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络<ref>Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.</ref><ref>Ivakhnenko, A. G.; Lapa, Valentin Grigorʹevich (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co.</ref>。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。

* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络<ref>Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.</ref><ref>Ivakhnenko, A. G.; Lapa, Valentin Grigorʹevich (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co.</ref>。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。