前馈神经网络 - 版本历史

Word2vec：进展

2025-06-15T13:03:28Z

进展

Word2vec：研究进展

2025-06-15T13:02:48Z

研究进展

2025年6月14日 (六) 15:08 Word2vec

2025-06-14T15:08:35Z

2025年6月14日 (六) 14:59 Word2vec

2025-06-14T14:59:10Z

2025年6月14日 (六) 14:49 Word2vec

2025-06-14T14:49:53Z

2025年6月14日 (六) 14:43 Word2vec

2025-06-14T14:43:46Z

2025年6月14日 (六) 14:06 Word2vec

2025-06-14T14:06:31Z

2025年6月14日 (六) 13:43 Word2vec

2025-06-14T13:43:23Z

2025年6月14日 (六) 13:36 Word2vec

2025-06-14T13:36:50Z

2025年6月14日 (六) 13:35 Word2vec

2025-06-14T13:35:12Z

@@ 第171行： / 第171行： @@
 它演示了数据从输入层经过权重变换和激活函数后，如何一步步传播至输出层。
-== 历史 ==
+== 历史与进展 ==
 === 时间线 ===

@@ 第193行： / 第193行： @@
 * '''早期语音识别与信号处理'''：在RNN/CNN普及前，FNN是主要建模工具；
 * '''自动驾驶传感器融合'''：FNN被用于多源感知数据的早期特征组合。
 == 参考文献 ==

←上一版本		2025年6月14日 (六) 15:08的版本
第201行：		第201行：
	=== 课程推荐 ===		=== 课程推荐 ===
	[https://campus.swarma.org/course/1391 神经网络（Neural Network）]		[https://campus.swarma.org/course/1391 神经网络（Neural Network）]
		+
		+	从一个历史发展的角度去看待神经网络，从 1943 年最早提出的感知机模型讲起，分析其局限性，说明引入多层神经网络的必要性，以及经典的 BP 算法。最后从一个实际案例出发，讲解真实场景下，用人工神经网络做预测时，会用到的问题和处理方法。
		+
		+
		+	[https://campus.swarma.org/course/956 深度学习原理与PyTorch实战]
		+
		+	此系列课程主要围绕集智俱乐部众包写作的书籍《深度学习原理与 PyTorch 实战》展开，兼具理论与实践，是想要掌握一门深度学习技术不可错过的课程。课程中不仅循序渐进地讲解了PyTorch的基本使用、神经网络的搭建、卷积神经网络和循环神经网络的实现，而且全面深入地介绍了计算机视觉、自然语言处理、迁移学习，以及最新的对抗学习和深度强化学习等前沿技术。
		+
		+	=== 书籍推荐 ===
		+	[https://www.manning.com/books/deep-learning-with-pytorch 《Deep Learning with PyTorch》]
		+
		+	本书聚焦于 PyTorch 框架下的深度学习实现，配合实例手把手构建前馈网络、卷积网络等，是初学者与实战者过渡的重要桥梁。内容注重实操与解释，适合工程开发背景的读者。
		+
		+
		+	[https://www.deeplearningbook.org/ 《Deep Learning》]
		+
		+	本书涵盖前馈神经网络的结构、训练、正则化、优化等内容，适合研究人员与高级开发者。
		+
		+
		+	[https://www.pearson.com/en-us/subject-catalog/p/neural-networks-and-learning-machines/P200000000638/9780131471399 《Neural Networks and Learning Machines》（3rd Edition）]
		+
		+	系统介绍神经网络的各类模型与学习算法，前馈神经网络及其反向传播部分尤为经典，适合对数学推导与理论有较高要求的学习者。

←上一版本		2025年6月14日 (六) 14:59的版本
第195行：		第195行：

	== 参考文献 ==		== 参考文献 ==
		+	<references />
		+
		+	== 编者推荐 ==
		+
		+	=== 课程推荐 ===
		+	[https://campus.swarma.org/course/1391 神经网络（Neural Network）]

@@ 第1行： / 第1行： @@
-前馈是指神经网络的识别推理架构。人工神经网络架构基于输入乘以权重以获得输出（输入到输出）：前馈<ref>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. <nowiki>ISBN 978-1492671206</nowiki>.</ref><ref>Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73. <nowiki>ISBN 3-89319-554-8</nowiki>.</ref>。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理<ref>Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117.</ref>。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. 30 (10): 947–954.</ref><ref>Rosenblatt, Frank. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961.</ref><ref>Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". In System Modeling and Optimization. Springer. pp. 762–770.</ref><ref>Rumelhart, David E., Hinton, Geoffrey E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation". In: Rumelhart, D. E., McClelland, J. L., and the PDP Research Group (eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1: Foundations. MIT Press.</ref>或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点<ref>Achler, T. (2023). "What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective". Cognitive Computation.</ref>。
+前馈是指神经网络的识别推理架构。[[人工神经网络]]架构基于输入乘以权重以获得输出（输入到输出）：前馈<ref>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. <nowiki>ISBN 978-1492671206</nowiki>.</ref><ref>Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73. <nowiki>ISBN 3-89319-554-8</nowiki>.</ref>。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理<ref>Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117.</ref>。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. 30 (10): 947–954.</ref><ref>Rosenblatt, Frank. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961.</ref><ref>Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". In System Modeling and Optimization. Springer. pp. 762–770.</ref><ref>Rumelhart, David E., Hinton, Geoffrey E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation". In: Rumelhart, D. E., McClelland, J. L., and the PDP Research Group (eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1: Foundations. MIT Press.</ref>或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点<ref>Achler, T. (2023). "What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective". Cognitive Computation.</ref>。
 == 介绍 ==
 === 简介 ===
-前馈神经网络（feedforward neural network，FNN），简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层，也可以是多层。
+前馈神经网络（feedforward neural network，FNN），简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构。其中每一层包含若干个[[神经元]]。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层，也可以是多层。
 整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示 [2]。
@@ 第23行： / 第23行： @@
 * '''修剪法'''：从一个较大的网络出发，训练后逐步删除不重要的连接或节点，优化结构但计算开销大。
-* [[文件:前馈网络示意图.png|缩略图|图2：在前馈网络中，信息总是朝一个方向移动；它永远不会倒退。]]'''生长法'''：从小网络开始，逐步添加节点或连接，自适应构建网络结构，具有自组织特性，灵活但训练过程较复杂。
+* '''生长法'''：从小网络开始，逐步添加节点或连接，自适应构建网络结构，具有自组织特性，灵活但训练过程较复杂。
 === 工作原理 ===
@@ 第32行： / 第32行： @@
 === 特点 ===
-前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。从系统的观点看，前馈网络是一种静态非线性映射．通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。从计算的观点看．缺乏丰富的动力学行为。大部分前馈网络都是学习网络，其分类能力和模式识别能力一般都强于反馈网络。
+前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。从系统的观点看，前馈网络是一种静态[[非线性系统|非线性]]映射．通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。从计算的观点看．缺乏丰富的[[动力学可逆性|动力学]]行为。大部分前馈网络都是学习网络，其分类能力和模式识别能力一般都强于反馈网络。
 == 数学基础 ==
@@ 第56行： / 第56行： @@
 第一个是双曲正切函数，其范围从 -1 到 1，另一个是逻辑函数，其形状类似，但范围从 0 到 1。这里[math]\displaystyle{y_i}[/math]是第[math]\displaystyle{i}[/math]个节点（神经元）和。[math]\displaystyle{v_i}[/math]是输入连接的加权和。其他激活函数已被提出，包括rectifier 和 softplus函数。更专业的激活函数包括径向基函数（用于径向基网络，这是另一类有监督神经网络模型）。
-在深度学习的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。
+在[[深度学习]]的最新发展中，修正线性单元(ReLU)被更频繁地用作克服与 S 型函数相关的 数值问题的可能方法之一。
 === 学习 ===
 学习是通过在处理每条数据后，根据输出结果与预期结果之间的误差量，改变连接权重来实现的。这是监督学习的一个例子，通过反向传播进行。
@@ 第101行： / 第101行： @@
 === 感知器网络 ===
-感知器（又叫感知机）是最简单的前馈网络，它主要用于模式分类，也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。
+感知器（又叫[[感知机]]）是最简单的前馈网络，它主要用于模式分类，也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。
 === BP网络 ===
@@ 第176行： / 第176行： @@
 * 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。
-* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。
+* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为[[生物网络|生物神经网络]]的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。
 * 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref><ref>Joseph, R. D. (1960). Contributions to Perceptron Theory. Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.</ref>。
-* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962）<ref>Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New York.</ref>引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。
+* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962）<ref>Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New York.</ref>引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是[[深度学习]]。
 * 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络<ref>Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.</ref><ref>Ivakhnenko, A. G.; Lapa, Valentin Grigorʹevich (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co.</ref>。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。

@@ 第177行： / 第177行： @@
 * 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。
 * 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。
-* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref>。
+* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref><ref>Joseph, R. D. (1960). Contributions to Perceptron Theory. Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo.</ref>。
-* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962） 引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。
+* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962）<ref>Rosenblatt, Frank (1962). Principles of Neurodynamics. Spartan, New York.</ref>引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。
-* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。
+* 1965年，Alexey Grigorevich Ivakhnenko和 Valentin Lapa 发表了“数据处理群方法”（Group Method of Data Handling ） ，这是第一个可行的深度学习算法，用于训练任意深度的神经网络<ref>Ivakhnenko, A. G. (1973). Cybernetic Predicting Devices. CCM Information Corporation.</ref><ref>Ivakhnenko, A. G.; Lapa, Valentin Grigorʹevich (1967). Cybernetics and Forecasting Techniques. American Elsevier Publishing Co.</ref>。它基于通过回归分析进行逐层训练。多余的隐藏单元会使用单独的验证集进行修剪。由于节点的激活函数是柯尔莫哥洛夫-加博尔多项式，因此这也是第一个具有乘法单元或“门”的深度网络。该方法于1971年被用于训练一个八层神经网络。
-* 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络。
+* 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络<ref>Amari, Shun'ichi (1967). "A theory of adaptive pattern classifier". IEEE Transactions. EC (16): 279–307.</ref>。
-* 1970 年，Seppo Linnainmaa在他的硕士论文 (1970) 中发表了反向传播的现代形式。  G.M. Ostrovski 等人于 1971 年重新发表了该论文。 Paul Werbos于 1982 年将反向传播应用于神经网络（他 1974 年的博士论文，重印在 1994 年的一本书中，尚未描述该算法）。1986 年，David E. Rumelhart等人推广了反向传播，但未引用原始文献。
+* 1970 年，Seppo Linnainmaa在他的硕士论文 (1970) 中发表了反向传播的现代形式<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Linnainmaa, Seppo (1976). "Taylor expansion of the accumulated rounding error". BIT Numerical Mathematics. 16 (2): 146–160.</ref>。  G.M. Ostrovski 等人于 1971 年重新发表了该论文<ref>Ostrovski, G. M., Volin, Y. M., & Boris, W. W. (1971). "On the computation of derivatives". Wissenschaftliche Zeitschrift der Technischen Hochschule für Chemie, 13: 382–384.</ref><ref>Schmidhuber, Juergen (2014-10-25). "Who Invented Backpropagation?". IDSIA, Switzerland.</ref>。 Paul Werbos于 1982 年将反向传播应用于神经网络<ref>Anderson, James A.; Rosenfeld, Edward, eds. (2000). Talking Nets: An Oral History of Neural Networks. The MIT Press. <nowiki>ISBN 978-0-262-26715-1</nowiki>.</ref>（他 1974 年的博士论文，重印在 1994 年的一本书中<ref>Werbos, Paul J. (1994). The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting. New York: John Wiley & Sons. <nowiki>ISBN 0-471-59897-6</nowiki>.</ref>，尚未描述该算法）。1986 年，David E. Rumelhart等人推广了反向传播，但未引用原始文献<ref>Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986). "Learning representations by back-propagating errors". Nature. 323 (6088): 533–536.</ref>。
-* 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起。
+* 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起<ref>Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (2003). "A neural probabilistic language model". The Journal of Machine Learning Research. 3: 1137–1155.</ref>。
 === 代表性研究成果与应用 ===

@@ 第1行： / 第1行： @@
-前馈是指神经网络的识别推理架构。人工神经网络架构基于输入乘以权重以获得输出（输入到输出）：前馈。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点。
+前馈是指神经网络的识别推理架构。人工神经网络架构基于输入乘以权重以获得输出（输入到输出）：前馈<ref>Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies. Sourcebooks. <nowiki>ISBN 978-1492671206</nowiki>.</ref><ref>Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (in German) (1st ed.). Addison-Wesley. p. 73. <nowiki>ISBN 3-89319-554-8</nowiki>.</ref>。循环神经网络或带有循环的神经网络允许来自后期处理阶段的信息反馈给早期阶段进行序列处理<ref>Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117.</ref>。然而，在推理的每个阶段，前馈乘法仍然是核心，对于反向传播<ref>Linnainmaa, Seppo (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (in Finnish). University of Helsinki. pp. 6–7.</ref><ref>Kelley, Henry J. (1960). "Gradient theory of optimal flight paths". ARS Journal. 30 (10): 947–954.</ref><ref>Rosenblatt, Frank. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961.</ref><ref>Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". In System Modeling and Optimization. Springer. pp. 762–770.</ref><ref>Rumelhart, David E., Hinton, Geoffrey E., and Williams, R. J. (1986). "Learning Internal Representations by Error Propagation". In: Rumelhart, D. E., McClelland, J. L., and the PDP Research Group (eds.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol. 1: Foundations. MIT Press.</ref>或随时间反向传播至关重要。因此，神经网络不能包含负反馈或正反馈等反馈，其中输出反馈到完全相同的输入并对其进行修改，因为这会形成一个无限循环，不可能及时倒带以通过反向传播产生错误信号。这个问题和命名法似乎是一些计算机科学家和研究大脑网络的其他领域的科学家之间的一个混淆点<ref>Achler, T. (2023). "What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective". Cognitive Computation.</ref>。
 == 介绍 ==
@@ 第96行： / 第96行： @@
 这取决于第 [math]\displaystyle{k}[/math] 个节点代表输出层。
-因此，为了改变隐藏层权重，输出层权重会根据激活函数的导数而变化，因此该算法代表了激活函数的反向传播。
+因此，为了改变隐藏层权重，输出层权重会根据激活函数的导数而变化，因此该算法代表了激活函数的反向传播<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref>。
 == 常见前馈神经网络 ==
@@ 第175行： / 第175行： @@
 === 时间线 ===
-* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归。
+* 大约在1800年，勒让德（1805）和高斯（1795）创建了最简单的前馈网络，它由一个带有线性激活函数的权重层组成。该网络采用最小二乘法进行训练，以最小化均方误差，也称为线性回归<ref>Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2nd ed.). Prentice Hall. <nowiki>ISBN 0-13-273350-1</nowiki>.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Stigler, Stephen M. (1981). "Gauss and the Invention of Least Squares". Annals of Statistics. 9 (3): 465–474.</ref><ref>Bretscher, Otto (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.</ref><ref>Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Cambridge: Harvard. <nowiki>ISBN 0-674-40340-1</nowiki>.</ref>。
-* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型。
+* 1943年，沃伦·麦卡洛克和沃尔特·皮茨提出二进制人工神经元作为生物神经网络的逻辑模型<ref>McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133.</ref>。
-* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成。
+* 1958年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了多层感知器模型，该模型由一个输入层、一个具有随机权重且无法学习的隐藏层和一个具有可学习连接的输出层组成<ref>Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408.</ref>。
-* 1960年，Joseph 提出了具有自适应隐藏层的多层感知器，并赞扬了 HD Block 和 BW Knight 的工作。
+* 1960年，Joseph 也讨论了具有自适应隐藏层的多层感知器。Rosenblatt（1962） 引用并采纳了这些想法，同时也赞扬了 HD Block 和 BW Knight 的工作。遗憾的是，这些早期的努力并没有催生出一个有效的隐藏单元学习算法，也就是深度学习。
-* 1965年，Alexey Grigorevich Ivakhnenko 和 Valentin Lapa 发布了“数据处理群方法”（Group Method of Data Handling），这是第一个可行的深度学习算法，用于训练任意深度的神经网络。
 * 1967年，Shun'ichi Amari 报告了第一个通过随机梯度下降训练的多层神经网络。
-* 1970年，Seppo Linnainmaa 在他的硕士论文中发表了反向传播的现代形式。Paul Werbos 于1982年将反向传播推广到多层神经网络。
+* 1970 年，Seppo Linnainmaa在他的硕士论文 (1970) 中发表了反向传播的现代形式。  G.M. Ostrovski 等人于 1971 年重新发表了该论文。 Paul Werbos于 1982 年将反向传播应用于神经网络（他 1974 年的博士论文，重印在 1994 年的一本书中，尚未描述该算法）。1986 年，David E. Rumelhart等人推广了反向传播，但未引用原始文献。
 * 2003年，由于 Yoshua Bengio 与合作者将深度学习成功应用于语言建模，个人对反向传播网络的兴趣再度燃起。

←上一版本		2025年6月14日 (六) 13:43的版本
第191行：		第191行：
	* '''早期语音识别与信号处理'''：在RNN/CNN普及前，FNN是主要建模工具；		* '''早期语音识别与信号处理'''：在RNN/CNN普及前，FNN是主要建模工具；
	* '''自动驾驶传感器融合'''：FNN被用于多源感知数据的早期特征组合。		* '''自动驾驶传感器融合'''：FNN被用于多源感知数据的早期特征组合。
		+
		+	== 参考文献 ==

@@ 第140行： / 第140行： @@
 === 基本模型实现 ===
-这是一个两层的前馈神经网络结构，重点在于'''结构理解'''与'''前向传播的流程'''<syntaxhighlight lang="python3">
+这是一个两层的前馈神经网络结构，容易理解'''结构理解'''与'''前向传播的流程'''<syntaxhighlight lang="python3">
 import numpy as np
@@ 第167行： / 第167行： @@
 print("输出结果:", Z2)
-</syntaxhighlight>这个模型没有训练过程，仅说明了'''输入如何通过网络进行转换'''。
+</syntaxhighlight>通过 NumPy 实现一个拥有两层权重的前馈神经网络，结构为“2输入 → 3隐藏 → 1输出”。
-即为（2输入） → （3隐藏） → （1输出）
+它演示了数据从输入层经过权重变换和激活函数后，如何一步步传播至输出层。
 == 历史 ==

@@ 第136行： / 第136行： @@
 |多用于自然语言处理，结构更复杂
 |}
 == 历史 ==