更改

===作为函数的神经网络（Neural networks as functions）===

===作为函数的神经网络（Neural networks as functions）===

神经网络模型可以被看成简单的数学模型，定义为一个函数<math>\textstyle f : X \rightarrow Y </math> 或者是一个 <math>\textstyle X</math> 上或 <math>\textstyle X</math> 和<math>\textstyle Y</math>上的分布。有时模型与一个特定学习规则紧密联系。短语“ANN模型”的通常使用确实是这种函数的“类”的定义（类的成员被不同参数，连接权重或结构的细节如神经元数量或他们的连接获得）

神经网络模型可以被看成简单的数学模型，定义为一个函数<math>\textstyle f : X \rightarrow Y </math> 或者是一个 <math>\textstyle X</math> 上或 <math>\textstyle X</math> 和<math>\textstyle Y</math>上的分布。有时模型与一个特定学习规则紧密联系。短语“ANN模型”的通常使用确实是这种函数的“类”的定义（类的成员被不同参数，连接权重或结构的细节如神经元数量或他们的连接获得）

数学上，一个神经元的网络函数 <math>\textstyle f(x)</math> 被定义为其他函数 <math>{g_i}(x)</math>的组合，它可以之后被分解为其他函数。这可以被方便地用一个网络结构表示，它有箭头描述函数间的依赖关系。一类广泛应用的组合是“非线性加权和”， <math>\textstyle f(x) = K \left(\sum_i w_i g_i(x)\right) </math>, 其中 <math>\textstyle K</math> (通常称为[https://en.wikipedia.org/wiki/Activation_function 激活函数]) 是某种预定义的函数，如[https://en.wikipedia.org/wiki/Hyperbolic_function#Standard_analytic_expressions 双曲正切]或[https://en.wikipedia.org/wiki/Sigmoid_function 双弯曲函数] 或[https://en.wikipedia.org/wiki/Softmax_function 柔性最大值传输函数]或[https://en.wikipedia.org/wiki/ReLU 线性整流函数]。激活函数最重要的特点是它随输入值变化提供一个平滑的过渡，例如，在输入中一个小的变化产生输出中一个小的变化 。下面指的是一组函数  <math>\textstyle g_i</math>作为[https://en.wikipedia.org/wiki/Vector_(mathematics_and_physics) 向量] <math>\textstyle g = (g_1, g_2, \ldots, g_n)</math>.

数学上，一个神经元的网络函数 <math>\textstyle f(x)</math> 被定义为其他函数<math>{{g_i}(x)}</math>的组合，它可以之后被分解为其他函数。这可以被方便地用一个网络结构表示，它有箭头描述函数间的依赖关系。一类广泛应用的组合是“非线性加权和”， <math>\textstyle f(x) = K \left(\sum_i w_i g_i(x)\right) </math>, 其中 <math>\textstyle K</math> (通常称为[https://en.wikipedia.org/wiki/Activation_function 激活函数]) 是某种预定义的函数，如[https://en.wikipedia.org/wiki/Hyperbolic_function#Standard_analytic_expressions 双曲正切]或[https://en.wikipedia.org/wiki/Sigmoid_function 双弯曲函数] 或[https://en.wikipedia.org/wiki/Softmax_function 柔性最大值传输函数]或[https://en.wikipedia.org/wiki/ReLU 线性整流函数]。激活函数最重要的特点是它随输入值变化提供一个平滑的过渡，例如，在输入中一个小的变化产生输出中一个小的变化 。下面指的是一组函数  <math>\textstyle g_i</math>作为[https://en.wikipedia.org/wiki/Vector_(mathematics_and_physics) 向量] <math>\textstyle g = (g_1, g_2, \ldots, g_n)</math>.

[[File:Ann_dependency_(graph).svg.png|150px|ANN依赖图]]

[[File:Ann_dependency_(graph).svg.png|150px|ANN依赖图]]