421
个编辑
更改
跳到导航
跳到搜索
第62行：
第62行： − 从式(1)可知，偏置被引申为权量，而对应的输入值为<math>1</math>。故，一感知机的输出行为是求得输入向量与权向量的[[内积]]后，经一个激活函数所得一个标量结果。+ + + + + 第74行：
第78行： − − == 定义 == − − 在现代，感知机是一种二分类学习算法：用一个函数将输入 <math>x</math>（一个实值向量）映射到输出值<math>f(x)</math>（一个二元值）： − − :<math> − f(x) = \begin{cases}1 & \text{if }\ \mathbf{w} \cdot \mathbf{x} + b > 0\\0 & \text{otherwise}\end{cases} − </math> − − 这里的 <math>w</math> 是一个实值构成的权重向量，<math>\mathbf{w} \cdot \mathbf{x}</math>是一个[https://en.wikipedia.org/wiki/Dot_product 点积]操作即 <math>\sum_{i=1}^m w_i x_i</math>， <math>m</math> 是感知机输入值的个数，其中 <math>b</math> 是偏置项。偏置项决定了决策边界相对原点的偏移量，且不依赖于任何输入值。 − − 在二分类问题中，<math>f(x)</math> 的值（0或1）用来将 <math>x</math> 分为正例或者负例。如果 <math>b</math> 是负的，那么输入和权重的结合生成的正值必须比 <math>|b|</math>大，从而使得分类的神经元大于0阈值。从空间上来说，偏置项改变了[[决策边界]]的位置（而不是方向）。如果训练集不是[[线性可分]]的，那么感知机学习算法就不会停止。如果向量不是[[线性可分]]的，那么学习将永远不会收敛到所有向量都分类正确的结果。感知机算法的局限性的最著名的例子就是线性不可分的情况，比如XOR问题。对于所有二分类函数的[[决策边界]]解的空间和学习表现的研究都在这个参考中<ref name = "T9">Liou, D.-R.; Liou, J.-W.; Liou, C.-Y. (2013). Learning Behaviors of Perceptron. iConcept Press. [https://en.wikipedia.org/wiki/International_Standard_Book_Number ISBN]</ref>。 − − 在神经网络的场景中，感知机是一个以[[单位阶跃函数]]为激活函数的[[人工神经元]]。感知机算法也被称为'''单层感知机'''。这个术语用于区分[[多层感知机]]即一个更加复杂的神经网络。作为一个线性分类器，单层感知机是一类最简单的[[前馈神经网络]]。
无编辑摘要
\qquad\qquad(2)</math>
\qquad\qquad(2)</math>
这里的 <math>w</math> 是一个实值构成的权重向量，<math>\mathbf{w} \cdot \mathbf{x}</math>是一个[[点积]]操作即 <math>\sum_{i=1}^m w_i x_i</math>， <math>m</math> 是感知机输入值的个数，其中 <math>b</math> 是偏置项。偏置项决定了决策边界相对原点的偏移量，且不依赖于任何输入值。从式(1)可知，偏置被引申为权量，而对应的输入值为<math>1</math>。故，一感知机的输出行为是求得输入向量与权向量的[[内积]]后，经一个激活函数所得一个标量结果。
设输入向量与权向量的内积为零，可得出<math>(n+1)</math>维的超平面。平面的[[法向量]]为<math>\mathbf{w}</math>，并经过<math>(n+1)</math>维输入空间的原点。法向量指向的输入空间，其输出值为<math>+1</math>，而与法向量反向的输入空间，其输出值则为<math>-1</math>。故可知这个超平面定义了[[决策边界]]，并把输入空间划分为二。
设输入向量与权向量的内积为零，可得出<math>(n+1)</math>维的超平面。平面的[[法向量]]为<math>\mathbf{w}</math>，并经过<math>(n+1)</math>维输入空间的原点。法向量指向的输入空间，其输出值为<math>+1</math>，而与法向量反向的输入空间，其输出值则为<math>-1</math>。故可知这个超平面定义了[[决策边界]]，并把输入空间划分为二。
在二分类问题中，<math>f(x)</math> 的值（0或1）用来将 <math>x</math> 分为正例或者负例。如果 <math>b</math> 是负的，那么输入和权重的结合生成的正值必须比 <math>|b|</math>大，从而使得分类的神经元大于0阈值。从空间上来说，偏置项改变了[[决策边界]]的位置（而不是方向）。如果训练集不是[[线性可分]]的，那么感知机学习算法就不会停止。如果向量不是[[线性可分]]的，那么学习将永远不会收敛到所有向量都分类正确的结果。感知机算法的局限性的最著名的例子就是线性不可分的情况，比如XOR问题。对于所有二分类函数的[[决策边界]]解的空间和学习表现的研究都在这个参考中<ref name = "T9">Liou, D.-R.; Liou, J.-W.; Liou, C.-Y. (2013). Learning Behaviors of Perceptron. iConcept Press. [https://en.wikipedia.org/wiki/International_Standard_Book_Number ISBN]</ref>。
在神经网络的场景中，感知机是一个以[[单位阶跃函数]]为激活函数的[[人工神经元]]。感知机算法也被称为'''单层感知机'''。这个术语用于区分[[多层感知机]]即一个更加复杂的神经网络。作为一个线性分类器，单层感知机是一类最简单的[[前馈神经网络]]。
==准则函数==
==准则函数==
其中<math>M</math>是被当前<math>\mathbf{w}</math>错误分类的的输入向量集合。当<math>\mathbf{w}^T\mathbf{p}_i \geq 0</math>时，<math>{t}_i</math>为<math>-1</math>，而当<math>\mathbf{w}^T\mathbf{p}_i < 0</math>时，<math>{t}_i</math>为<math>+1</math>。故，误差函数<math>E(\mathbf{w})</math>是一组正数的和，又或当训练集里所有输入都被正确分类时，等于零。
其中<math>M</math>是被当前<math>\mathbf{w}</math>错误分类的的输入向量集合。当<math>\mathbf{w}^T\mathbf{p}_i \geq 0</math>时，<math>{t}_i</math>为<math>-1</math>，而当<math>\mathbf{w}^T\mathbf{p}_i < 0</math>时，<math>{t}_i</math>为<math>+1</math>。故，误差函数<math>E(\mathbf{w})</math>是一组正数的和，又或当训练集里所有输入都被正确分类时，等于零。
==学习算法==
==学习算法==