更改
跳到导航
跳到搜索
第336行：
第336行： − 目的是建立对未见例子泛化较好系统的应用，面临过度训练的可能。这当网络能力显著超过所需的自由参数时，在复杂的或过特殊的系统出现。有两种处理过度训练的方法。第一种是使用【交叉验证】和相似的技术检查过度训练的存在并最佳选择超参数最小化泛化误差。第二种是使用某种形式的【正则化】。这个概念在概率的（贝叶斯）框架中产生，其中正则化可以通过选择更大的对更简单模型的先验概率实现；但是在统计学习理论中，目标是最小化两个数量：‘经验风险’和‘结构风险’，它们大概对应于训练集上的误差和在未见数据中由于过拟合的预测误差。+ − 【File:Synapse deployment.jpg|thumb|right|一个神经网络的置信度分析】+ − 使用【均方误差】（MSE）损失函数的监督神经网络可以使用正式的统计方法来确定训练好的模型的置信度。在验证集上的MSE可以被用作方差的估计。这个值接着可以被用于计算网络输出的【置信区间】，假定【正态分布】的情况下。这样的置信度分析只要输出【概率分布】保持相同，网络没有被改变，就是统计学有效的。+ − 通过将一个【柔性最大值传输激活函数】，一个【逻辑函数】的泛化，分配给用于绝对目标值的神经网络的输出层（或在基于组件神经网络的柔性最大值传输函数组件）,输出可以被理解为后验概率。这在分类中十分有用，因为它在分类中给出了确定的测量。+
→泛化和统计（Generalization and statistics）
===泛化和统计（Generalization and statistics）===
===泛化和统计（Generalization and statistics）===
目的是建立对未见例子泛化较好系统的应用，面临过度训练的可能。这当网络能力显著超过所需的自由参数时，在复杂的或过特殊的系统出现。有两种处理过度训练的方法。第一种是使用[https://en.wikipedia.org/wiki/Cross-validation_(statistics) 交叉验证]和相似的技术检查过度训练的存在并最佳选择超参数最小化泛化误差。第二种是使用某种形式的[https://en.wikipedia.org/wiki/Regularization_(mathematics) 正则化]。这个概念在概率的（贝叶斯）框架中产生，其中正则化可以通过选择更大的对更简单模型的先验概率实现；但是在统计学习理论中，目标是最小化两个数量：‘经验风险’和‘结构风险’，它们大概对应于训练集上的误差和在未见数据中由于过拟合的预测误差。
[[File:Synapse_deployment.jpg|thumb|right|一个神经网络的置信度分析]]
使用[https://en.wikipedia.org/wiki/Mean_squared_error 均方误差]（MSE）损失函数的监督神经网络可以使用正式的统计方法来确定训练好的模型的置信度。在验证集上的MSE可以被用作方差的估计。这个值接着可以被用于计算网络输出的[https://en.wikipedia.org/wiki/Confidence_interval 置信区间]，假定[https://en.wikipedia.org/wiki/Normal_distribution 正态分布]的情况下。这样的置信度分析只要输出[https://en.wikipedia.org/wiki/Probability_distribution 概率分布]保持相同，网络没有被改变，就是统计学有效的。
通过将一个[https://en.wikipedia.org/wiki/Softmax_activation_function 柔性最大值传输激活函数]，一个[https://en.wikipedia.org/wiki/Logistic_function 逻辑函数]的泛化，分配给用于绝对目标值的神经网络的输出层（或在基于组件神经网络的柔性最大值传输函数组件）,输出可以被理解为后验概率。这在分类中十分有用，因为它在分类中给出了确定的测量。
柔性最大值传输函数的激活函数是：
柔性最大值传输函数的激活函数是：