生长型神经网络

来自集智百科
跳到导航 跳到搜索

目的

  • 创建一个神经网络算法,它的结构是生长出来的
  • 在相同的损失函数上,相比于传统方法有着不低于传统方法的准确率
  • 相比传统方法结构更简单,模型的体积更小

现状

  • learning rate的自动调节策略已经发展的很成熟
  • learning 2 learn 的方案可以自动学习参数,但主要是调整参数的思路
  • 利用遗传算法可以选择多种神经网络结构,但是也摆脱不了调参数的思路
  • 可以对输入数据进行预分析,直接得到最优*网络结构(曹旭东2015 DataScienceBow)

基本思路

  • 不要引入大量额外计算,所以要最大化利用现在nn已经算出来的东西
  • 通过神经元不同状态分布,计算信息熵,信息熵越高,说明这个神经元包含的信息量比较多,是个好神经元,考虑分身
  • 对比神经元对上一层输入权重,可以得到相似的神经元,相似神经元可以考虑合并
  • 对比神经元对下一层的连接权重,可以得到比较重要的神经元,权重越大越重要,反之则不重要,可以考虑去掉
  • 每层神经元数量有个上限,当所有神经元都已经得到最大化利用之后,考虑增加层数