生长型神经网络
目的
- 创建一个神经网络算法，它的结构是生长出来的
- 在相同的损失函数上，相比于传统方法有着不低于传统方法的准确率
- 相比传统方法结构更简单，模型的体积更小
现状
- learning rate的自动调节策略已经发展的很成熟
- learning 2 learn 的方案可以自动学习参数，但主要是调整参数的思路
- 利用遗传算法可以选择多种神经网络结构，但是也摆脱不了调参数的思路
- 可以对输入数据进行预分析，直接得到最优*网络结构（曹旭东2015 DataScienceBow）
基本思路
- 不要引入大量额外计算，所以要最大化利用现在nn已经算出来的东西
- 通过神经元不同状态分布，计算信息熵，信息熵越高，说明这个神经元包含的信息量比较多，是个好神经元，考虑分身
- 对比神经元对上一层输入权重，可以得到相似的神经元，相似神经元可以考虑合并
- 对比神经元对下一层的连接权重，可以得到比较重要的神经元，权重越大越重要，反之则不重要，可以考虑去掉
- 每层神经元数量有个上限，当所有神经元都已经得到最大化利用之后，考虑增加层数