生长型神经网络

目的

• 创建一个神经网络算法，它的结构是生长出来的
• 在相同的损失函数上，相比于传统方法有着不低于传统方法的准确率
• 相比传统方法结构更简单，模型的体积更小

现状

• learning rate的自动调节策略已经发展的很成熟
• learning 2 learn 的方案可以自动学习参数，但主要是调整参数的思路
• 利用遗传算法可以选择多种神经网络结构，但是也摆脱不了调参数的思路
• 可以对输入数据进行预分析，直接得到最优*网络结构（曹旭东2015 DataScienceBow）

基本思路

• 不要引入大量额外计算，所以要最大化利用现在nn已经算出来的东西
• 通过神经元不同状态分布，计算信息熵，信息熵越高，说明这个神经元包含的信息量比较多，是个好神经元，考虑分身
• 对比神经元对上一层输入权重，可以得到相似的神经元，相似神经元可以考虑合并
• 对比神经元对下一层的连接权重，可以得到比较重要的神经元，权重越大越重要，反之则不重要，可以考虑去掉
• 每层神经元数量有个上限，当所有神经元都已经得到最大化利用之后，考虑增加层数