113
个编辑
更改
跳到导航
跳到搜索
创建页面，内容为“=目的= * 创建一个神经网络算法，它的结构是生长出来的 * 在相同的损失函数上，相比于传统方法有着不低于传统方法的准确…”
=目的=
* 创建一个神经网络算法，它的结构是生长出来的
* 在相同的损失函数上，相比于传统方法有着不低于传统方法的准确率
* 相比传统方法结构更简单，模型的体积更小
=现状=
* learning rate的自动调节策略已经发展的很成熟
* learning 2 learn 的方案可以自动学习参数，但主要是调整参数的思路
* 利用遗传算法可以选择多种神经网络结构，但是也摆脱不了调参数的思路
* 可以对输入数据进行预分析，直接得到最优*网络结构（曹旭东2015 DataScienceBow）
=基本思路=
* 不要引入大量额外计算，所以要最大化利用现在nn已经算出来的东西
* 通过神经元不同状态分布，计算信息熵，信息熵越高，说明这个神经元包含的信息量比较多，是个好神经元，考虑分身
* 对比神经元对上一层输入权重，可以得到相似的神经元，相似神经元可以考虑合并
* 对比神经元对下一层的连接权重，可以得到比较重要的神经元，权重越大越重要，反之则不重要，可以考虑去掉
* 每层神经元数量有个上限，当所有神经元都已经得到最大化利用之后，考虑增加层数
* 创建一个神经网络算法，它的结构是生长出来的
* 在相同的损失函数上，相比于传统方法有着不低于传统方法的准确率
* 相比传统方法结构更简单，模型的体积更小
=现状=
* learning rate的自动调节策略已经发展的很成熟
* learning 2 learn 的方案可以自动学习参数，但主要是调整参数的思路
* 利用遗传算法可以选择多种神经网络结构，但是也摆脱不了调参数的思路
* 可以对输入数据进行预分析，直接得到最优*网络结构（曹旭东2015 DataScienceBow）
=基本思路=
* 不要引入大量额外计算，所以要最大化利用现在nn已经算出来的东西
* 通过神经元不同状态分布，计算信息熵，信息熵越高，说明这个神经元包含的信息量比较多，是个好神经元，考虑分身
* 对比神经元对上一层输入权重，可以得到相似的神经元，相似神经元可以考虑合并
* 对比神经元对下一层的连接权重，可以得到比较重要的神经元，权重越大越重要，反之则不重要，可以考虑去掉
* 每层神经元数量有个上限，当所有神经元都已经得到最大化利用之后，考虑增加层数