更改

跳到导航 跳到搜索

人工神经网络 (查看源代码)

2018年8月24日 (五) 17:12的版本

添加969字节 、 2018年8月24日 (五) 17:12
→‎批评
第375行： 第375行：     
===训练问题（Training issues）===
 
===训练问题（Training issues）===
−
一个对神经网络通常的批评，特别是在机器人领域，是它们需要太多训练才能在真实世界中操作。潜在的解决方法包括随机混排训练例子，在根据一个例子改变网络连接时，通过使用不走过大步的数值优化算法和分组例子成微型批次。提高训练效率和收敛能力一直是神经网络前进的研究领域。例如通过在【CMAC】神经网络中引入递推最小二乘算法, 训练过程只需要一步收敛。<ref name="Qin1"/>
+
一个对神经网络通常的批评，特别是在机器人领域，是它们需要太多训练才能在真实世界中操作。潜在的解决方法包括随机混排训练例子，在根据一个例子改变网络连接时，通过使用不走过大步的数值优化算法和分组例子成微型批次。提高训练效率和收敛能力一直是神经网络前进的研究领域。例如通过在[https://en.wikipedia.org/wiki/Cerebellar_model_articulation_controller CMAC]神经网络中引入递推最小二乘算法, 训练过程只需要一步收敛。<ref name="Qin1"/>
    
===理论问题（Theoretical issues）===
 
===理论问题（Theoretical issues）===
−
没有神经网络解决了计算困难的问题例如【八皇后】问题，【旅行商问题】或【整数因子分解】对于大整数的问题。
+
没有神经网络解决了计算困难的问题例如[https://en.wikipedia.org/wiki/Eight_queens_puzzle n皇后]问题，[https://en.wikipedia.org/wiki/Travelling_salesman_problem 旅行商问题]或[https://en.wikipedia.org/wiki/Integer_factorization 整数因子分解]对于大整数的问题。
−
一个根本的缺点是它们不反映真实神经元如何运行。反向传播是多数人工神经网络的一个批评部分，尽管生物神经网络中没有这种机制存在。<ref>{{cite journal | last1 = Crick | first1 = Francis | year = 1989 | title = The recent excitement about neural networks | journal = Nature | volume = 337 | issue = 6203 | pages = 129–132 | doi = 10.1038/337129a0 | url = http://europepmc.org/abstract/med/2911347 | pmid=2911347| bibcode = 1989Natur.337..129C }}</ref>真实神经元是如何编码信息是未知的。带有感觉激活的【感觉神经元】发放【动作电位】更频繁，【肌细胞】相关联的【运动神经元】接收动作电位更频繁时，它们也牵拉更强烈。<ref>{{cite journal | last1 = Adrian | first1 = Edward D. | year = 1926 | title = The impulses produced by sensory nerve endings | journal = The Journal of Physiology | volume = 61 | issue = 1 | pages = 49–72 | doi = 10.1113/jphysiol.1926.sp002273 | pmid = 16993776 | pmc = 1514809 | url = http://onlinelibrary.wiley.com/doi/10.1113/jphysiol.1926.sp002273/full }}</ref>不同于从感觉神经元到运动神经元的信息传播，对于信息如何被生物神经网络处理的原则几乎毫无了解。
+
一个根本的缺点是它们不反映真实神经元如何运行。反向传播是多数人工神经网络的一个批评部分，尽管生物神经网络中没有这种机制存在。<ref>{{cite journal | last1 = Crick | first1 = Francis | year = 1989 | title = The recent excitement about neural networks | journal = Nature | volume = 337 | issue = 6203 | pages = 129–132 | doi = 10.1038/337129a0 | url = http://europepmc.org/abstract/med/2911347 | pmid=2911347| bibcode = 1989Natur.337..129C }}</ref>真实神经元是如何编码信息是未知的。带有感觉激活的[https://en.wikipedia.org/wiki/Sensory_neuron 感觉神经元]发放[https://en.wikipedia.org/wiki/Action_potential 动作电位]更频繁，[https://en.wikipedia.org/wiki/Muscle_cell 肌细胞]相关联的[https://en.wikipedia.org/wiki/Motor_neuron 运动神经元]接收动作电位更频繁时，它们也牵拉更强烈。<ref>{{cite journal | last1 = Adrian | first1 = Edward D. | year = 1926 | title = The impulses produced by sensory nerve endings | journal = The Journal of Physiology | volume = 61 | issue = 1 | pages = 49–72 | doi = 10.1113/jphysiol.1926.sp002273 | pmid = 16993776 | pmc = 1514809 | url = http://onlinelibrary.wiley.com/doi/10.1113/jphysiol.1926.sp002273/full }}</ref>不同于从感觉神经元到运动神经元的信息传播，对于信息如何被生物神经网络处理的原则几乎毫无了解。
−
ANN背后的动机不必要严格复制神经功能，但是使用生物神经网络是一种启发。ANN的一个主要要求是体现一些新的、强大的处理信息的通用原则。不幸的是，这些通用原则是被不好定义的。通常声称它们是从网络自身【突现】的。这允许简单统计关联（人工神经网络的基本函数被描述为学习或识别）。结果【Alexander Dewdney】评论道，人工神经网络有一种“不劳而获的利益特性，它给予特殊的懒惰气氛，区别缺少关于这些计算系统多么好的好奇。没有人类的手（或思维）干涉；解好像通过魔法一样得到；看起来没有人学到了任何东西”<ref>{{cite book|url={{google books |plainurl=y |id=KcHaAAAAMAAJ|page=82}}|title=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science|last=Dewdney|first=A. K.|date=1 April 1997|publisher=Wiley|year=|isbn=978-0-471-10806-1|location=|pages=82}}</ref>
+
ANN背后的动机不必要严格复制神经功能，但是使用生物神经网络是一种启发。ANN的一个主要要求是体现一些新的、强大的处理信息的通用原则。不幸的是，这些通用原则是被不好定义的。通常声称它们是从网络自身[https://en.wikipedia.org/wiki/Emergent_properties 突现]的。这允许简单统计关联（人工神经网络的基本函数被描述为学习或识别）。结果[https://en.wikipedia.org/wiki/Alexander_Dewdney Alexander Dewdney]评论道，人工神经网络有一种“不劳而获的利益特性，它给予特殊的懒惰气氛，区别缺少关于这些计算系统多么好的好奇。没有人类的手（或思维）干涉；解好像通过魔法一样得到；看起来没有人学到了任何东西”<ref>{{cite book|url={{google books |plainurl=y |id=KcHaAAAAMAAJ|page=82}}|title=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science|last=Dewdney|first=A. K.|date=1 April 1997|publisher=Wiley|year=|isbn=978-0-471-10806-1|location=|pages=82}}</ref>
      第386行： 第386行：     
===硬件问题（Hardware issues）===
 
===硬件问题（Hardware issues）===
−
大而有效的神经网络需要相当大的计算资源。<ref name=":0">{{cite journal|last1=Edwards|first1=Chris|title=Growing pains for deep learning|journal=Communications of the ACM|date=25 June 2015|volume=58|issue=7|pages=14–16|doi=10.1145/2771283}}</ref>大脑有为信号处理任务定制的硬件，通过神经元的【图】，在【冯诺依曼结构】中模拟简化的神经元可能迫使神经网络设计者填充数百万的【数据库】行为了它的连接——它可以消耗大量【内存】和存储。另外，设计者通常需要在许多这种连接和它们相关的神经元间传输信号——这必须总是与巨大的【CPU】处理能力和时间相匹配。
+
大而有效的神经网络需要相当大的计算资源。<ref name=":0">{{cite journal|last1=Edwards|first1=Chris|title=Growing pains for deep learning|journal=Communications of the ACM|date=25 June 2015|volume=58|issue=7|pages=14–16|doi=10.1145/2771283}}</ref>大脑有为信号处理任务定制的硬件，通过神经元的[https://en.wikipedia.org/wiki/Graph_(discrete_mathematics) 图]，在[https://en.wikipedia.org/wiki/Von_Neumann_architecture 冯诺依曼结构]中模拟简化的神经元可能迫使神经网络设计者填充数百万的[https://en.wikipedia.org/wiki/Database 数据库]行为了它的连接——它可以消耗大量[https://en.wikipedia.org/wiki/Random-access_memory 内存]和存储。另外，设计者通常需要在许多这种连接和它们相关的神经元间传输信号——这必须总是与巨大的[https://en.wikipedia.org/wiki/Central_processing_unit CPU]处理能力和时间相匹配。
   −
【Schmidhuber】表示二十一世纪神经网络的再起主要由于硬件的进步：从1991到2015，计算能力，特别是由【GPGPU】（在GPU上）递送，增长了大约一百万倍，使得标准反向传播算法对于训练比从前深几层的网络可行。<ref>{{cite journal |last=Schmidhuber |first=Jürgen |title=Deep learning in neural networks: An overview |journal=Neural Networks |volume=61 |year=2015 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003|pmid=25462637 }}</ref>并行GPU的使用可以将训练时间从几个月到几天。  
+
[https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber Schmidhuber]表示二十一世纪神经网络的再起主要由于硬件的进步：从1991到2015，计算能力，特别是由[https://en.wikipedia.org/wiki/General-purpose_computing_on_graphics_processing_units GPGPU]（在GPU上）递送，增长了大约一百万倍，使得标准反向传播算法对于训练比从前深几层的网络可行。<ref>{{cite journal |last=Schmidhuber |first=Jürgen |title=Deep learning in neural networks: An overview |journal=Neural Networks |volume=61 |year=2015 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003|pmid=25462637 }}</ref>并行GPU的使用可以将训练时间从几个月到几天。  
   −
【神经形态工程】通过构造非冯诺依曼芯片直接用电路实现神经网络，来直接强调硬件的困难。另一个处理神经网络的优化芯片称为【张量处理单元】或TPU。<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=May 18, 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots}}</ref>
+
[https://en.wikipedia.org/wiki/Neuromorphic_engineering 神经形态工程]通过构造非冯诺依曼芯片直接用电路实现神经网络，来直接强调硬件的困难。另一个处理神经网络的优化芯片称为[https://en.wikipedia.org/wiki/Tensor_Processing_Unit 张量处理单元]或TPU。<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=May 18, 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots}}</ref>
    
===对批评的实际反例===
 
===对批评的实际反例===
−
反驳 Dewdney观点的争论是神经网络成功地用于解决许多复杂且多变的任务，范围从自动飞行飞机<ref>[http://www.nasa.gov/centers/dryden/news/NewsReleases/2003/03-49.html NASA – Dryden Flight Research Center – News Room: News Releases: NASA NEURAL NETWORK PROJECT PASSES MILESTONE]. Nasa.gov. Retrieved on 2013-11-20.</ref>到检测信用卡诈骗到掌握【Go】游戏。
+
反驳 Dewdney观点的争论是神经网络成功地用于解决许多复杂且多变的任务，范围从自动飞行飞机<ref>[http://www.nasa.gov/centers/dryden/news/NewsReleases/2003/03-49.html NASA – Dryden Flight Research Center – News Room: News Releases: NASA NEURAL NETWORK PROJECT PASSES MILESTONE]. Nasa.gov. Retrieved on 2013-11-20.</ref>到检测信用卡诈骗到掌握[https://en.wikipedia.org/wiki/Go_(game) Go]游戏。
 
科技作者Roger Bridgman评论道：
 
科技作者Roger Bridgman评论道：
  
取自“https://wiki.swarma.org/index.php/特殊:移动版差异/4677”

导航菜单