集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

人工神经网络 (查看源代码)

2018年8月27日 (一) 14:23的版本

删除231字节 、 2018年8月27日 (一) 14:23
→‎批评
第378行： 第378行：  
===理论问题（Theoretical issues）===
 
===理论问题（Theoretical issues）===
 
没有神经网络解决了计算困难的问题例如[https://en.wikipedia.org/wiki/Eight_queens_puzzle n皇后]问题，[https://en.wikipedia.org/wiki/Travelling_salesman_problem 旅行商问题]或[https://en.wikipedia.org/wiki/Integer_factorization 整数因子分解]对于大整数的问题。
 
没有神经网络解决了计算困难的问题例如[https://en.wikipedia.org/wiki/Eight_queens_puzzle n皇后]问题，[https://en.wikipedia.org/wiki/Travelling_salesman_problem 旅行商问题]或[https://en.wikipedia.org/wiki/Integer_factorization 整数因子分解]对于大整数的问题。
−
一个根本的缺点是它们不反映真实神经元如何运行。反向传播是多数人工神经网络的一个批评部分，尽管生物神经网络中没有这种机制存在。<ref>{{cite journal | last1 = Crick | first1 = Francis | year = 1989 | title = The recent excitement about neural networks | journal = Nature | volume = 337 | issue = 6203 | pages = 129–132 | doi = 10.1038/337129a0 | url = http://europepmc.org/abstract/med/2911347 | pmid=2911347| bibcode = 1989Natur.337..129C }}</ref>真实神经元是如何编码信息是未知的。带有感觉激活的[https://en.wikipedia.org/wiki/Sensory_neuron 感觉神经元]发放[https://en.wikipedia.org/wiki/Action_potential 动作电位]更频繁，[https://en.wikipedia.org/wiki/Muscle_cell 肌细胞]相关联的[https://en.wikipedia.org/wiki/Motor_neuron 运动神经元]接收动作电位更频繁时，它们也牵拉更强烈。<ref>{{cite journal | last1 = Adrian | first1 = Edward D. | year = 1926 | title = The impulses produced by sensory nerve endings | journal = The Journal of Physiology | volume = 61 | issue = 1 | pages = 49–72 | doi = 10.1113/jphysiol.1926.sp002273 | pmid = 16993776 | pmc = 1514809 | url = http://onlinelibrary.wiley.com/doi/10.1113/jphysiol.1926.sp002273/full }}</ref>不同于从感觉神经元到运动神经元的信息传播，对于信息如何被生物神经网络处理的原则几乎毫无了解。
+
一个根本的缺点是它们不反映真实神经元如何运行。反向传播是多数人工神经网络的一个批评部分，尽管生物神经网络中没有这种机制存在。<ref>{{cite journal | last1 = Crick | first1 = Francis | year = 1989 | title = The recent excitement about neural networks | journal = Nature | volume = 337 | issue = 6203 | pages = 129–132| url = http://europepmc.org/abstract/med/2911347}}</ref>真实神经元是如何编码信息是未知的。带有感觉激活的[https://en.wikipedia.org/wiki/Sensory_neuron 感觉神经元]发放[https://en.wikipedia.org/wiki/Action_potential 动作电位]更频繁，[https://en.wikipedia.org/wiki/Muscle_cell 肌细胞]相关联的[https://en.wikipedia.org/wiki/Motor_neuron 运动神经元]接收动作电位更频繁时，它们也牵拉更强烈。<ref>{{cite journal | last1 = Adrian | first1 = Edward D. | year = 1926 | title = The impulses produced by sensory nerve endings | journal = The Journal of Physiology | volume = 61 | issue = 1 | pages = 49–72 | url = http://onlinelibrary.wiley.com/doi/10.1113/jphysiol.1926.sp002273/full }}</ref>不同于从感觉神经元到运动神经元的信息传播，对于信息如何被生物神经网络处理的原则几乎毫无了解。
−
ANN背后的动机不必要严格复制神经功能，但是使用生物神经网络是一种启发。ANN的一个主要要求是体现一些新的、强大的处理信息的通用原则。不幸的是，这些通用原则是被不好定义的。通常声称它们是从网络自身[https://en.wikipedia.org/wiki/Emergent_properties 突现]的。这允许简单统计关联（人工神经网络的基本函数被描述为学习或识别）。结果[https://en.wikipedia.org/wiki/Alexander_Dewdney Alexander Dewdney]评论道，人工神经网络有一种“不劳而获的利益特性，它给予特殊的懒惰气氛，区别缺少关于这些计算系统多么好的好奇。没有人类的手（或思维）干涉；解好像通过魔法一样得到；看起来没有人学到了任何东西”<ref>{{cite book|url={{google books |plainurl=y |id=KcHaAAAAMAAJ|page=82}}|title=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science|last=Dewdney|first=A. K.|date=1 April 1997|publisher=Wiley|year=|isbn=978-0-471-10806-1|location=|pages=82}}</ref>
+
ANN背后的动机不必要严格复制神经功能，但是使用生物神经网络是一种启发。ANN的一个主要要求是体现一些新的、强大的处理信息的通用原则。不幸的是，这些通用原则是被不好定义的。通常声称它们是从网络自身[https://en.wikipedia.org/wiki/Emergent_properties 突现]的。这允许简单统计关联（人工神经网络的基本函数被描述为学习或识别）。结果[https://en.wikipedia.org/wiki/Alexander_Dewdney Alexander Dewdney]评论道，人工神经网络有一种“不劳而获的利益特性，它给予特殊的懒惰气氛，区别缺少关于这些计算系统多么好的好奇。没有人类的手（或思维）干涉；解好像通过魔法一样得到；看起来没有人学到了任何东西”<ref>{{cite book|url=https://books.google.com/books?id=KcHaAAAAMAAJ&pg=PA82|title=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science|last=Dewdney|first=A. K.|date=1 April 1997|publisher=Wiley|year=|location=|pages=82}}</ref>
      −
正如大脑解剖记录的那样，<ref name="VanEssen1991">D. J. Felleman and D. C. Van Essen, "[http://cercor.oxfordjournals.org/content/1/1/1.1.full.pdf+html Distributed hierarchical processing in the primate cerebral cortex]," ''Cerebral Cortex'', 1, pp. 1–47, 1991.</ref>生物的大脑使用浅的和深的环路，显示出广泛的不变性。Weng<ref name="Weng2012">J. Weng, "[https://www.amazon.com/Natural-Artificial-Intelligence-Introduction-Computational/dp/0985875720 Natural and Artificial Intelligence: Introduction to Computational Brain-Mind]," BMI Press, {{ISBN|978-0985875725}}, 2012.</ref>反驳说大脑自己的线路主要根据信号统计，因此连续串联不能捕获所有主要统计依赖。
+
正如大脑解剖记录的那样，<ref name="VanEssen1991">D. J. Felleman and D. C. Van Essen, "[http://cercor.oxfordjournals.org/content/1/1/1.1.full.pdf+html Distributed hierarchical processing in the primate cerebral cortex]," ''Cerebral Cortex'', 1, pp. 1–47, 1991.</ref>生物的大脑使用浅的和深的环路，显示出广泛的不变性。Weng<ref name="Weng2012">J. Weng, "[https://www.amazon.com/Natural-Artificial-Intelligence-Introduction-Computational/dp/0985875720 Natural and Artificial Intelligence: Introduction to Computational Brain-Mind]," BMI Press, 2012.</ref>反驳说大脑自己的线路主要根据信号统计，因此连续串联不能捕获所有主要统计依赖。
    
===硬件问题（Hardware issues）===
 
===硬件问题（Hardware issues）===
−
大而有效的神经网络需要相当大的计算资源。<ref name=":0">{{cite journal|last1=Edwards|first1=Chris|title=Growing pains for deep learning|journal=Communications of the ACM|date=25 June 2015|volume=58|issue=7|pages=14–16|doi=10.1145/2771283}}</ref>大脑有为信号处理任务定制的硬件，通过神经元的[https://en.wikipedia.org/wiki/Graph_(discrete_mathematics) 图]，在[https://en.wikipedia.org/wiki/Von_Neumann_architecture 冯诺依曼结构]中模拟简化的神经元可能迫使神经网络设计者填充数百万的[https://en.wikipedia.org/wiki/Database 数据库]行为了它的连接——它可以消耗大量[https://en.wikipedia.org/wiki/Random-access_memory 内存]和存储。另外，设计者通常需要在许多这种连接和它们相关的神经元间传输信号——这必须总是与巨大的[https://en.wikipedia.org/wiki/Central_processing_unit CPU]处理能力和时间相匹配。
+
大而有效的神经网络需要相当大的计算资源。<ref name=":0">{{cite journal|last1=Edwards|first1=Chris|title=Growing pains for deep learning|journal=Communications of the ACM|date=25 June 2015|volume=58|issue=7|pages=14–16}}</ref>大脑有为信号处理任务定制的硬件，通过神经元的[https://en.wikipedia.org/wiki/Graph_(discrete_mathematics) 图]，在[https://en.wikipedia.org/wiki/Von_Neumann_architecture 冯诺依曼结构]中模拟简化的神经元可能迫使神经网络设计者填充数百万的[https://en.wikipedia.org/wiki/Database 数据库]行为了它的连接——它可以消耗大量[https://en.wikipedia.org/wiki/Random-access_memory 内存]和存储。另外，设计者通常需要在许多这种连接和它们相关的神经元间传输信号——这必须总是与巨大的[https://en.wikipedia.org/wiki/Central_processing_unit CPU]处理能力和时间相匹配。
   −
[https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber Schmidhuber]表示二十一世纪神经网络的再起主要由于硬件的进步：从1991到2015，计算能力，特别是由[https://en.wikipedia.org/wiki/General-purpose_computing_on_graphics_processing_units GPGPU]（在GPU上）递送，增长了大约一百万倍，使得标准反向传播算法对于训练比从前深几层的网络可行。<ref>{{cite journal |last=Schmidhuber |first=Jürgen |title=Deep learning in neural networks: An overview |journal=Neural Networks |volume=61 |year=2015 |pages=85–117 |arxiv=1404.7828 |doi=10.1016/j.neunet.2014.09.003|pmid=25462637 }}</ref>并行GPU的使用可以将训练时间从几个月到几天。
+
[https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber Schmidhuber]表示二十一世纪神经网络的再起主要由于硬件的进步：从1991到2015，计算能力，特别是由[https://en.wikipedia.org/wiki/General-purpose_computing_on_graphics_processing_units GPGPU]（在GPU上）递送，增长了大约一百万倍，使得标准反向传播算法对于训练比从前深几层的网络可行。<ref>{{cite journal |last=Schmidhuber |first=Jürgen |title=Deep learning in neural networks: An overview |journal=Neural Networks |volume=61 |year=2015 |pages=85–117 |url=https://arxiv.org/abs/1404.7828}}</ref>并行GPU的使用可以将训练时间从几个月缩短到几天。
   −
[https://en.wikipedia.org/wiki/Neuromorphic_engineering 神经形态工程]通过构造非冯诺依曼芯片直接用电路实现神经网络，来直接强调硬件的困难。另一个处理神经网络的优化芯片称为[https://en.wikipedia.org/wiki/Tensor_Processing_Unit 张量处理单元]或TPU。<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=May 18, 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots}}</ref>
+
[https://en.wikipedia.org/wiki/Neuromorphic_engineering 神经形态工程]通过构造非冯诺依曼芯片直接用电路实现神经网络，来直接强调硬件的困难。另一个处理神经网络的优化芯片称为[https://en.wikipedia.org/wiki/Tensor_Processing_Unit 张量处理单元]或TPU。<ref>{{cite journal |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |journal=Wired |date=May 18, 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots}}</ref>
    
===对批评的实际反例===
 
===对批评的实际反例===
第398行： 第398行：  
尽管他着重声明科学不是技术， Dewdney看起来【pillory？】神经网络作为坏的科学，当多数发明它们的人只是尽力成为好的工程师。一个有用的机器可以阅读的难以理解的表格可能仍然值得拥有。<ref>[http://members.fortunecity.com/templarseries/popper.html Roger Bridgman's defence of neural networks]</ref>
 
尽管他着重声明科学不是技术， Dewdney看起来【pillory？】神经网络作为坏的科学，当多数发明它们的人只是尽力成为好的工程师。一个有用的机器可以阅读的难以理解的表格可能仍然值得拥有。<ref>[http://members.fortunecity.com/templarseries/popper.html Roger Bridgman's defence of neural networks]</ref>
 
</blockquote>
 
</blockquote>
−
尽管分析一个人工神经网络学到了什么很困难，这样做比分析一个生物的神经网络容易的多。此外，参与探索神经网络学习算法的研究者正渐渐找出使学习机器成功的通用准则。例如局部还是非局部学习，浅还是深度结构。<ref>{{cite web|url=http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/4|title=Scaling Learning Algorithms towards {AI} – LISA – Publications – Aigaion 2.0|publisher=}}</ref>
+
尽管分析一个人工神经网络学到了什么很困难，这样做比分析一个生物的神经网络容易的多。此外，参与探索神经网络学习算法的研究者正渐渐找出使学习机器成功的通用准则。例如局部还是非局部学习，浅还是深度结构。<ref>{{cite journal|url=http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/4|title=Scaling Learning Algorithms towards {AI} – LISA – Publications – Aigaion 2.0|publisher=}}</ref>
    
===混合方法（Hybrid approaches）===
 
===混合方法（Hybrid approaches）===
取自“https://wiki.swarma.org/index.php/特殊:移动版差异/4711”