集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

深度学习

深度学习（也被称为深度结构学习或者分层学习）是基于数据表示学习的机器学习子集，而不是针对特定任务的算法。这种学习方式可以是有监督的，半监督，或者是无监督的。[1][2][3]

深度学习的构架，如深度神经网络，深度信念网络，循环神经网络已经被应用于很多领域，比如计算机视觉，语音识别，自然语言处理，社交网络过滤，机器翻译，生物信息学，药物设计，棋类游戏程序等。在这些领域中深度学习的能力可以与人类专家匹配，甚至超越人类专家。[4][5][6]

深度学习模型略微受到了信息处理和生物神经系统的交流的启发，但是与生物大脑的有着结构和功能性质上的差异，这使得它们与神经科学的一些发现是相冲突的。[7][8][9]

深度学习是一类机器学习算法:[10]

  • 使用了多层的非线性处理单元用于特征抽取和特征处理。后一层使用前一层的输出作为输入。
  • 可以使用监督（比如分类）或者非监督（比如模式分析）的方式学习。
  • 对应不同层次的抽象可以学到不同层次的表示。这些层次是垂直分层的。

概览

大多数现代的深度学习模型都是基于人工神经网络的，尽管它们也可以包括命题逻辑和深度生成模型中层维度的隐变量，比如深度信念网络和深度玻尔兹曼机中的节点。[11]

在深度学习中，每一层都会将它的输入数据转化为更加抽象和组合的表示。在图像识别的应用中，原始数据可能是由像素组成的矩阵。第一个表示层可能会将像素抽象并编码成边缘。第二层可能会组合并再编码这些边缘。第三层可能会编码出鼻子或者眼睛。第四层可能会识别图像是否包含一张脸。在这其中最重要的是，深度学习的过程可以学习特征所处的最优位置。（当然，并不能完全排除手动调整，比如，不同的层数和每层不同的大小可以提供不同程度的抽象。）[1][12]

“深度学习”中的“深度”指的是数据转化层的数量。更确切地说，深度学习系统具有很大的信念分配路径(CAP)。CAP即输入到输出的转化链。[2] 说明了输入和输出之间的潜在的因果关系。对于一个前馈神经网络，CAP的深度就是网络的隐层数加一（因为输出层也有参数）。对于循环神经网络，信号可能会多次经过同一层，CAP的深度可能是无限的。浅度学习和深度学习之间的阈值没有一个普遍的共识，但是大多数研究人员认为只要CAP深度大于2就可以认为是深度学习，因为有研究指出，只要CAP深度大于2神经网络就能以任意精度拟合任意函数。CAP深度大于2再增加层数也不能增加神经网络的逼近函数的性能。所以说这些额外的层有助于学习特征。

神经网络通常是用逐层贪婪的方法构建的。（需要澄清）（需要进一步的解释）深度学习有助于分解这些抽象概念，找出哪些特征可以提高性能。 对于有监督的学习任务，深度学习可以避免做特征工程，并将数据抽象为一些中间的表示方法，这有点类似于主成成分分析。这样可以消除表示结构中的冗余。 深度学习算法可以应用于无监督学习人员。这是一个很重要的优点，因为未标记的数据比有标记的数据更多。深度学习构架用于无监督学习例子就是神经历史压缩器以及深度信念网络。[1][13]

解释

深度神经网络通常被解释为万能近似定理[14][15][16][17][18]或者概率推断。[10][11][1][2][13][19][20]

万能近似定理有关单隐层前馈神经网络对有限集连续函数的拟合能力。[14][15][16][17][18]在1989年，由George Cybenko给出sigmoid激活函数的第一个证明，[15]并由Kurt Hornik于1991年将其推广到多层的前馈神经网络结构。[16]

概率角度[19] 的解释源于机器学习领域。它具有推断性以及分别与拟合与泛化相关的训练和测试的优化概念。更具体地说，概率角度的解释认为非线性的激活函数是一种累积分布函数。概率角度的解释在神经网络中引入了失活(dropout)和正则化的的方法。概率角度的解释是由Hopfield、Widrow和Narendra等研究人员提出的，并在Bishop等人[10][11][1][2][13][19] 的推广下普及。[21][22]

历史

深度学习这个术语是有Rina Dechter于1986年[23][24]引入到机器学习社区中的。2000年Igor Aizenberg和他的同事在布尔门神经元中引入到人工神经网络。[25][26]

1965年，Alexey Ivakhnenko 和Lapa发布了第一个有监督的，深度的，前馈的，多层的感知机的一般性的学习算法。[27]1971年的一篇论文描述了一个使用群数据处理算法训练的8层深度学习网络。[28]

其他深度学习的工作架构，尤其是那些为了计算机视觉设计的，最开始由Kunihiko Fukashima在1980年引入了Neocognitron。[29] 1989年，Yann LeCun等人应用了标准的反向传播算法，这种算法自1970年[30][31][32][33]以来一直是用于深度神经网络的自动微分的反模式，这个神经网络的目的是为了识别邮件上的手写的数字邮政编码。虽然算法很有用，但是这需要训练三天。[34]

1991年，这种系统被用于识别独立的2维手写数字，也可以用一个手工的3D目标模型来匹配2D的图像来识别3D的物体。[35][36][37]Weng等人提出，人类大脑不使用单一的3D对象模型，1992年他们发表了Cresceptron，这是一种在杂乱场景中对三维图像进行识别的方法。Cresceptron是一个类似于Neocognitron的层叠网络。但是Neocognitron需要程序员去手动整合特征，而Cresceptron可以在无监督的情况下在每层中学到任意数量的特征，其中的每个特征会使用卷积核表示。Cresceptron通过对网络进行回退分析来从聚合的场景中将学习对象分离出来。现在经常用在深度神经网络中的最大池化（比如ImageNet的测试）就是Cresceptron先采用的。Cresceptron通过堆叠将位置分辨率从2x2降低到1来提高泛化能力。

1994年，André de Carvalho，Mike Fairhurst 和 David Bisset共同发表了一个多层布尔神经网络的实验性结果，这个网络也称之为无权重神经网络，它由三层自组织的特征提取神经网络模块(SOFT)，随后是多层的分类神经网络模块(GSN)，这些模型也都是独立训练的。特征提取模型中的每一层都提取了比前一层更加复杂的特征。[38]

1995年，Brendan Frey，Peter Dayan 和Hiton 证明了可以使用Wake-sleep算法训练一个6层全连接且具有数百个隐层节点的神经网络。[39] 这里有很多因素会导致传播变慢，比如1991又Sepp Hochreiter分析出的梯度消失问题。[40][41]

在上个世纪90年代和本世纪00年代，因为ANNs的计算成本和缺乏大脑神经元如何连接的认知，一些使用手工特征的简化模型比如Gabor过滤器和支持向量机通常是一个受欢迎的选择。

ANNs的浅度学习和深度学习都已经被探索多年。[42][43][44]在语音的生成式模型领域这些方法都没超过内部手工的非均匀高斯混合模型/[ https://en.wikipedia.org/wiki/Hidden_Markov_model 隐马尔可夫模型]。在神经网络预测模型遇到的关键的困难就是梯度弥散和弱时间相关结构。[45] Key difficulties have been analyzed, including gradient diminishing[40][46][47] 另外的困难就是训练数据的缺乏和计算能力的限制。

大多数语语音识别研究人员都从神经网络转向了生成式模型。20世纪90年代末，SRI国际公司是其中的一个例外。[48]

在美国国家安全局和美国国防部高级研究计划局的资质下，SRI研究了语音识别和语者识别的深度神经网络。Heck's的语者识别团队在1998年国家标准与技术研究所的语音处理方面取得了第一个重大的成功。虽然SRI在语者识别的深度神经网络方面取得了成功，但在语音识别方面却没有取得类似的成功。上世纪90年代末，在“原始”光谱图和线性滤波器特征的深度自编码结构中，首次成功探索了将“原始”特征提升到手工优化特征的原则，表明其优于含分阶段固定变换的MelCepstral特征的。语音的的原始特征，波形，后来产生了出色的大规模结果。[49]

语音识别的很多方面都会用到一个叫做长短时记忆网络(LSTM)的神经网络结构，这是Hochreiter和Schmidhuber于1997年发表的一种循环神经网络结构(RNN)。[50]长短时记忆的循环神经网络避免了梯度消失的问题，而且可以学习非常深的网络结构，这种网络结构可以跨越数千个离散的时间步，记住非常久之前发生的事件，而这对于语言识别来说恰恰是非常重要的。[51] 在2003年，长短时记忆网络开始在某些特定任务上与传统的语言识别器竞争。后来，长短时记忆循环神经网络开始与CTC(connectionist temporal classification)相结合。在2015年，据报道，经过CTC训练的长短时记忆网络的谷歌语言识别系统性能大幅提升了约49%，这项功能以及由谷歌语音搜索提供。[52]

在2006年，Geoff Hinton，Ruslan Salakhutdinov，Osindero和Teh的出版物表明了如何有效地每次逐层地预训练一个多层的前馈神经网络，[53] [54][55] 通过轮流将每一层视作一个无监督的玻尔兹曼机，然后利用有监督下的反向传播算法对其进行微调。[56]这些论文也提到了深度信念网络。

深度学习是各个学习最先进的系统的一部分，特别是计算机视觉和自动语音识别(ASR)。常用的评估集有TIMIT和MNIST等，以及一系列的大词汇语音识别任务的性能也在稳步提高。[57][58][59] 对于长短时记忆网络而言，卷积神经网络(CNNs)被CTC替换成(ASR)。[50][52][60][61][62][63][64] 但在计算机视觉方面更为成功。

根据Yann LeCun 的数据，[65]深度学习对于产业的影响始于21世纪初期，当时CNNs已经处理了美国所有支票的10%到20%。深度学习在大规模语音识别的领域的工业应用始于2010年左右。 2009年，NIPS的深度语音识别工作组积极于深度语音生成模型的局限性，[57][66]以及深度神经网络对更强大硬件和大规模数据集实用化的可能性。然而，后来发现直接使用大量数据的反向传播算法来代替预训练的大型且输出层上下文独立的深度神经网络会比最先进的高斯混合模型/隐马尔可夫模型错误率更低，而且这也是更加先进的基于模型的生成式系统。这两类识别系统产生错误的原因是有本质不同的，[67][68]将深度学习整合进已存在的高效的实时的语音编码系统已经被主流的语音识别系统所部署，这里提供了一些技术的洞见。[69]2009-2010左右的分析，将高斯混合模型（以及其他生成式语音模型）和深度神经网络模型进行了对比，刺激了对深度学习语音识别的早起工业投资，最终工业上的普遍和主导性的使用。分析结果表明，辨别式深度神经网络模型和生成式模型之间的表现是差不多的（小于1.5%的错误率）。[57][67][70][71]

2010年，研究人员将深度学习从TIMIT扩展到大词汇的语音识别，采用一个大型输出层的深度神经网络，其基于决策树构造的上下文独立的隐马尔可夫状态。[72][73][74][75]

硬件方面的进步使得人们重新产生了兴趣。2009年，随着深度学习神经网络由英伟达图像处理单元(GPUs)[76]训练，英伟达也参与了所谓的深度学习的“大爆炸”。那一年，Google Brain使用了英伟达GPUs来构造强大的DNNs。而且Ng确定GPUs可以加速深度学习系统大约100倍。[77]GPUs特征适用于机器学习涉及到的矩阵/向量运算。[78][79]GPUs将训练算法加速了一个数量级，几周的任务只要几天即可完成。[80][81]专门的硬件和算法的优化也可以用于高效的处理。[82]

深度学习革命

在2012年一个由Dahl领导的队伍通利用多任务深度神经网络来预测一种药物的生物分子靶标，[83][84] 赢得了 "Merck Molecular Activity Challenge" 。2014年，Hochreiter的团队利用深度学习来探测环境化学物质在营养物质、家庭产品和药物中的副作用和有毒影响，并赢得了的NIH、FDA和NCATS的"Tox21 Data Challenge"。[85][86][87]

2011年至2012年期间，深度学习在图像和物体识别方面有了重大的额外影响。虽然使用反向传播训练的CNN已经存在了几十年，而且多年以来，神经网络比如CNNs的GPU实现也已经很多年了。计算机视觉方面，在Ciresan式的GPU上面快速实现有最大池化的CNNs还需要人们的努力。[78][79][34][88][2] 在2011年，这个方法首次在计算机视觉的模式识别方面取得了超人的成就。[89] 同样是在2011年中，它也获得了ICDAR汉字手写识别竞赛的冠军，再后来的2012年3月，获得了ISBI图像分割竞赛的冠军。2011年之前，CNNs都不是计算机视觉方面的主力，但是在2012年7月，CVPR会议上，Ciresan等人发表的一篇论文显示，GPU上带最大池化的CNNs可以多么显著地提升计算机视觉方面性能。在2012年10月，由Krizhevsky等人开发出的一个类似的系统获得了大规模ImageNet 竞赛的冠军，他们的方法大幅领先了浅层的机器学习方法。在2012年11月，Ciresan等人的系统也赢得了大型癌症检测医学图像分析的ICPR竞赛，并且在接下来的一年里，MICCAI挑战也使用了同样的主题。在[90]2013年和2014年，使用深度学习的ImageNet任务的错误率再次下降，同样的趋势也发生在大规模语音识别上。Wolfram图像识别计划公布了这些改进。[91] 然后将图像识别拓展到图像描述（标题）生成这一更加具有挑战性的任务，这些描述通常是CNNs和LSTMs的结合。[92][93][94][95]

一些评估人员说，2012年10月的ImageNet胜利奠定了深度学习革命的开始，这场革命改变了人工智能行业。[96]

神经网络

人工神经网络

人工神经网络，Artificial neural networks (ANNs) ，或者叫连接主义系统是一个由生物神经网络启发得到的计算系统。这种系统通过样本来进行学习（逐步提高它们的性能）来完成任务，通常不会对特定任务进行编程。比如，在图像识别中，它们需要识别一张含有猫的图像来判断这张图像是不是猫，这些图像通常已经被人工打上是猫或者不是猫的标签。人们发现，使用基于规则的传统计算机算法很难在程序中进行表达。

一个人工神经网络是基于由人工神经元进行连接的神经元的集合组成的（类似于生物大脑重话的生物神经元）。神经元之间的每一个连接（突触）都可以将信号传递给另一个神经元。接收（突触后）神经元可以处理信号，然后向后面的神经元发出信号。神经元本身可以具有状态，通常用一个0到1之间的实值数字来表示。神经元和突触也可能具有随着学习过程而改变的权重，这些权重决定了向下一个神经元发送信号的强度的增减。

通常情况下，神经元是分层组织的。不同的层会对它们的输入信号进行不同种类的转换。信号会从第一层（即输入）传递到最后一层（即输出），也有可能在这些层之间进行多次的传递。

神经网络方法的最初目的是以类人类大脑的方法来解决问题。随着时间的推移，人们的集中于匹配特定的智力能力，这导致了从生物学上的偏离。比如，反向传播即反向传播信息以调整网络来反应这些信息。

神经网络被用于各种各样的任务，包括计算机视觉，语音识别，机器翻译，社交网络过滤，棋类游戏，视频游戏和医学诊断。

到2017年，神经网络通常有几千到几百万个单元和数百万个连接。尽管这个数字比人脑中的神经元数量少了几个数量级，但是这些神经网络已经可以在特定任务上超越人类了。（比如图像识别和玩围棋[97]）

深度神经网络

注意：这一部分对于某些读者可能过于技术化了。

深度神经网络(DNN)是输入层和输出层之间隔了很多层的人工神经网络。无论是线性关系还是非线性关系，DNN都能找到正确的数学操作来将输入转化为输出。这个网络会经过每一层来计算每个输出的概率。比如，一个用来识别狗品种的DNN会检查给定的图像然后计算这只狗屎某个品种的概率。用户可以检查结果并选择神经网络网络应该显示哪个概率（通过指定阈值），并返回期望的标签。每一个这样的数学操作都作为一个层存在，而复杂的DNN有很多层，因此叫做“深度”网络。

DNNs可以建立复杂的非线性关。DNN构架生成的组合模型中，对象被表达为一个分层的原语组合。这些额外的层使得底层特征组成成为了可能，比同样表现的浅度网络使用更少的单元来对复杂的数据进行了建模。

深层构架包括了许多基本方法的变体。每个构架都在特定领域取得了成功。除非在相同的数据集上对它们进行评估，否则不可能对这些构架进行性能评估。

DNNs的一个典型的例子就是前馈神经网络，即数据从输入层流向输出层且不会向后进行循环。一开始，DNN创建一张虚拟神经元的映射图，并给予神经元之间的连接以随机数值，或者称之为权重。权重和输入相乘并得到一个0到1之间的输出。如果网络不能准确识别特定的模型，算法就会重新调整权重。这种算法可以使得某些参数更加具有影响力，直到它确定了正确的数学操作来处理全部的数据。

循环神经网络(RNNs)，这种网络中的数据可以向任意方向流动，通常用于语言模型的建模。LSTM对于这种应用非常的有效。

卷积神经网络(CNNs)，这种网络通常用于计算机视觉。自动语言识别(ASR)声学模型也使用了CNNs。

挑战

和ANNs一样，很多问题都可能出现在直接训练的DNNs伤。这里有两个常见的问题，一个是过拟合，一个是计算成本。[98]

由于抽象层的增加，所以DNNs很容易过拟合，这使得模型不能对训练数据独立。一些正则化方法，比如Ivakhnenko的单元修剪和权重衰减（L2正则化）以及sparsity（L1正则化）可以在训练期间使用以对抗过拟合。或者，在训练期间，将神经元从隐层中随机地移除。这有助于排除一些罕见的依赖关系。最后，数据可以通过裁剪和旋转等方法得到增强，这样可以在小数据集上降低过拟合的可能性。

DNNs必须考虑很多的训练的参数，比如规模（层的数量和每层的单元数量），学习速率，初始权重。由于时间成本和计算资源的限制，遍历参数空间来获得最佳的参数是不可能的。就有了各种各样的技巧来加速计算，比如分批（一次只使用一部分的样本来计算梯度）。多核架构(GPUs, Intel Xeon Phi)大型处理能力以及大幅度加速的训练的过程，因为这种处理架构非常适合于矩阵和向量计算。 或者，工程师可能会寻找其他类型的神经网络，这些网络具有更直接和具有收敛性的训练算法。[99]小脑关节控制器模型(CMAC)就是一个不需要学习速率和随机初始权重的模型。训练在新的一批数据下可以保证一步就收敛，并且训练算法的复杂度与所涉及的神经元数量呈线性关系。[100][101]

应用

自动语音识别

大规模自动语音识别是深度学习第一个也是最有说服力的成功案例。[2] LSTM RNNs可以学习非常深结构的任务，这些任务涉及到了包含数千个离散时间步分割的语音事件的多时间间隔，其中一个时间步大概是10 ms。LSTM有遗忘门，这让它在某些任务上对传统语音识别器具有竞争力。[51]

语音识别的初步成果是基于基于TIMIT的小规模语音识别任务。这套数据包含了来自美国英语八大方言的630位说话者，每个说话者读10个句子。它的小规模可以让许多配置都可以尝试。更重要的是，TIMIT任务涉及到音素识别，这与单词识别不同，这需要弱音素双语语言模型的支持。这使得语音识别的声学建模方面的强度更加容易分析。下面列出1991以来的错误率，包括了早期的结果和以PER方式衡量的。

【表格】 DNNs语者识别在1990年代末首次亮相，语音识别大概在2009到2011之间，而LSTM大概在2003至2007年，在以下的8个主要方面加快了进程：[10][71][75]

  • 扩大和加速了DNN训练和解码。
  • 序列判别训练。
  • 深度模型的特征预处理的基本机制的深刻理解。
  • 使用DNNs进行多任务和迁移学习相关的深度模型。
  • 如何设计CNNs来更好识别领域特定的说话方式。
  • RNN和基于RNN的LSTM的丰富变体。
  • 其他类型的深度学习模型，包括了基于张量的模型和整合深度生成/辨别式的模型。

所有的商业语音识别系统（Microsoft Cortana、xbox、Skype Translator、Amazon Alexa、Google Now， Apple Siri，Baidu 和iFlyTek 语音搜索和一系列的Nuance语音产品）都是基于深度学习的。[10][102][103][104]


图像识别

图像分类的一个常用的评估集是MNIST数据集。MNIST是由手写数字组成的，包括了6万个训练示例和10000个测试示例。和TIMIT一样，它的小规模运行用户尝试多种配置。关于这个评估集的一个结果在这里可以找到。[105]

基于深度学习的图像识别已经成为了“超人”，比人类的参赛者准确率更高。这件事首先发生在2011年。[106]

经过深度学习训练的车辆现在可以理解360度相机的视图。[107]另一个例子是FDNA用于分析人类畸形和基因间的关系。

视觉艺术处理

因为图像识别方面的进步，应用于不同视觉艺术任务的应用也在增加。例如，DNNs已经可以做到：1. 识别给定图像是属于哪个时期的风格，2. 捕捉给定图像的风格并将其应用其他任意照片上产生良好的视觉效果，3. 用随机涂鸦生成完整图像[108][109]

自然语言处理

自2000年代初依赖，神经网络一直被用于实现语言模型。[110][111]LSTM帮助提高了机器翻译和语言建模能力。[112][113][114]

这一领域的其他关键技术包括了负采样[115] 和词嵌入。词嵌入，比如word2vec，可以理解成一个表示层，在一个深度学习构架中，将原词汇转化成相对于数据集中其他单词的位置表示；[106]这个位置被表示成矢量空间中的一个点。[116]使用词嵌入作为RNN的输入层，这允许网络使用一个高效组合向量语法来解析词句。一个组合向量语法可以被认为是使用RNN实现的非语法概率语境(PCFG)。[117] information retrieval,[118][119] spoken language understanding,[120] machine translation,[112][121] contextual entity linking,[121] writing style recognition,[122]基于词嵌入的递归自编码机可以评估句子的相似性并检测其释义。深度神经网络结构在语法分析，词汇分析，信息检索，口头语言理解，机器翻译，语境实体联系，写作风格识别，文本分类等领域都取得了最好的结果。[123]

谷歌翻译(Google Translate)使用了一个庞大的端到端LSTM网络。谷歌神经机器翻译(Google Neural Machine Translation)使用了一种基于示例的机器翻译方法，该系统从数百万个例子中学习。它可以将整个句子一次翻译出来，而不是一个片段地翻译。谷歌翻译支持超过100种语言。[124] information retrieval,[125][126] spoken language understanding,[120] machine translation,[112]神经网络赋予了句子语义，而不是简单的记忆词到词的翻译。谷歌翻译将英语作为大多数语言翻译直接的中间体。[127]

药物发现及药理学

有很大一部分候选的药物未能获得监管部门的批准。这是因为效果不足（目标效果），不理想的相互作用（非目标效果）或者意料之外的毒性影响。[128][129]研究探讨了利用深度学习来预测生物分子靶标、环境化学品对营养物质、家庭产品和药物的有毒影响。[85][86][87] AtomNet是一个基于结构的有效药物设计的深度学习系统。[130] AtomNet用于预测新的候选生物分子，用于治疗诸如埃博拉病毒[131]和多发性硬化症等疾病。[132][133]

客户关系管理

深度强化学习以及被用来评估可能的直接营销的行动结果，这些行动用RFM变量来定义，预测值的函数也证明有客户终生价值的自然解释。[134]

推荐系统

推荐系统已经使用深度学习来为基于内容的音乐推荐的潜在因素模型提取有意义的特征。[135]多视图深度学习已被应用于从多个领域学习用户偏好。[136]该模型采用了一种基于内容的混合协作方式，并在多项任务中加强了推荐。

生物信息学

生物信息学使用了一个自编码的ANN来预测基因本体的解释和功能关系。[137]

在医学信息学中，深度学习基于可穿戴设备的数据[138]和电子健康记录数据来对并发症进行预测，深度学习已被用来预测睡眠质量。[139]深度学习在医疗保健方面也显示出了效果。[140]

移动设备广告

为移动设备广告寻找合适的移动设备用户总是非常具有挑战性，因为许多数据点必须被考虑和同化在广告商创建和使用目标片段之前。[141][142] 深度学习以及被用来解释大量和多维度广告数据集。许多数据点实在请求/服务/点击互联网广告的周期中收集得到的。这些信息可以构成及其学习的基础，以改善广告的投放。

图像复原

深学习已成功地应用于去噪，超分辨率，图像增强等逆问题。[143]这些应用包括了“有效图像复原的收缩域”等学习方法，这些方法在图像数据集上进行训练以及Deep Image Prior，训练在需要复原的图像上面。

金融欺诈识别

深度学习正成功地应用于金融欺诈识别和反洗钱活动。“深度反洗钱识别系统”可以发现和识别数据间的相似性，并在之后的过程中发现异常现象或对具体事件进行分类和预测。这个解决方案利用了有监督的学习技术，如可疑交易的分类，以及非监督学习，如异常检测。[144][145]

Military

The United States Department of Defense applied deep learning to train robots in new tasks through observation.[145]

The United States Department of Defense applied deep learning to train robots in new tasks through observation.

美国国防部应用深度学习技术通过观察训练机器人执行新任务。


商业活动

许多组织为特定的应用程序采用深度学习。Facebook的人工智能实验室会有一些任务，比如自动给上传的图片加图片人名字的标签。[146] 谷歌的DeepMind开发了一个能够学习如何使用像素作为数据输入来玩游戏的系统。[147]2015年，他们展示了AlphaGo系统，这个系统学会了如何打败专业的围棋玩家。[148][149][150]谷歌翻译使用LSTM来翻译100多种语言。[151]

批评和评论

深度学习引来了一些批判和评论，某些情况下这些批判和评论来自于计算机科学领域之外。

理论

一个主要的批判是，没有一个围绕这些方法的理论。在常见的深度学习结构中，学习使用的是常见的梯度下降算法。然而，围绕其他算法的理论，比如对比分歧，则不那么清楚。（例如，它可以收了吗？如果可以收敛那么要多久？它又有什么近似？）深度学习方法通常被视作一个黑匣子，大多数的证实都是通过实践而不是理论的。[152]

其他人指出，应该把深度学习视作实现强人工智能的一个步骤，而不是一个包罗万象的解决方法。[153]尽管深度学习非常强大，但是仍缺乏实现这个目标所需要的大部分功能。研究心理学家Gary Marcus指出：实际上，深度学习只是构建智能机器这一更大挑战的一部分。[154] 这些技术缺乏表现因果关系的方法……没有明显的逻辑推理方法，而且它们与集成抽象知识（比如关于对象式什么的信息、它们的用途以及它们的典型使用方式）。最强大的人工智能系统，比如Watson使用了深度学习这一技术作为一个非常复杂技术组合中的一个元素，从统计学的贝叶斯推断到演绎推理。[155]

作为强调深度学习限制的另一个例子，一位作者推测，也许有可能训练一个机器视觉的堆叠来完成一个复杂的任务，区分职业和业余人士的肖像画，并假设这种敏感性可能表示了普通机器学习算法演化的雏形。[156] 同一位作者指出，这符合人类学观点，认为美学是行为现代性的关键因素。

为了进一步提到艺术明干新可能存在于认知层次的相对较低的层次中，有人发了一系列关于深度（20-30层）神经网络内部状态的图标，试图从完全随机的数据中分辨出他们所训练的图像：原始的研究已经收到了超过1000条评论，这是《卫报》网站上一段时间内最常被访问文章的主题。[157] web site.

错误

一些深度学习构架表现出了一些有问题的行为，例如自信地将不可分辨的图像归类为一个常见的普通图像类型，[158]并且如果将正确分类的图像加上一个细小的扰动就会被分类错误。Goertzel假设，这些行为是由于它们内部表现的局限性，[159] 这些限制将抑制异构的多成分AGI构架的集成。[160]这些问题也许可以通过深度学习构架来解决，这种体系结构的内部形式与观察到的实体和事件的图像语法分解类似。从训练数据中学习语法（视觉或语言）相当于将该系统限制在符合语法生产规则概念上的常识推理，这是人类语言习得[161]和AI的基本目的。[162]

安全威胁

随着深度学习从实验室走向世界，研究和经验表明人工神经网络容易受到黑客和欺诈攻击。通过识别这些系统的功能模式，攻击者可以修改ANNs的输入，以便ANN找到一个人类观察者无法识别的匹配。比如，攻击者可以对图像进行稍微的改变，使得ANN找到一个与之匹配的图像，即使这个图像看起来和人类的搜索目标完全不同。这种操作称之为对抗攻击。2016年，研究员在试错使用了一些医生的图像并改变了其焦点生成了新的图像就欺骗了ANN。这些修改过的图像对于人类而言并没什么区别。另一种图像显示，经过修改的图像打印出来的图片成功地欺骗了一个图像分类器。一种防御方式是反向图像搜索，把可能的假图像提交到TinEye这样的网站上，这样就可以找到其他的实例。[163]一个改进是只使用图像的一部分进行搜索，以识别可能被拍摄的图片。[164] 另一组研究表明，某种迷幻研究可能会糊弄面部识别系统，使他们认为普通人是一个名人，这可能会让一个人冒充另一个人。2017年，研究人员添加了贴纸来作为停止标志，并导致ANN误解了这些标志。[163] 然而，ANNs可以进一步进行训练，以发现欺骗的企图，潜在地引导攻击者和防御者进行类似于恶意软件行业的军备竞赛。通过反复攻击被遗传算法不断改进的防御软件来攻击防御软件。直到它欺骗了反恶意软件，同时还保留了攻击目标的能力。 另一个小组证明，某些声音可以让Google Now的语音指令系统打开一个特定的网址来下载恶意软件。[163] 在数据中毒中，虚假的数据不断地被整合进机器学习的训练集中来阻止其达到掌握。[163]


参考

引用

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Bengio, Y.; Courville, A.; Vincent, P. (2013). "Representation Learning: A Review and New Perspectives". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50.
  2. ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Schmidhuber, J. (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637.
  3. ↑ Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442.
  4. ↑ Ciresan, Dan; Meier, U.; Schmidhuber, J. (June 2012). "Multi-column deep neural networks for image classification". 2012 IEEE Conference on Computer Vision and Pattern Recognition: 3642–3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8.
  5. ↑ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry (2012). "ImageNet Classification with Deep Convolutional Neural Networks" (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada.
  6. ↑ "Google's AlphaGo AI wins three-match series against the world's best Go player". TechCrunch. 25 May 2017.
  7. ↑ Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). "Toward an Integration of Deep Learning and Neuroscience". Frontiers in Computational Neuroscience. 10: 94. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554.
  8. ↑ Olshausen, B. A. (1996). "Emergence of simple-cell receptive field properties by learning a sparse code for natural images". Nature. 381 (6583): 607–609. Bibcode:1996Natur.381..607O. doi:10.1038/381607a0. PMID 8637596.
  9. ↑ Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (2015-02-13). "Towards Biologically Plausible Deep Learning". arXiv:1502.04156 [cs.LG].
  10. ↑ 10.0 10.1 10.2 10.3 10.4 Deng, L.; Yu, D. (2014). "Deep Learning: Methods and Applications" (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039.
  11. ↑ 11.0 11.1 11.2 Bengio, Yoshua (2009). "Learning Deep Architectures for AI" (PDF). Foundations and Trends in Machine Learning. 2 (1): 1–127. doi:10.1561/2200000006.
  12. ↑ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 May 2015). "Deep learning". Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539.
  13. ↑ 13.0 13.1 13.2 Hinton, G.E. (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
  14. ↑ 14.0 14.1 Balázs Csanád Csáji (2001). Approximation with Artificial Neural Networks; Faculty of Sciences; Eötvös Loránd University, Hungary
  15. ↑ 15.0 15.1 15.2 Cybenko (1989). "Approximations by superpositions of sigmoidal functions" (PDF). Mathematics of Control, Signals, and Systems. 2 (4): 303–314. doi:10.1007/bf02551274. Archived from the original (PDF) on 2015-10-10. {{cite journal}}: Unknown parameter |deadurl= ignored (help)
  16. ↑ 16.0 16.1 16.2 Hornik, Kurt (1991). "Approximation Capabilities of Multilayer Feedforward Networks". Neural Networks. 4 (2): 251–257. doi:10.1016/0893-6080(91)90009-t.
  17. ↑ 17.0 17.1 Haykin, Simon S. (1999). [[[:模板:Google books]] Neural Networks: A Comprehensive Foundation]. Prentice Hall. ISBN 978-0-13-273350-2. 模板:Google books. 
  18. ↑ 18.0 18.1 Hassoun, Mohamad H. (1995). [[[:模板:Google books]] Fundamentals of Artificial Neural Networks]. MIT Press. ISBN 978-0-262-08239-6. 模板:Google books. 
  19. ↑ 19.0 19.1 19.2 Murphy, Kevin P. (24 August 2012). [[[:模板:Google books]] Machine Learning: A Probabilistic Perspective]. MIT Press. ISBN 978-0-262-01802-9. 模板:Google books. 
  20. ↑ Patel, Ankit; Nguyen, Tan; Baraniuk, Richard (2016). "A Probabilistic Framework for Deep Learning" (PDF). Advances in Neural Information Processing Systems.
  21. ↑ Hinton, G. E.; Srivastava, N.; Krizhevsky, A.; Sutskever, I.; Salakhutdinov, R.R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [math.LG].
  22. ↑ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2. http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf. 
  23. ↑ Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online
  24. ↑ 引用错误：无效<ref>标签；未给name属性为scholarpedia的引用提供文字
  25. ↑ Igor Aizenberg, Naum N. Aizenberg, Joos P.L. Vandewalle (2000). Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications. Springer Science & Business Media.
  26. ↑ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795-1802, ACM Press, New York, NY, USA, 2005.
  27. ↑ Ivakhnenko, A. G. (1973). [[[:模板:Google books]] Cybernetic Predicting Devices]. CCM Information Corporation. 模板:Google books. 
  28. ↑ Ivakhnenko, Alexey (1971). "Polynomial theory of complex systems". IEEE Transactions on Systems, Man and Cybernetics. 1 (4): 364–378. doi:10.1109/TSMC.1971.4308320.
  29. ↑ Fukushima, K. (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biol. Cybern. 36 (4): 193–202. doi:10.1007/bf00344251. PMID 7370364.
  30. ↑ Seppo Linnainmaa (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7.
  31. ↑ Griewank, Andreas (2012). "Who Invented the Reverse Mode of Differentiation?" (PDF). Documenta Matematica, Extra Volume ISMP: 389–400.
  32. ↑ Werbos, P. (1974). "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences". Harvard University. Retrieved 12 June 2017.
  33. ↑ Werbos, Paul (1982). "Applications of advances in nonlinear sensitivity analysis". System modeling and optimization. Springer. pp. 762–770. ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf. 
  34. ↑ 34.0 34.1 LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition," Neural Computation, 1, pp. 541–551, 1989.
  35. ↑ J. Weng, N. Ahuja and T. S. Huang, "Cresceptron: a self-organizing neural network which grows adaptively," Proc. International Joint Conference on Neural Networks, Baltimore, Maryland, vol I, pp. 576-581, June, 1992.
  36. ↑ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation of 3-D objects from 2-D images," Proc. 4th International Conf. Computer Vision, Berlin, Germany, pp. 121-128, May, 1993.
  37. ↑ J. Weng, N. Ahuja and T. S. Huang, "Learning recognition and segmentation using the Cresceptron," International Journal of Computer Vision, vol. 25, no. 2, pp. 105-139, Nov. 1997.
  38. ↑ de Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (1994-08-08). "An integrated Boolean neural network for pattern classification". Pattern Recognition Letters. 15 (8): 807–813. doi:10.1016/0167-8655(94)90009-4.
  39. ↑ Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (1995-05-26). "The wake-sleep algorithm for unsupervised neural networks". Science. 268 (5214): 1158–1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831.
  40. ↑ 40.0 40.1 S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen," Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991.
  41. ↑ Hochreiter, S. (15 January 2001). [[[:模板:Google books]] "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies"]. A Field Guide to Dynamical Recurrent Networks. John Wiley & Sons. ISBN 978-0-7803-5369-5. 模板:Google books. 
  42. ↑ Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1993-08-01). "Hybrid neural network/hidden markov model systems for continuous speech recognition". International Journal of Pattern Recognition and Artificial Intelligence. 07 (4): 899–916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
  43. ↑ Robinson, T. (1992). "A real-time recurrent error propagation network word recognition system". ICASSP.
  44. ↑ Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). "Phoneme recognition using time-delay neural networks". IEEE Transactions on Acoustics, Speech, and Signal Processing. 37 (3): 328–339. doi:10.1109/29.21701. ISSN 0096-3518.
  45. ↑ Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). "Research Developments and Directions in Speech Recognition and Understanding, Part 1". IEEE Signal Processing Magazine. 26 (3): 75–80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166.
  46. ↑ Bengio, Y. (1991). "Artificial Neural Networks and their Application to Speech/Sequence Recognition". McGill University Ph.D. thesis.
  47. ↑ Deng, L.; Hassanein, K.; Elmasry, M. (1994). "Analysis of correlation structure for a neural predictive model with applications to speech recognition". Neural Networks. 7 (2): 331–339. doi:10.1016/0893-6080(94)90027-2.
  48. ↑ Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). "Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design". Speech Communication. 31 (2): 181–192. doi:10.1016/s0167-6393(99)00077-1.
  49. ↑ "Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)". ResearchGate. Retrieved 2017-06-14.
  50. ↑ 50.0 50.1 Hochreiter, Sepp; Schmidhuber, Jürgen (1997-11-01). "Long Short-Term Memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276.
  51. ↑ 51.0 51.1 Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). "Biologically Plausible Speech Recognition with LSTM Neural Nets" (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. pp. 175–184.
  52. ↑ 52.0 52.1 Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). "Google voice search: faster and more accurate".
  53. ↑ Hinton, Geoffrey E. (2007-10-01). "Learning multiple layers of representation". Trends in Cognitive Sciences. 11 (10): 428–434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042.
  54. ↑ Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). "A Fast Learning Algorithm for Deep Belief Nets" (PDF). Neural Computation. 18 (7): 1527–1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513.
  55. ↑ Bengio, Yoshua (2012). "Practical recommendations for gradient-based training of deep architectures". arXiv:1206.5533 [cs.LG].
  56. ↑ G. E. Hinton., "Learning multiple layers of representation," Trends in Cognitive Sciences, 11, pp. 428–434, 2007.
  57. ↑ 57.0 57.1 57.2 Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; Sainath, T.; Kingsbury, B. (2012). "Deep Neural Networks for Acoustic Modeling in Speech Recognition --- The shared views of four research groups". IEEE Signal Processing Magazine. 29 (6): 82–97. doi:10.1109/msp.2012.2205597.
  58. ↑ Deng, Li; Hinton, Geoffrey; Kingsbury, Brian (1 May 2013). "New types of deep neural network learning for speech recognition and related applications: An overview" – via research.microsoft.com. {{cite journal}}: Cite journal requires |journal= (help)
  59. ↑ Deng, L.; Li, J.; Huang, J. T.; Yao, K.; Yu, D.; Seide, F.; Seltzer, M.; Zweig, G.; He, X. (May 2013). "Recent advances in deep learning for speech research at Microsoft". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8604–8608. doi:10.1109/icassp.2013.6639345. ISBN 978-1-4799-0356-6.
  60. ↑ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling" (PDF).
  61. ↑ Li, Xiangang; Wu, Xihong (2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 [cs.CL].
  62. ↑ Zen, Heiga; Sak, Hasim (2015). "Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis" (PDF). Google.com. ICASSP. pp. 4470–4474.
  63. ↑ Deng, L.; Abdel-Hamid, O.; Yu, D. (2013). "A deep convolutional neural network using heterogeneous pooling for trading acoustic invariance with phonetic confusion" (PDF). Google.com. ICASSP.
  64. ↑ Sainath, T. N.; Mohamed, A. r; Kingsbury, B.; Ramabhadran, B. (May 2013). "Deep convolutional neural networks for LVCSR". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8614–8618. doi:10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6.
  65. ↑ Yann LeCun (2016). Slides on Deep Learning Online
  66. ↑ D. Yu, L. Deng, G. Li, and F. Seide (2011). "Discriminative pretraining of deep neural networks," U.S. Patent Filing.
  67. ↑ 67.0 67.1 Deng, L.; Hinton, G.; Kingsbury, B. (2013). "New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)" (PDF). {{cite journal}}: Cite journal requires |journal= (help)
  68. ↑ NIPS Workshop: Deep Learning for Speech Recognition and Related Applications, Whistler, BC, Canada, Dec. 2009 (Organizers: Li Deng, Geoff Hinton, D. Yu).
  69. ↑ "Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research". Microsoft Research. 3 December 2015.
  70. ↑ Keynote talk: Recent Developments in Deep Neural Networks. ICASSP, 2013 (by Geoff Hinton).
  71. ↑ 71.0 71.1 Li, Deng (September 2014). "Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'". Interspeech.
  72. ↑ Yu, D.; Deng, L. (2010). "Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition". NIPS Workshop on Deep Learning and Unsupervised Feature Learning.
  73. ↑ Seide, F.; Li, G.; Yu, D. (2011). "Conversational speech transcription using context-dependent deep neural networks". Interspeech.
  74. ↑ Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (2013-05-01). "Recent Advances in Deep Learning for Speech Research at Microsoft". Microsoft Research.
  75. ↑ 75.0 75.1 引用错误：无效<ref>标签；未给name属性为ReferenceA的引用提供文字
  76. ↑ "Nvidia CEO bets big on deep learning and VR". Venture Beat. April 5, 2016. {{cite web}}: Italic or bold markup not allowed in: |publisher= (help)
  77. ↑ "From not working to neural networking". The Economist. {{cite web}}: Italic or bold markup not allowed in: |publisher= (help)
  78. ↑ 78.0 78.1 Oh, K.-S.; Jung, K. (2004). "GPU implementation of neural networks". Pattern Recognition. 37 (6): 1311–1314. doi:10.1016/j.patcog.2004.01.013.
  79. ↑ 79.0 79.1 Chellapilla, K., Puri, S., and Simard, P. (2006). High performance convolutional neural networks for document processing. International Workshop on Frontiers in Handwriting Recognition.
  80. ↑ Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (2010-09-21). "Deep, Big, Simple Neural Nets for Handwritten Digit Recognition". Neural Computation. 22 (12): 3207–3220. doi:10.1162/neco_a_00052. ISSN 0899-7667.
  81. ↑ Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). "Large-scale Deep Unsupervised Learning Using Graphics Processors". Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09. New York, NY, USA: ACM: 873–880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN 9781605585161.
  82. ↑ Sze, Vivienne; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). "Efficient Processing of Deep Neural Networks: A Tutorial and Survey". arXiv:1703.09039 [cs.CV].
  83. ↑ "Announcement of the winners of the Merck Molecular Activity Challenge".
  84. ↑ "Multi-task Neural Networks for QSAR Predictions | Data Science Association". www.datascienceassn.org. Retrieved 2017-06-14.
  85. ↑ 85.0 85.1 "Toxicology in the 21st century Data Challenge"
  86. ↑ 86.0 86.1 "NCATS Announces Tox21 Data Challenge Winners".
  87. ↑ 87.0 87.1 "Archived copy". Archived from the original on 2015-02-28. Retrieved 2015-03-05. {{cite web}}: Unknown parameter |deadurl= ignored (help)CS1 maint: archived copy as title (link)
  88. ↑ Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L. M.; Schmidhuber, J. (2011). "Flexible, High Performance Convolutional Neural Networks for Image Classification" (PDF). International Joint Conference on Artificial Intelligence. doi:10.5591/978-1-57735-516-8/ijcai11-210.
  89. ↑ Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Juergen (2012). Pereira, F.. ed. Advances in Neural Information Processing Systems 25. Curran Associates, Inc.. pp. 2843–2851. http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf. 
  90. ↑ Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). "Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks" (PDF). Proceedings MICCAI.
  91. ↑ "The Wolfram Language Image Identification Project". www.imageidentify.com. Retrieved 2017-03-22.
  92. ↑ Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). "Show and Tell: A Neural Image Caption Generator". arXiv:1411.4555 [cs.CV]..
  93. ↑ Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). "From Captions to Visual Concepts and Back". arXiv:1411.4952 [cs.CV]..
  94. ↑ Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models". arXiv:1411.2539 [cs.LG]..
  95. ↑ Zhong, Sheng-hua; Liu, Yan; Liu, Yang (2011). "Bilinear Deep Learning for Image Classification". Proceedings of the 19th ACM International Conference on Multimedia. MM '11. New York, NY, USA: ACM: 343–352. doi:10.1145/2072298.2072344. ISBN 9781450306164.
  96. ↑ "Why Deep Learning Is Suddenly Changing Your Life". Fortune. 2016. Retrieved 13 April 2018.
  97. ↑ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042.
  98. ↑ Bengio, Y.; Boulanger-Lewandowski, N.; Pascanu, R. (May 2013). "Advances in optimizing recurrent networks". 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8624–8628. arXiv:1212.0901. doi:10.1109/icassp.2013.6639349. ISBN 978-1-4799-0356-6.
  99. ↑ Dahl, G.; et al. (2013). "Improving DNNs for LVCSR using rectified linear units and dropout" (PDF). ICASSP.
  100. ↑ You, Yang; Buluç, Aydın; Demmel, James (November 2017). "Scaling deep learning on GPU and knights landing clusters". SC '17, ACM. Retrieved 5 March 2018.
  101. ↑ Viebke, André; Memeti, Suejb; Pllana, Sabri; Abraham, Ajith (March 2017). "CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi". The Journal of Supercomputing: 1–31. doi:10.1007/s11227-017-1994-x.
  102. ↑ "How Skype Used AI to Build Its Amazing New Language Translator | WIRED". www.wired.com. Retrieved 2017-06-14.
  103. ↑ Hannun, Awni; Case, Carl; Casper, Jared; Catanzaro, Bryan; Diamos, Greg; Elsen, Erich; Prenger, Ryan; Satheesh, Sanjeev; Sengupta, Shubho; Coates, Adam; Ng, Andrew Y (2014). "Deep Speech: Scaling up end-to-end speech recognition". arXiv:1412.5567 [cs.CL].
  104. ↑ "Plenary presentation at ICASSP-2016" (PDF).
  105. ↑ "MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges". yann.lecun.com.
  106. ↑ 106.0 106.1 Cireşan, Dan; Meier, Ueli; Masci, Jonathan; Schmidhuber, Jürgen (August 2012). "Multi-column deep neural network for traffic sign classification". Neural Networks. Selected Papers from IJCNN 2011. 32: 333–338. doi:10.1016/j.neunet.2012.02.023.
  107. ↑ Nvidia Demos a Car Computer Trained with "Deep Learning" (2015-01-06), David Talbot, MIT Technology Review
  108. ↑ G. W. Smith; Frederic Fol Leymarie (10 April 2017). "The Machine as Artist: An Introduction". Arts. Retrieved 4 October 2017.
  109. ↑ Blaise Agüera y Arcas (29 September 2017). "Art in the Age of Machine Intelligence". Arts. Retrieved 4 October 2017.
  110. ↑ 引用错误：无效<ref>标签；未给name属性为gers2001的引用提供文字
  111. ↑ Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (March 2003). "A Neural Probabilistic Language Model". J. Mach. Learn. Res. 3: 1137–1155. ISSN 1532-4435.
  112. ↑ 112.0 112.1 112.2 Sutskever, L.; Vinyals, O.; Le, Q. (2014). "Sequence to Sequence Learning with Neural Networks" (PDF). Proc. NIPS.
  113. ↑ 引用错误：无效<ref>标签；未给name属性为vinyals2016的引用提供文字
  114. ↑ 引用错误：无效<ref>标签；未给name属性为gillick2015的引用提供文字
  115. ↑ Goldberg, Yoav; Levy, Omar (2014). "word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method". arXiv:1402.3722 [cs.CL].
  116. ↑ Socher, Richard; Manning, Christopher. "Deep Learning for NLP" (PDF). Retrieved 26 October 2014.
  117. ↑ Socher, Richard (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank" (PDF). {{cite journal}}: Cite journal requires |journal= (help)
  118. ↑ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014-11-01). "A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval". Microsoft Research.
  119. ↑ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013-10-01). "Learning Deep Structured Semantic Models for Web Search using Clickthrough Data". Microsoft Research.
  120. ↑ 120.0 120.1 Mesnil, G.; Dauphin, Y.; Yao, K.; Bengio, Y.; Deng, L.; Hakkani-Tur, D.; He, X.; Heck, L.; Tur, G.; Yu, D.; Zweig, G. (2015). "Using recurrent neural networks for slot filling in spoken language understanding". IEEE Transactions on Audio, Speech, and Language Processing. 23 (3): 530–539. doi:10.1109/taslp.2014.2383614.
  121. ↑ 121.0 121.1 Gao, Jianfeng; He, Xiaodong; Yih, Scott Wen-tau; Deng, Li (2014-06-01). "Learning Continuous Phrase Representations for Translation Modeling". Microsoft Research.
  122. ↑ Brocardo ML, Traore I, Woungang I, Obaidat MS. "Authorship verification using deep belief network systems". Int J Commun Syst. 2017. doi:10.1002/dac.3259
  123. ↑ "Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research". Microsoft Research. Retrieved 2017-06-14.
  124. ↑ Socher, Richard (2013). "Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank" (PDF). {{cite journal}}: Cite journal requires |journal= (help)
  125. ↑ Shen, Yelong; He, Xiaodong; Gao, Jianfeng; Deng, Li; Mesnil, Gregoire (2014-11-01). "A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval". Microsoft Research.
  126. ↑ Huang, Po-Sen; He, Xiaodong; Gao, Jianfeng; Deng, Li; Acero, Alex; Heck, Larry (2013-10-01). "Learning Deep Structured Semantic Models for Web Search using Clickthrough Data". Microsoft Research.
  127. ↑ "Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research". Microsoft Research. Retrieved 2017-06-14.
  128. ↑ Arrowsmith, J; Miller, P (2013). "Trial watch: Phase II and phase III attrition rates 2011-2012". Nature Reviews Drug Discovery. 12 (8): 569. doi:10.1038/nrd4090. PMID 23903212.
  129. ↑ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, H. W.; Hochreiter, S (2015). "Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project". Drug Discovery Today. 20 (5): 505–513. doi:10.1016/j.drudis.2014.12.014. PMID 25582842.
  130. ↑ Wallach, Izhar; Dzamba, Michael; Heifets, Abraham (2015-10-09). "AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery". arXiv:1510.02855 [cs.LG].
  131. ↑ "Toronto startup has a faster way to discover effective medicines". The Globe and Mail. Retrieved 2015-11-09.
  132. ↑ "Startup Harnesses Supercomputers to Seek Cures". KQED Future of You. Retrieved 2015-11-09.
  133. ↑ "Toronto startup has a faster way to discover effective medicines".
  134. ↑ Tkachenko, Yegor (April 8, 2015). "Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space". arXiv:1504.01840 [cs.LG].
  135. ↑ van den Oord, Aaron; Dieleman, Sander; Schrauwen, Benjamin (2013). Burges, C. J. C.. ed. Advances in Neural Information Processing Systems 26. Curran Associates, Inc.. pp. 2643–2651. http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf. 
  136. ↑ Elkahky, Ali Mamdouh; Song, Yang; He, Xiaodong (2015-05-01). "A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems". Microsoft Research.
  137. ↑ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (1 January 2014). "Deep Autoencoder Neural Networks for Gene Ontology Annotation Predictions". Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. ACM: 533–540. doi:10.1145/2649387.2649442. ISBN 9781450328944 – via ACM Digital Library.
  138. ↑ Sathyanarayana, Aarti (2016-01-01). "Sleep Quality Prediction From Wearable Data Using Deep Learning". JMIR mHealth and uHealth. 4 (4): e125. doi:10.2196/mhealth.6562. PMC 5116102. PMID 27815231.
  139. ↑ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (2016-08-13). "Using recurrent neural network models for early detection of heart failure onset". Journal of the American Medical Informatics Association. 24 (2): 361–370. doi:10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725. PMID 27521897.
  140. ↑ Startups, Requests for (2016-08-12). "Deep Learning in Healthcare: Challenges and Opportunities". Medium. Retrieved 2018-04-10.
  141. ↑ "Using Deep Learning Neural Networks To Find Best Performing Audience Segments" (PDF). IJSTR. 5 (4).
  142. ↑ De, Shaunak; Maity, Abhishek; Goel, Vritti; Shitole, Sanjay; Bhattacharya, Avik (2017). "Predicting the popularity of instagram posts for a lifestyle magazine using deep learning". 2nd IEEE Conference on Communication Systems, Computing and IT Applications: 174–177. doi:10.1109/CSCITA.2017.8066548. ISBN 978-1-5090-4381-1.
  143. ↑ Schmidt, Uwe; Roth, Stefan. Shrinkage Fields for Effective Image Restoration (PDF). Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on.
  144. ↑ Czech, Tomasz. "Deep learning: the next frontier for money laundering detection". Global Banking and Finance Review.
  145. ↑ 145.0 145.1 "Army researchers develop new algorithms to train robots". EurekAlert! (in English). Retrieved 2018-08-29. 引用错误：无效<ref>标签；name属性“:12”使用不同内容定义了多次
  146. ↑ Metz, C. (12 December 2013). "Facebook's 'Deep Learning' Guru Reveals the Future of AI". Wired.
  147. ↑ "Blippar Demonstrates New Real-Time Augmented Reality App". TechCrunch.
  148. ↑ "Google AI algorithm masters ancient game of Go". Nature News & Comment. Retrieved 2016-01-30.
  149. ↑ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda; Lanctot, Marc; Dieleman, Sander; Grewe, Dominik; Nham, John; Kalchbrenner, Nal; Sutskever, Ilya; Lillicrap, Timothy; Leach, Madeleine; Kavukcuoglu, Koray; Graepel, Thore; Hassabis, Demis (28 January 2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 0028-0836. PMID 26819042. Retrieved 11 December 2017.模板:Closed access
  150. ↑ "A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go | MIT Technology Review". MIT Technology Review. Retrieved 2016-01-30.
  151. ↑ "Talk to the Algorithms: AI Becomes a Faster Learner". governmentciomedia.com (in English). Retrieved 2018-08-29.
  152. ↑ Knight, Will (2017-03-14). "DARPA is funding projects that will try to open up AI's black boxes". MIT Technology Review. Retrieved 2017-11-02.
  153. ↑ Marcus, Gary (November 25, 2012). "Is "Deep Learning" a Revolution in Artificial Intelligence?". The New Yorker. Retrieved 2017-06-14.
  154. ↑ Smith, G. W. (March 27, 2015). "Art and Artificial Intelligence". ArtEnt. Archived from the original on June 25, 2017. Retrieved March 27, 2015. {{cite web}}: Unknown parameter |deadurl= ignored (help)
  155. ↑ Mellars, Paul (February 1, 2005). "The Impossible Coincidence: A Single-Species Model for the Origins of Modern Human Behavior in Europe" (PDF). Evolutionary Anthropology: Issues, News, and Reviews. Retrieved April 5, 2017.
  156. ↑ Alexander Mordvintsev; Christopher Olah; Mike Tyka (June 17, 2015). "Inceptionism: Going Deeper into Neural Networks". Google Research Blog. Retrieved June 20, 2015.
  157. ↑ Alex Hern (June 18, 2015). "Yes, androids do dream of electric sheep". The Guardian. Retrieved June 20, 2015.
  158. ↑ Goertzel, Ben (2015). "Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms?" (PDF).
  159. ↑ Nguyen, Anh; Yosinski, Jason; Clune, Jeff (2014). "Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images". arXiv:1412.1897 [cs.CV].
  160. ↑ Szegedy, Christian; Zaremba, Wojciech; Sutskever, Ilya; Bruna, Joan; Erhan, Dumitru; Goodfellow, Ian; Fergus, Rob (2013). "Intriguing properties of neural networks". arXiv:1312.6199 [cs.CV].
  161. ↑ Miller, G. A., and N. Chomsky. "Pattern conception." Paper for Conference on pattern detection, University of Michigan. 1957.
  162. ↑ Eisner, Jason. "Deep Learning of Recursive Structure: Grammar Induction".
  163. ↑ 163.0 163.1 163.2 163.3 "AI Is Easy to Fool—Why That Needs to Change". Singularity Hub. 2017-10-10. Retrieved 2017-10-11.
  164. ↑ Gibney, Elizabeth (2017). "The scientist who spots fake videos". Nature. doi:10.1038/nature.2017.22784.
取自“https://wiki.swarma.org/index.php?title=深度学习&oldid=15449”