更改

=== 深度预测编码网络（Deep predictive coding networks) ===

=== 深度预测编码网络（Deep predictive coding networks) ===

深度预测编码网络 (DPCN)是一个【预测】编码体系，它使用自顶向下信息，经验为主地调整自底向上【推理】过程需要的先验，通过一个深度局部连接的【生成模型】 。这通过使用线性动态模型，从不同时间的观测值提取稀疏【特征】工作。然后一个池化策略被用于学习不变的特征表示。这些单元组成一种【贪心】按层间【无监督学习】训练的深度结构 。这些层构成一种【马尔科夫链】因而任何层的状态只依赖前面和后面的层。

深度预测编码网络 (DPCN)是一个[https://en.wikipedia.org/wiki/Predictive_modelling 预测]编码体系，它使用自顶向下信息，经验为主地调整自底向上[https://en.wikipedia.org/wiki/Inference 推理]过程需要的先验，通过一个深度局部连接的[https://en.wikipedia.org/wiki/Generative_model 生成模型] 。这通过使用线性动态模型，从不同时间的观测值提取稀疏[https://en.wikipedia.org/wiki/Feature_(machine_learning) 特征]工作。然后一个池化策略被用于学习不变的特征表示。这些单元组成一种[https://en.wikipedia.org/wiki/Greedy_algorithm 贪心]按层间[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]训练的深度结构 。这些层构成一种[https://en.wikipedia.org/wiki/Markov_chain 马尔科夫链]因而任何层的状态只依赖前面和后面的层。

DPCN通过使用自顶向下方法用顶层的信息和过去状态的空间依赖预测层的表征。<ref name="ref56">{{cite arXiv|eprint=1301.3541|first2=Jose|last2=Principe|title=Deep Predictive Coding Networks|date=2013|last1=Chalasani|first1=Rakesh|class=cs.LG}}</ref>

DPCN通过使用自顶向下方法用顶层的信息和过去状态的空间依赖预测层的表征。<ref name="ref56">{{cite arXiv|eprint=1301.3541|first2=Jose|last2=Principe|title=Deep Predictive Coding Networks|date=2013|last1=Chalasani|first1=Rakesh|class=cs.LG}}</ref>

DPCN可以被扩展形成一个【卷积网络】。<ref name="ref56" />

DPCN可以被扩展形成一个[https://en.wikipedia.org/wiki/Convolutional_neural_network 卷积网络]。<ref name="ref56" />

【记忆 or 内存？多处。】

【记忆 or 内存？多处。】

=== 带单独记忆结构的网络（Networks with separate memory structures） ===

=== 带单独记忆结构的网络（Networks with separate memory structures） ===

使用ANN整合外部记忆可以追溯到关于分布表征<ref name="Hinton, Geoffrey E 19842">{{Cite web|url=http://repository.cmu.edu/cgi/viewcontent.cgi?article=2841&context=compsci|title=Distributed representations|last=Hinton|first=Geoffrey E.|date=1984|website=|archive-url=|archive-date=|dead-url=|access-date=}}</ref>和【Kohonen】的【自组织映射】的早期研究。例如, 在【稀疏分布式记忆】或【层级空间记忆】中，神经网络编码的模式被用于【可寻址内容的记忆】的地址，使用“神经元”本质上作为地址 【编码器】和【解码器】。 然而早期这种记忆的控制器不可微。

使用ANN整合外部记忆可以追溯到关于分布表征<ref name="Hinton, Geoffrey E 19842">{{Cite web|url=http://repository.cmu.edu/cgi/viewcontent.cgi?article=2841&context=compsci|title=Distributed representations|last=Hinton|first=Geoffrey E.|date=1984|website=|archive-url=|archive-date=|dead-url=|access-date=}}</ref>和【Kohonen】的【自组织映射】的早期研究。例如, 在【稀疏分布式记忆】或【层级空间记忆】中，神经网络编码的模式被用于【可寻址内容的记忆】的地址，使用“神经元”本质上作为地址 【编码器】和【解码器】。 然而早期这种记忆的控制器不可微。