更改

=== 张量深度叠加网络（Tensor deep stacking networks） ===

=== 张量深度叠加网络（Tensor deep stacking networks） ===

这个结构是 DSN 的延伸.。它提供了两个重要的改善：使用来自【协方差】统计的更高序的信息，并且将低层【非凸问题】转化为一个更高层的凸子问题。<ref name="ref19">{{cite journal|last2=Deng|first2=Li|last3=Yu|first3=Dong|date=2012|title=Tensor deep stacking networks|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=1–15|issue=8|pages=1944–1957|doi=10.1109/tpami.2012.268|last1=Hutchinson|first1=Brian}}</ref>TDSN在【双线性映射】中，通过一个第三序的【张量】，从预测同一层的两个不同隐藏单元集合使用协方差统计。

这个结构是 DSN 的延伸.。它提供了两个重要的改善：使用来自[https://en.wikipedia.org/wiki/Covariance 协方差]统计的更高序的信息，并且将低层[https://en.wikipedia.org/wiki/Convex_optimization 非凸问题]转化为一个更高层的凸子问题。<ref name="ref19">{{cite journal|last2=Deng|first2=Li|last3=Yu|first3=Dong|date=2012|title=Tensor deep stacking networks|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=1–15|issue=8|pages=1944–1957|doi=10.1109/tpami.2012.268|last1=Hutchinson|first1=Brian}}</ref>TDSN在[https://en.wikipedia.org/wiki/Bilinear_map 双线性映射]中，通过一个第三序的[https://en.wikipedia.org/wiki/Tensor 张量]，从预测同一层的两个不同隐藏单元集合使用协方差统计。

在传统DNN中，并行性和可扩展性不被认为是严重的。<ref name="ref26">{{cite journal|last2=Salakhutdinov|first2=Ruslan|date=2006|title=Reducing the Dimensionality of Data with Neural Networks|journal=Science|volume=313|issue=5786|pages=504–507|doi=10.1126/science.1127647|pmid=16873662|last1=Hinton|first1=Geoffrey|bibcode=2006Sci...313..504H}}</ref><ref name="ref27">{{cite journal|last2=Yu|first2=D.|last3=Deng|first3=L.|last4=Acero|first4=A.|date=2012|title=Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=20|issue=1|pages=30–42|doi=10.1109/tasl.2011.2134090|last1=Dahl|first1=G.}}</ref><ref name="ref28">{{cite journal|last2=Dahl|first2=George|last3=Hinton|first3=Geoffrey|date=2012|title=Acoustic Modeling Using Deep Belief Networks|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=20|issue=1|pages=14–22|doi=10.1109/tasl.2011.2109382|last1=Mohamed|first1=Abdel-rahman}}</ref>DSN和TDSN中所有的学习使用批处理模式, 允许并行化。<ref name="ref16" /><ref name="ref17" />并行化允许放大这种设计到更大（更深）的结构和数据集。

在传统DNN中，并行性和可扩展性不被认为是严重的。<ref name="ref26">{{cite journal|last2=Salakhutdinov|first2=Ruslan|date=2006|title=Reducing the Dimensionality of Data with Neural Networks|journal=Science|volume=313|issue=5786|pages=504–507|doi=10.1126/science.1127647|pmid=16873662|last1=Hinton|first1=Geoffrey|bibcode=2006Sci...313..504H}}</ref><ref name="ref27">{{cite journal|last2=Yu|first2=D.|last3=Deng|first3=L.|last4=Acero|first4=A.|date=2012|title=Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=20|issue=1|pages=30–42|doi=10.1109/tasl.2011.2134090|last1=Dahl|first1=G.}}</ref><ref name="ref28">{{cite journal|last2=Dahl|first2=George|last3=Hinton|first3=Geoffrey|date=2012|title=Acoustic Modeling Using Deep Belief Networks|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=20|issue=1|pages=14–22|doi=10.1109/tasl.2011.2109382|last1=Mohamed|first1=Abdel-rahman}}</ref>DSN和TDSN中所有的学习使用批处理模式, 允许并行化。<ref name="ref16" /><ref name="ref17" />并行化允许放大这种设计到更大（更深）的结构和数据集。

=== 钉板受限玻尔兹曼机（Spike-and-slab RBMs） ===

=== 钉板受限玻尔兹曼机（Spike-and-slab RBMs） ===