3,094
个编辑
更改
→正式提出与发展
=== 正式提出与发展 ===
=== 正式提出与发展 ===
1982年[[约翰·霍普菲尔德]]在《美国国家科学院院刊》发表论文<ref name='hopfield_1982'>{{cite journal|author=Hopfield J J.|title=Neural networks and physical systems with emergent collective computational abilities|journal=Proceedings of the National Academy of Science|year=1982|volume=79|issue=8|page=2554-2558}}</ref>，将[[自旋系统]]与[[神经网络]]结合，建立完整收敛性证明，证明对称权重网络存在[[李雅普诺夫能量函数]]，迭代必然收敛至局部极小值（存储记忆）。
1982年[[约翰·霍普菲尔德]]在《美国国家科学院院刊》发表论文<ref name='hopfield_1982'>{{cite journal|author=Hopfield J J.|title=Neural networks and physical systems with emergent collective computational abilities|journal=Proceedings of the National Academy of Science|year=1982|volume=79|issue=8|page=2554-2558}}</ref>，将[[自旋系统]]与[[神经网络]]结合，建立完整收敛性证明，证明对称权重网络存在[[李雅普诺夫能量函数]]，迭代必然收敛至局部极小值（存储记忆）。1984年霍普菲尔德拓展出'''连续Hopfield网络'''，[[神经元]]取值连续，适配优化问题<ref name='hopfield_1984'>{{cite journal|author=Hopfield J J.|title=Neurons with graded response have collective computational properties like those of two-state neurons|journal=Proceedings of the National Academy of Science|year=1984|volume=81|issue=10|page=3088-3092}}</ref>
2016年后Krotov、Hopfield提出'''现代Hopfield网络（稠密关联记忆）'''，突破经典模型极低存储容量限制，数学上等价于[[Transformer]][[自注意力]]层，广泛应用于[[大语言模型]]记忆检索。
2016年后Krotov、Hopfield提出'''现代Hopfield网络（稠密关联记忆）'''，突破经典模型极低存储容量限制，数学上等价于[[Transformer]][[自注意力]]层，广泛应用于[[大语言模型]]记忆检索。