3
个编辑
更改
→神经活动重现
神经活动重现（或称为回放）指的是在之后的休息或睡眠期间重新激活先前编码的神经活动。回放通常有更快的时间尺度。这是一种大脑巩固新学习信息、加强神经连接、从过去的经历中提取有意义的模式或关联的过程。神经活动重现会在大鼠、小鼠、猫<ref>Buhry, L., Azizi, A. H., & Cheng, S. (2011). Reactivation, replay, and preplay: how it might all fit together. Neural plasticity, 2011, 203462. https://doi.org/10.1155/2011/203462</ref>、兔子<ref>Nokia, M. S., Penttonen, M., & Wikgren, J. (2010). Hippocampal ripple-contingent training accelerates trace eyeblink conditioning and retards extinction in rabbits. The Journal of neuroscience : the official journal of the Society for Neuroscience, 30(34), 11486–11492. https://doi.org/10.1523/JNEUROSCI.2165-10.2010</ref>、鸣禽<ref>Dave, A. S., & Margoliash, D. (2000). Song replay during sleep and computational rules for sensorimotor vocal learning. Science (New York, N.Y.), 290(5492), 812–816. https://doi.org/10.1126/science.290.5492.812</ref>和猴子身上观察到。人类神经活动重现与动物神经活动重现类似，都是神经信号在时间上的序列重现。
神经活动重现（或称为回放）指的是在之后的休息或睡眠期间重新激活先前编码的神经活动。回放通常有更快的时间尺度。这是一种大脑巩固新学习信息、加强神经连接、从过去的经历中提取有意义的模式或关联的过程。神经活动重现会在大鼠、小鼠、猫<ref>Buhry, L., Azizi, A. H., & Cheng, S. (2011). Reactivation, replay, and preplay: how it might all fit together. Neural plasticity, 2011, 203462. https://doi.org/10.1155/2011/203462</ref>、兔子<ref>Nokia, M. S., Penttonen, M., & Wikgren, J. (2010). Hippocampal ripple-contingent training accelerates trace eyeblink conditioning and retards extinction in rabbits. The Journal of neuroscience : the official journal of the Society for Neuroscience, 30(34), 11486–11492. https://doi.org/10.1523/JNEUROSCI.2165-10.2010</ref>、鸣禽<ref>Dave, A. S., & Margoliash, D. (2000). Song replay during sleep and computational rules for sensorimotor vocal learning. Science (New York, N.Y.), 290(5492), 812–816. https://doi.org/10.1126/science.290.5492.812</ref>和猴子身上观察到。人类神经活动重现与动物神经活动重现类似，都是神经信号在时间上的序列重现。
=== 位置和功能 ===
回放可以发生在不同的神经系统中，包括海马和皮质，涉及到不同形式的神经活动，如发放速率、振荡模式以及不同神经元之间的同步。在海马体中，回放被认为在空间导航和记忆巩固中发挥着至关重要的作用。在休息或睡眠期间，海马神经元可以自发地重新激活之前在特定环境中探索时已经激活的神经活动序列。海马体是一个与记忆和空间导航有关的大脑区域。举例来说，其中的位置细胞可以重现神经活动。当动物处于空间的某个特定位置时，位置细胞会被激活。在空间导航时，位置细胞会根据动物的路径有顺序地发放。在休息或睡眠时，这些细胞会以相似的方式被重新激活，但其速度比动物实际移动的速度快得多。
回放可以发生在不同的神经系统中，包括海马和皮质，涉及到不同形式的神经活动，如发放速率、振荡模式以及不同神经元之间的同步。在海马体中，回放被认为在空间导航和记忆巩固中发挥着至关重要的作用。在休息或睡眠期间，海马神经元可以自发地重新激活之前在特定环境中探索时已经激活的神经活动序列。海马体是一个与记忆和空间导航有关的大脑区域。举例来说，其中的位置细胞可以重现神经活动。当动物处于空间的某个特定位置时，位置细胞会被激活。在空间导航时，位置细胞会根据动物的路径有顺序地发放。在休息或睡眠时，这些细胞会以相似的方式被重新激活，但其速度比动物实际移动的速度快得多。
一些研究认为，回放可能不仅发生在海马中。回放还在其他大脑区域中被观察到，如皮质，可能有助于非空间记忆的巩固，例如与语言、运动技能和决策有关的记忆。回放与默认网络的皮层区域中的一致性活动有关<ref>Higgins, C., Liu, Y., Vidaurre, D., Kurth-Nelson, Z., Dolan, R., Behrens, T., & Woolrich, M. (2021). Replay bursts in humans coincide with activation of the default mode and parietal alpha networks. Neuron, 109(5), 882–893.e7. https://doi.org/10.1016/j.neuron.2020.12.007</ref>。在学习之后，丘脑和皮层会发生相似的神经活动重现<ref>Ribeiro, S., Gervasoni, D., Soares, E. S., Zhou, Y., Lin, S. C., Pantoja, J., Lavine, M., & Nicolelis, M. A. (2004). Long-lasting novelty-induced neuronal reverberation during slow-wave sleep in multiple forebrain areas. PLoS biology, 2(1), E24. https://doi.org/10.1371/journal.pbio.0020024</ref>。海马和皮层的同时再激活可能表明，记忆巩固需要皮层的输入/输出来维持记忆。这个假设很好地契合了大脑皮层在记忆检索中扮演重要角色的想法<ref>Ji, D., & Wilson, M. A. (2007). Coordinated memory replay in the visual cortex and hippocampus during sleep. Nature neuroscience, 10(1), 100–107. https://doi.org/10.1038/nn1825</ref>。因此，海马回放可能扮演着在海马和皮层之间进行信息传递的角色，但这个想法需要进一步验证。
一些研究认为，回放可能不仅发生在海马中。回放还在其他大脑区域中被观察到，如皮质，可能有助于非空间记忆的巩固，例如与语言、运动技能和决策有关的记忆。回放与默认网络的皮层区域中的一致性活动有关<ref>Higgins, C., Liu, Y., Vidaurre, D., Kurth-Nelson, Z., Dolan, R., Behrens, T., & Woolrich, M. (2021). Replay bursts in humans coincide with activation of the default mode and parietal alpha networks. Neuron, 109(5), 882–893.e7. https://doi.org/10.1016/j.neuron.2020.12.007</ref>。在学习之后，丘脑和皮层会发生相似的神经活动重现<ref>Ribeiro, S., Gervasoni, D., Soares, E. S., Zhou, Y., Lin, S. C., Pantoja, J., Lavine, M., & Nicolelis, M. A. (2004). Long-lasting novelty-induced neuronal reverberation during slow-wave sleep in multiple forebrain areas. PLoS biology, 2(1), E24. https://doi.org/10.1371/journal.pbio.0020024</ref>。海马和皮层的同时再激活可能表明，记忆巩固需要皮层的输入/输出来维持记忆。这个假设很好地契合了大脑皮层在记忆检索中扮演重要角色的想法<ref>Ji, D., & Wilson, M. A. (2007). Coordinated memory replay in the visual cortex and hippocampus during sleep. Nature neuroscience, 10(1), 100–107. https://doi.org/10.1038/nn1825</ref>。因此，海马回放可能扮演着在海马和皮层之间进行信息传递的角色，但这个想法需要进一步验证。
=== 历史 ===
神经活动重现最初是通过研究大鼠的海马体发现的。我们从John O’Keefe等人获得诺贝尔奖的工作中可知，许多海马细胞只有在动物位于一个特定的地方时才会启动。在早期的实验中，令大鼠跑完一条走廊或圆形轨道，研究人员可以根据神经元的发放程度确定具体神经元会对走廊内中的哪个位置进行编码。之后，科学家们在大鼠休息时对相同的神经元进行了记录。在休息期间，这些细胞有时会自发地以快速序列发射，标示出动物先前跑过的相同路径，但速度大大加快。这些序列被称为回放。整个回放序列只持续几分之一秒，但却播放了几秒钟的真实经验。
我们现在知道回放对于学习是至关重要的。在最近的一些实验中，研究人员从海马体上进行记录，以实时检测回放事件的特征。通过扰乱回放事件期间的大脑活动（无论是在睡眠或清醒的休息期间），科学家们明显损害了啮齿动物学习新任务的能力。作为对比，扰乱与回放事件不同步的200毫秒对学习却没有影响。
虽然这些实验很有启示意义，但啮齿动物实验的一个重要限制是难以研究认知的更复杂方面，如抽象概念。在过去的几年里，在人类的大脑中也检测到了类似回放的序列，支持了回放是普遍存在的观点，并扩大了我们可以提出的问题的种类。
=== 人工神经网络中的回放 ===
在神经网络中引入回放，对推进人工智能的发展是有益的。深度学习往往依赖于现成的大型数据集。在强化学习中，这些数据来自于与环境的直接互动。经验回放的技术允许智能体反复排练以前的互动，充分利用每一次互动。这种方法被证明是将深度神经网络与强化学习结合的关键，也就是DQN智能体能够首次掌握多个Atari游戏的原因。
自从提出DQN以来，通过优先回放记忆中最突出的经验，而不是简单地随机选择经验进行回放，其效率得到了提高。最近，优先回放的一个变种被用作神经科学的模型，成功地解释了大脑记录的经验数据。
智能体性能的进一步改善来自于结合多个智能体的经验，从同一组经验中学习各种不同的行为，以及不仅回放世界上事件的轨迹，而且回放代理人相应的内部记忆状态。这些方法中的每一种都为神经科学做出了有趣的预测，而这些预测在很大程度上仍未得到验证。
== 参考文献 ==
== 参考文献 ==