更改

认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。

认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。

然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即认知地图不仅仅表征物理空间，同时也表征事物之间关系。

然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即海马的认知地图不仅仅表征物理空间，也表征人类的关系型记忆。

==如何构建认知地图==

==如何构建认知地图==

===  '''潜在状态与序列学习''' ===

===  '''潜在状态与序列学习''' ===

图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马形成从序列中学习，它的神经表征使用潜在的代表来区分状态16,39-45。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间43。这种静止状态的表征，由于其不同的未来而使感觉上的异化的盒子变得模糊不清。物理位置也可以是不一致的；在空间交替任务中40,41。相同的物理位置（例如，中央的 "树干"）根据动物以前的左/右选择预测出不同的未来。在这里，海马体为每个感官观察包含多个 "克隆 "细胞74,137。当图被赋予从序列中学习和推断潜在状态的能力时，它们开始预测上述的许多潜在状态单元，例如，通过克隆结构图（clone structured cognitive graph，CSCG）模型。

图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马系统从序列中学习，它的神经表征可以通过潜在表征区分不同的状态<ref>The hippocampus and memory for orderly stimulus relations JA Dusek, H Eichenbaum Proc. Natl Acad. Sci. USA, 1997</ref><ref>Place cells on a maze encode routes rather than destinations RM Grieves, ER Wood, PA Dudchenko eLife, 2016</ref><ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref><ref>Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009</ref><ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref>。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间<ref>Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015</ref>。这种新的潜在神经表征消除了感官一致所导致的混淆。在空间交替任务中，相同物理位置也可以代表不一样的状态<ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref><ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref>。根据动物之前的左/右选择不同，相同的物理位置（例如，中央的 "树干"）预测出不同的未来。Splitter cells<ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref><ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref>, place cells<ref>Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009</ref>, grid cells<ref>Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015</ref> 和lap cells <ref>Hippocampal neurons represent events as transferable units of experience C Sun, W Yang, J Martin, S Tonegawa Nat. Neurosci., 2020</ref>都是认知地图能够区分不同的潜在的状态的例子。

===  '''路径整合和压缩''' ===

===  '''路径整合和压缩''' ===

τ dg/dt = −g + f (Wg + Ba)  

τ dg/dt = −g + f (Wg + Ba)  

这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。有了一组适当的权重，CANNs使用路径整合，不同的细胞类别（头部方向细胞139,140，位置细胞141,142和网格细胞143；见图，d）用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子144，包括连接和解剖，在啮齿动物中发现了吸引子流行59,146。

这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。CANNs可以通过不同的细胞类别实现路径整合，每种细胞使用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子<ref>Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022</ref>，包括连接和解剖，在啮齿动物中发现了吸引子流形<ref>Specific evidence of low-dimensional continuous attractor dynamics in grid cells K Yoon Nat. Neurosci., 2013</ref><ref>Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022</ref>。

此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。

此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型<ref>Coupled noisy spiking neurons as velocity-controlled oscillators in a model of grid cell spatial firing J. Neurosci., 30 (2010), pp. 13850-13860</ref>。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。

为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。

为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。

目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。

目前，基于海马的泛化模型有Tolman-Eichenbaum machine<ref>The Tolman–Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation JCR Whittington Cell, 2020</ref>，TEM，和Space memory ，SMP<ref>Uria, B. et al. The spatial memory pipeline: a model of egocentric to allocentric understanding in mammalian brains. Preprint at bioRxiv (2020)</ref>。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。

尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）

尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）