“认知地图”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
 
第31行： 第31行：
 
认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。
 
认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。
  
−
然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即认知地图不仅仅表征物理空间，同时也表征事物之间关系。
+
然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即海马的认知地图不仅仅表征物理空间，也表征人类的关系型记忆。
  
 +
最近一些研究结果佐证了该观点。通过使用功能性磁共振成像技术（fMRI），研究者可以测量这些细胞编码空间信息的方式。在实验中，参与者通过虚拟现实空间世界或抽象概念空间进行导航，观察到fMRI信号的六边形对称正弦调制，这是网格细胞编码位置和方向的信号。<ref>Evidence for grid cells in a human memory network Nature C.F. Doeller, C. Barry, N. Burgess 2010</ref>2016，Constantinescu和Behrens等人，通过操纵物理刺激的变化，构建上一个概念上的bird space，并发现人类Medial entorhinal cortex(MEC)和Ventral medial prefrontal cortex(vmPFC)的类网格细胞(Grid-like coding)的神经活动可以表征该二维概念空间<ref>Constantinescu, A. O., O’Reilly, J. X. & Behrens, T. E. J. Organizing conceptual knowledge in humans with a gridlike code. Science 352, 1464–1468 (2016).</ref>. 2021, Park等人的研究进一步发现人类利用二维概念空间的信息完成推理任务时,MEC和vmPFC也会激活类网格细胞的神经活动。<ref>Park, S.A., Miller, D.S. & Boorman, E.D. Inferences on a multidimensional social hierarchy use a grid-like code. Nat Neurosci 24, 1292–1301 (2021)</ref>
  
−
最近一些研究结果佐证了该观点。2016，Constantinescu和Behrens等人，通过操纵物理刺激的变化，构建上一个概念上的bird space，并发现人类Medial entorhinal cortex和Ventral medial prefrontal cortex的类网格细胞(Grid-like coding)的神经活动可以表征该二维概念空间<ref>Constantinescu, A. O., O’Reilly, J. X. & Behrens, T. E. J. Organizing conceptual knowledge in humans with a gridlike code. Science 352, 1464–1468 (2016).</ref>. 2021, Park等人的研究进一步发现人类利用二维概念空间的信息完成推理任务时，Medial entorhinal cortex和Ventral medial prefrontal cortex也会激活类网格细胞的神经活动。<ref>Park, S.A., Miller, D.S. & Boorman, E.D. Inferences on a multidimensional social hierarchy use a grid-like code. Nat Neurosci 24, 1292–1301 (2021)</ref>
 
  
 +
此外，研究者还发现，网格细胞对非空间维度（如抽象概念）进行编码，这表明它们对大脑信息处理中非空间维度的重要性。例如，研究者发现在海马体中存在一些细胞对声音频率进行编码，类似于线性轨道上的位置细胞对空间位置的编码方式。这表明大脑不仅仅对空间信息进行编码，还能对非空间信息进行编码，以实现更复杂的认知任务。<ref>Mapping of a non-spatial dimension by the hippocampal-entorhinal circuit Nature D. Aronov, R. Nevers, D.W. Tank 2017</ref>此外，还有研究发现声音操作任务的进展进行编码。<ref>Grid Cell Responses in 1D Environments Assessed as Slices through a 2D Lattice Neuron K. Yoon, S. Lewallen, A.A. Kinkhabwala, D.W. Tank, I.R. Fiete 2016</ref>
  
−
这些研究证据表明人类在利用事物之间关系进行想象和推理时，海马和内嗅皮层呈现了和空间导航任务相似的神经活动，这为认知地图作为一种跨越多个领域的结构化知识的心理表征，提供了新的视角。
+
综上所述，这些研究证据表明人类在利用事物之间关系进行想象和推理时，海马和内嗅皮层呈现了和空间导航任务相似的神经活动，这为认知地图作为一种跨越多个领域的结构化知识的心理表征，提供了新的视角。不仅仅是物理空间信息可以被大脑组织为认知地图的形式，事物之间关系也可以被共享相同机制的认知地图所表征，从而实现抽象，推理，泛化等高级认知，支持人类灵活的行为。
  
−
因此，不仅仅是物理空间信息可以被大脑组织为认知地图的形式，事物之间关系也可以被共享相同机制的认知地图所表征，从而实现抽象，推理，泛化等高级认知，支持人类灵活的行为。
 
 
==如何构建认知地图==
 
==如何构建认知地图==
  
第57行： 第57行：
  
 
===  '''潜在状态与序列学习''' ===
 
===  '''潜在状态与序列学习''' ===
−
图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马形成从序列中学习，它的神经表征使用潜在的代表来区分状态16,39-45。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间43。这种静止状态的表征，由于其不同的未来而使感觉上的异化的盒子变得模糊不清。物理位置也可以是不一致的；在空间交替任务中40,41。相同的物理位置（例如，中央的 "树干"）根据动物以前的左/右选择预测出不同的未来。在这里，海马体为每个感官观察包含多个 "克隆 "细胞74,137。当图被赋予从序列中学习和推断潜在状态的能力时，它们开始预测上述的许多潜在状态单元，例如，通过克隆结构图（clone structured cognitive graph，CSCG）模型。
+
图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马系统从序列中学习，它的神经表征可以通过潜在表征区分不同的状态<ref>The hippocampus and memory for orderly stimulus relations JA Dusek, H Eichenbaum Proc. Natl Acad. Sci. USA, 1997</ref><ref>Place cells on a maze encode routes rather than destinations RM Grieves, ER Wood, PA Dudchenko eLife, 2016</ref><ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref><ref>Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009</ref><ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref>。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间<ref>Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015</ref>。这种新的潜在神经表征消除了感官一致所导致的混淆。在空间交替任务中，相同物理位置也可以代表不一样的状态<ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref><ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref>。根据动物之前的左/右选择不同，相同的物理位置（例如，中央的 "树干"）预测出不同的未来。Splitter cells<ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref><ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref>, place cells<ref>Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009</ref>, grid cells<ref>Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015</ref> 和lap cells <ref>Hippocampal neurons represent events as transferable units of experience C Sun, W Yang, J Martin, S Tonegawa Nat. Neurosci., 2020</ref>都是认知地图能够区分不同的潜在的状态的例子。
  
−
在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。
+
当图模型被赋予从序列中学习和推断潜在状态的能力时，它们就开始预测上述的许多潜在状态单元，例如，克隆结构图（clone structured cognitive graph，CSCG）模型。在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。
  
 
===  '''路径整合和压缩''' ===
 
===  '''路径整合和压缩''' ===
第66行： 第66行：
 
τ dg/dt = −g + f (Wg + Ba)  
 
τ dg/dt = −g + f (Wg + Ba)  
  
−
这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。有了一组适当的权重，CANNs使用路径整合，不同的细胞类别（头部方向细胞139,140，位置细胞141,142和网格细胞143；见图，d）用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子144，包括连接和解剖，在啮齿动物中发现了吸引子流行59,146。
+
这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。CANNs可以通过不同的细胞类别实现路径整合，每种细胞使用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子<ref>Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022</ref>，包括连接和解剖，在啮齿动物中发现了吸引子流形<ref>Specific evidence of low-dimensional continuous attractor dynamics in grid cells K Yoon Nat. Neurosci., 2013</ref><ref>Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022</ref>。
  
−
此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。
+
此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型<ref>Coupled noisy spiking neurons as velocity-controlled oscillators in a model of grid cell spatial firing J. Neurosci., 30 (2010), pp. 13850-13860</ref>。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。
  
  
第75行： 第75行：
 
为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。
 
为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。
  
−
目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
+
目前，基于海马的泛化模型有Tolman-Eichenbaum machine<ref>The Tolman–Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation JCR Whittington Cell, 2020</ref>，TEM，和Space memory ，SMP<ref>Uria, B. et al. The spatial memory pipeline: a model of egocentric to allocentric understanding in mammalian brains. Preprint at bioRxiv (2020)</ref>。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
  
 
尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）
 
尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）

2023年3月6日 (一) 18:34的最新版本


认知地图

1948年，Edward Tolman首次提出了“认知地图”的概念[1]。最初，Tolam 尝试通过认知地图解释小鼠自发学习环境中的空间布局，从而具备找到通往食物的捷径的行为。这种对于环境的心理表征，被称为认知地图。此外，对Tolman来说，认知地图不止是空间关系，是系统化组织的知识，范围涉及行为领域各个方面。也就是说，认知地图不仅是物理空间的心理表征，其也可以指一个从过去经验中构建的内部世界模型，该模型解释了事件之间的关系，并预测行动的结果[[2]。

认知地图的历史

认知地图的概念是由Edward C. Tolman首先提出的。托尔曼是早期的认知心理学家之一，他在做一个涉及老鼠和迷宫的实验时提出了这个想法。在Tolman的实验中，一只老鼠被放在一个十字形的迷宫里自由探索。在最初的探索之后，老鼠被放在十字架的一个臂上，食物被放在紧邻右边的下一个臂上。大鼠很快学会了在十字路口向右转，以获得食物。然而，当老鼠被放置在十字迷宫的不同臂上时，大鼠仍然朝着正确的方向去获取食物，找到通往食物的捷径。也就是说，老鼠的行为并不是由行为-奖赏之间的条件反射机械地决定，而是会自发学习迷宫的空间布局，即构建认知地图，并借此可以推断出通往食物的捷径。


不幸的是，由于当时心理学领域盛行的行为主义观点，进一步的研究被延缓了。后来，O'Keefe和Nadel在海马体发现了位置细胞（place cell），指出其是老鼠对其周围环境进行表征的关键，是Tolman的认知地图研究的神经基础，这一观察进一步推动了这一领域的研究[3]。


根据O'Keefe和Nadel（1978），不仅人类需要空间能力，非人类动物也需要空间能力来寻找食物、庇护所和其他动物，无论是伴侣还是捕食者[4]。 为此，一些动物在地标之间建立了关系，使它们能够进行空间推断和探测位置[5]。Tolman, Ritchie, and Kalish（1946年）在迷宫中对老鼠进行的首次实验表明，老鼠可以形成空间位置的心理地图，对其有很好的理解力。但这些实验后来又被其他研究者主导（例如Eichenbaum, Stewart, & Morris, 1990和Singer等人，2006），并没有得出如此明确的结果。有一些作者试图揭示老鼠走捷径的方式。结果表明，在大多数情况下，大鼠在拿取食物时不会使用捷径，除非它们已经有了相应的经验。在这种情况下，已有经验的大鼠使用捷径的速度和频率明显高于那些没有预先接触过的大鼠[6]。


此外，随着时间的推移，认知地图的概念被扩展至其它动物，包括人类。认知地图的概念还在多个领域得到广泛研究，如心理学、教育学、考古学、规划学、地理学、制图学、建筑学、景观建筑、城市规划、管理和历史，导致了更广泛和有区别的定义和应用。比如在运筹学领域，指的是一种代表知识或心理图式的语义网络。由于认知地图的广泛使用和研究，它已经成为几乎所有心理表征或模型的俗语。这些心理模型经常被称为认知地图、心理地图、脚本、图式和参考框架。

认知地图的神经基础

目前，主流的观点认为海马是认知地图的神经基础。海马通过连接其它脑区，从而整合空间和非空间信息。Postrhinal cortex和medial entorhinal cortex的连接为海马提供空间信息。来自 perirhinal cortex和lateral entorhinal cortex 的连接提供了非空间信息。而海马通过整合物体的位置和其他特征信息，表征认知地图中的实际位置[7]。O'Keefe和Nadel首先指出了海马和认知地图之间的关系。许多其他研究显示了支持这一结论的额外证据[8]。具体而言，锥体细胞（位置细胞、边界细胞和网格细胞）被认为是海马系统中认知地图的神经基础。

O'Keefe的许多研究都牵涉到位置细胞的参与。海马体内的单个位置细胞对应于环境中的单独位置。因此，所有细胞的总和有助于形成整个环境的单一地图。细胞之间的连接强度代表它们在实际环境中的距离。同样的位置细胞可以用来构建多个环境，但位置细胞之间的相对位置关系可能在不同地图不同，也即重映射（remapping）。 目前，已经在多种哺乳类动物中， 如小鼠和猕猴中发现位置细胞表征认知地图[9]。此外，在Manns和Eichenbaum对大鼠的研究中，海马内的锥体细胞也参与表示物体位置和物体身份，表明它们参与了认知地图的创建[10]。然而，对于这些对哺乳动物物种的研究是否表明存在认知地图，而不是另一种更简单的确定环境的方法，存在一些争议[11]。

除了海马，medial entorhinal cortex的网格细胞会在经过环境中按六边形周期性排布的位置时活动，也被视作认知地图的神经基础之一。因其独特的功能特性被认为参与了路径整合的过程，而海马的位置细胞的神经活动则表征了通过路径整合获得的信息的输出[12]。与位置细胞不同的是，网格细胞的表征相在不同环境可以保持相对不变。因此，网格细胞被认为编码了可以跨越不同环境，相对不变的空间结构信息。此外，除medial entorhinal cortex外，presubiculum 和parietal cortex 也被认为与认知地图的生成有关。

有一些证据表明，认知地图在海马体中是由两个独立的地图表示的。第一个是方位图，它通过自我运动的线索和梯度线索来表示环境。这些基于矢量的线索的使用创造了一个粗糙的、二维的环境地图。第二张地图是根据位置线索绘制的草图。第二张地图还包括了了特定的物体，或地标，以及它们的相对位置，以创建环境的二维地图。而完整的认知地图是由这两个独立的地图整合而成的。这使我们理解到，帮助我们创造这一心理过程的不仅仅是一张地图，而是三张地图[13]。应该清楚的是，平行地图理论仍在发展。草图在以前的神经生物学过程和解释中有基础，而方位图则很少有研究支持其证据[14]。

认知地图与灵活行为

认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。

然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，[15][16] 即海马的认知地图不仅仅表征物理空间，也表征人类的关系型记忆。

最近一些研究结果佐证了该观点。通过使用功能性磁共振成像技术（fMRI），研究者可以测量这些细胞编码空间信息的方式。在实验中，参与者通过虚拟现实空间世界或抽象概念空间进行导航，观察到fMRI信号的六边形对称正弦调制，这是网格细胞编码位置和方向的信号。[17]2016，Constantinescu和Behrens等人，通过操纵物理刺激的变化，构建上一个概念上的bird space，并发现人类Medial entorhinal cortex(MEC)和Ventral medial prefrontal cortex(vmPFC)的类网格细胞(Grid-like coding)的神经活动可以表征该二维概念空间[18]. 2021, Park等人的研究进一步发现人类利用二维概念空间的信息完成推理任务时,MEC和vmPFC也会激活类网格细胞的神经活动。[19]


此外，研究者还发现，网格细胞对非空间维度（如抽象概念）进行编码，这表明它们对大脑信息处理中非空间维度的重要性。例如，研究者发现在海马体中存在一些细胞对声音频率进行编码，类似于线性轨道上的位置细胞对空间位置的编码方式。这表明大脑不仅仅对空间信息进行编码，还能对非空间信息进行编码，以实现更复杂的认知任务。[20]此外，还有研究发现声音操作任务的进展进行编码。[21]

综上所述，这些研究证据表明人类在利用事物之间关系进行想象和推理时，海马和内嗅皮层呈现了和空间导航任务相似的神经活动，这为认知地图作为一种跨越多个领域的结构化知识的心理表征，提供了新的视角。不仅仅是物理空间信息可以被大脑组织为认知地图的形式，事物之间关系也可以被共享相同机制的认知地图所表征，从而实现抽象，推理，泛化等高级认知，支持人类灵活的行为。

如何构建认知地图

认知地图组织知识以实现灵活的行为。实现这种灵活行为意味着认知地图必须包含与行为任务相关的信息。灵活性意味着认知地图面对新的挑战时，能够帮助产生新的行为，并且能够为任何新环境下尽可能快地建立。因此，认知图谱的目的是尽可能提前学习，以使在线学习和计算最小化。为了实现这一目标，认知地图的神经表征必须满足某些要求。这里描述这些计算上的考虑，以及由此产生的模型，这些模型最近在预测神经元表征方面取得了许多成功。


认知地图通过表征环境中的结构关系，从而支持人类的灵活行为。根据神经科学的知识，认知地图表征在Hippocampus formation的神经活动当中。因此，使用计算模型对Hippocampus formation的神经表征进行建模，可以帮助我们理解构建认知地图的原则。目前已经有了多种计算模型用于模拟和解释认知地图的神经表征，从多角度理解认知地图的构建原则：

状态空间与强化学习

为了实现推理和泛化等灵活行为，认知地图需要表征世界的环境信息。例如，在开车时，决定何时转弯取决于是否知道道路的状态，方向盘在哪，其它车辆在哪里，路标上的符号代表什么。 在强化学习中，这个概念被定义为根据当前的世界状态采取行动（例如，当道路向右弯曲时，向右转）。表征环境中的所有状态信息通常是不可行的，因为它可能包含无数种通常和任务无关的信息。这不仅影响表征状态，而且还妨碍了学习效率。这种 "维度的诅咒 "[22]可以通过对状态进行一定程度的抽象（例如，忽略汽车的颜色）来缓解。


在经典的（model-free）强化学习，计算模型学习状态的价值，或者哪些动作在哪些状态下是好的，因此不需要了解状态之间的关系。虽然从长远来看这是最优的，但基于价值的学习往往是不灵活的，学习速度也很慢[23]。 知道状态之间的关系（状态空间结构）可以在任何起始状态和目标状态之间进行灵活的规划，例如，如果常规路线受阻，可以采取新的路线回家[24]。不幸的是，传统的规划机制（例如，树搜索）计算成本很高，然而状态空间有效表征可以降低规划的成本，有时甚至完全降低。这是认知地图的一个核心目标：利用表征解决问题，而不是通过详尽无遗的计算来解决问题。


然而，尽管在物理空间中很容易推测出好的状态空间，但现实中地非空间问题转很难转化为认知地图的形式。一种源自强化学习的方法是将空间学习作为理解图上的关系。在空间中，图的节点定义了物理位置，因此，如果两个位置直接相连，节点之间就有边。重要的是，图也可以将非空间问题形式化。家庭树、社会网络和分子中的原子，都是由实体之间的关系组成的，可以用图来表示。因此，图中的节点代表非空间位置。图定义了状态空间，因此能够实现基于价值的强化学习。它们还可以进行规划：每个状态都可以由一个向量元素v来定，状态位于某一节点，则除该节点的值为1之外，所有元素都设置为0；然后将v乘以T（Tv；T是转换矩阵，其中Tij是从状态j到i的转换概率），在一步之后得到未来状态的分布。同样，再次乘以T（T2v），得到两步之后的分布。重复这个过程，就可以得到节点之间的最短路径。目前已经有基于海马的图模型，例如SR（successor representations），并且它们对空间的表征类似于位置和网格细胞。[25]

潜在状态与序列学习

图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马系统从序列中学习，它的神经表征可以通过潜在表征区分不同的状态[26][27][28][29][30]。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间[31]。这种新的潜在神经表征消除了感官一致所导致的混淆。在空间交替任务中，相同物理位置也可以代表不一样的状态[32][33]。根据动物之前的左/右选择不同，相同的物理位置（例如，中央的 "树干"）预测出不同的未来。Splitter cells[34][35], place cells[36], grid cells[37] 和lap cells [38]都是认知地图能够区分不同的潜在的状态的例子。

当图模型被赋予从序列中学习和推断潜在状态的能力时，它们就开始预测上述的许多潜在状态单元，例如，克隆结构图（clone structured cognitive graph，CSCG）模型。在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。

路径整合和压缩

路径整合提供了一种建立潜在状态空间的强大方式。它建立的地图嵌入了空间结构的知识（在物理空间中，北+东+南+西=0）。这意味着，基于路径整合的地图本质上是潜在的和抽象的，因为它们遵循规则，而不是感官观察；此外这种地图允许关系知识被转移到任何适用相同规则的情况。值得注意的是，尽管路径整合不限于空间，但并非所有的图都能使用路径整合。路径整合模型利用一种特殊类型的循环神经网络（RNN），称为连续吸引子神经网络[39]（Continuous attractor neuralnetworks, CANNs), 其中神经元通过权重W循环连接，并接受速度输入a。神经动力学由以下公式给出:

τ dg/dt = −g + f (Wg + Ba)

这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。CANNs可以通过不同的细胞类别实现路径整合，每种细胞使用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子[40]，包括连接和解剖，在啮齿动物中发现了吸引子流形[41][42]。

此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型[43]。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。


灵活泛化的模型

为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。

目前，基于海马的泛化模型有Tolman-Eichenbaum machine[44]，TEM，和Space memory ，SMP[45]。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。

尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）


参考文献

  1. ↑ Tolman, Edward C. (July 1948). "Cognitive maps in rats and men". Psychological Review. 55 (4): 189–208. doi:10.1037/h0061626. PMID 18870876.
  2. ↑ Timothy E.J. Behrens, Timothy H. Muller, James C.R. Whittington, Shirley Mark, Alon B. Baram, Kimberly L. Stachenfeld, Zeb Kurth-Nelson. What Is a Cognitive Map? Organizing Knowledge for Flexible Behavior,
  3. ↑ O'Keefe, John; Nadel, Lynn (1978). The hippocampus as a cognitive map. Oxford; New York: Clarendon Press; Oxford University Press. ISBN 0198572069. OCLC 4430731. Archived from the original on 2019-09-27. Retrieved 2006-09-27.
  4. ↑ Blasidell Aaron, Cook Robert (2004). "Integration of spatial maps in pigeons". [fr.booksc.org](http://fr.booksc.org "fr.booksc.org"). Retrieved 2022-04-24.
  5. ↑ Olthof, Anneke; Sutton, Jennifer E.; Slumskie, Shawna V.; D'Addetta, JoAnne; Roberts, William A. (1999). "In search of the cognitive map: Can rats learn an abstract pattern of rewarded arms on the radial maze?". [fr.booksc.org](http://fr.booksc.org "fr.booksc.org"). Retrieved 2022-04-24.
  6. ↑ Grieves, Roderick M.; Dudchenko, Paul A. (2013-05-01). "Cognitive maps and spatial inference in animals: Rats fail to take a novel shortcut, but can take a previously experienced one". Learning and Motivation. 44 (2): 81–92. doi:10.1016/j.lmot.2012.08.001. ISSN 0023-9690.
  7. ↑ Manns, Joseph R.; Eichenbaum, Howard (October 2009). "A cognitive map for object memory in the hippocampus". Learning & Memory. 16 (10): 616–624. doi:10.1101/lm.1484509. PMC 2769165. PMID 19794187.
  8. ↑ Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.
  9. ↑ Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.
  10. ↑ Manns, Joseph R.; Eichenbaum, Howard (October 2009). "A cognitive map for object memory in the hippocampus". Learning & Memory. 16 (10): 616–624. doi:10.1101/lm.1484509. PMC 2769165. PMID 19794187.
  11. ↑ Bennett, Andrew T. D. (January 1996). "Do animals have cognitive maps?". The Journal of Experimental Biology. 199 (Pt 1): 219–224. doi:10.1242/jeb.199.1.219. PMID 8576693.
  12. ↑ McNaughton, Bruce L.; Battaglia, Francesco P.; Jensen, Ole; Moser, Edvard I.; Moser, May-Britt (August 2006). "Path integration and the neural basis of the 'cognitive map'". Nature Reviews Neuroscience. 7 (8): 663–678. doi:10.1038/nrn1932. PMID 16858394. S2CID 16928213.
  13. ↑ Jacobs, Lucia F.; Schenk, Françoise (April 2003). "Unpacking the cognitive map: the parallel map theory of hippocampal function". Psychological Review. 110 (2): 285–315. doi:10.1037/0033-295X.110.2.285. PMID 12747525.
  14. ↑ Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.
  15. ↑ Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.
  16. ↑ Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.
  17. ↑ Evidence for grid cells in a human memory network Nature C.F. Doeller, C. Barry, N. Burgess 2010
  18. ↑ Constantinescu, A. O., O’Reilly, J. X. & Behrens, T. E. J. Organizing conceptual knowledge in humans with a gridlike code. Science 352, 1464–1468 (2016).
  19. ↑ Park, S.A., Miller, D.S. & Boorman, E.D. Inferences on a multidimensional social hierarchy use a grid-like code. Nat Neurosci 24, 1292–1301 (2021)
  20. ↑ Mapping of a non-spatial dimension by the hippocampal-entorhinal circuit Nature D. Aronov, R. Nevers, D.W. Tank 2017
  21. ↑ Grid Cell Responses in 1D Environments Assessed as Slices through a 2D Lattice Neuron K. Yoon, S. Lewallen, A.A. Kinkhabwala, D.W. Tank, I.R. Fiete 2016
  22. ↑ Bellman, R. A Markovian decision process. J. Math. Mech. 6, 679–684 (1957
  23. ↑ Sutton, R. S. & Barto, A. G. Reinforcement learning: an introduction. in IEEE Transactions on Neural Networks (2017)
  24. ↑ Studies in spatial learning. I. Orientation and the short-cut
  25. ↑ The hippocampus as a predictive map
  26. ↑ The hippocampus and memory for orderly stimulus relations JA Dusek, H Eichenbaum Proc. Natl Acad. Sci. USA, 1997
  27. ↑ Place cells on a maze encode routes rather than destinations RM Grieves, ER Wood, PA Dudchenko eLife, 2016
  28. ↑ Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000
  29. ↑ Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009
  30. ↑ Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000
  31. ↑ Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015
  32. ↑ Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000
  33. ↑ Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000
  34. ↑ Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000
  35. ↑ Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000
  36. ↑ Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009
  37. ↑ Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015
  38. ↑ Hippocampal neurons represent events as transferable units of experience C Sun, W Yang, J Martin, S Tonegawa Nat. Neurosci., 2020
  39. ↑ Representation of spatial orientation by the intrinsic dynamics of the head-direction cell ensemble: a theory
  40. ↑ Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022
  41. ↑ Specific evidence of low-dimensional continuous attractor dynamics in grid cells K Yoon Nat. Neurosci., 2013
  42. ↑ Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022
  43. ↑ Coupled noisy spiking neurons as velocity-controlled oscillators in a model of grid cell spatial firing J. Neurosci., 30 (2010), pp. 13850-13860
  44. ↑ The Tolman–Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation JCR Whittington Cell, 2020
  45. ↑ Uria, B. et al. The spatial memory pipeline: a model of egocentric to allocentric understanding in mammalian brains. Preprint at bioRxiv (2020)
取自“https://wiki.swarma.org/index.php?title=认知地图&oldid=33995”