“认知地图”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
第85行： 第85行：
  
 
尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。
 
尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。
 +
 +
 +
==参考文献==
 +
<references />
 +
<references />

2023年3月2日 (四) 10:12的版本


认知地图

1948年，Edward Tolman首次提出了“认知地图”的概念[1]。最初，Tolam 尝试通过认知地图解释小鼠自发学习环境中的空间布局，从而具备找到通往食物的捷径的行为。这种对于环境的心理表征，被称为认知地图。此外，对Tolman来说，认知地图不止是空间关系，是系统化组织的知识，范围涉及行为领域各个方面。也就是说，认知地图不仅是物理空间的心理表征，其也可以指一个从过去经验中构建的内部世界模型，该模型解释了事件之间的关系，并预测行动的结果[[2]。

认知地图的历史

认知地图的概念是由Edward C. Tolman首先提出的。托尔曼是早期的认知心理学家之一，他在做一个涉及老鼠和迷宫的实验时提出了这个想法。在Tolman的实验中，一只老鼠被放在一个十字形的迷宫里自由探索。在最初的探索之后，老鼠被放在十字架的一个臂上，食物被放在紧邻右边的下一个臂上。大鼠很快学会了在十字路口向右转，以获得食物。然而，当老鼠被放置在十字迷宫的不同臂上时，大鼠仍然朝着正确的方向去获取食物，找到通往食物的捷径。也就是说，老鼠的行为并不是由行为-奖赏之间的条件反射机械地决定，而是会自发学习迷宫的空间布局，即构建认知地图，并借此可以推断出通往食物的捷径。


不幸的是，由于当时心理学领域盛行的行为主义观点，进一步的研究被延缓了。后来，O'Keefe和Nadel在海马体发现了位置细胞（place cell），指出其是老鼠对其周围环境进行表征的关键，是Tolman的认知地图研究的神经基础，这一观察进一步推动了这一领域的研究[3]。


根据O'Keefe和Nadel（1978），不仅人类需要空间能力，非人类动物也需要空间能力来寻找食物、庇护所和其他动物，无论是伴侣还是捕食者[4]。 为此，一些动物在地标之间建立了关系，使它们能够进行空间推断和探测位置[5]。Tolman, Ritchie, and Kalish（1946年）在迷宫中对老鼠进行的首次实验表明，老鼠可以形成空间位置的心理地图，对其有很好的理解力。但这些实验后来又被其他研究者主导（例如Eichenbaum, Stewart, & Morris, 1990和Singer等人，2006），并没有得出如此明确的结果。有一些作者试图揭示老鼠走捷径的方式。结果表明，在大多数情况下，大鼠在拿取食物时不会使用捷径，除非它们已经有了相应的经验。在这种情况下，已有经验的大鼠使用捷径的速度和频率明显高于那些没有预先接触过的大鼠[6]。


此外，随着时间的推移，认知地图的概念被扩展至其它动物，包括人类。认知地图的概念还在多个领域得到广泛研究，如心理学、教育学、考古学、规划学、地理学、制图学、建筑学、景观建筑、城市规划、管理和历史，导致了更广泛和有区别的定义和应用。比如在运筹学领域，指的是一种代表知识或心理图式的语义网络。由于认知地图的广泛使用和研究，它已经成为几乎所有心理表征或模型的俗语。这些心理模型经常被称为认知地图、心理地图、脚本、图式和参考框架。

认知地图的神经基础

目前，主流的观点认为海马是认知地图的神经基础。海马通过连接其它脑区，从而整合空间和非空间信息。Postrhinal cortex和medial entorhinal cortex的连接为海马提供空间信息。来自 perirhinal cortex和lateral entorhinal cortex 的连接提供了非空间信息。而海马通过整合物体的位置和其他特征信息，表征认知地图中的实际位置[7]。O'Keefe和Nadel首先指出了海马和认知地图之间的关系。许多其他研究显示了支持这一结论的额外证据[8]。具体而言，锥体细胞（位置细胞、边界细胞和网格细胞）被认为是海马系统中认知地图的神经基础。

O'Keefe的许多研究都牵涉到位置细胞的参与。海马体内的单个位置细胞对应于环境中的单独位置。因此，所有细胞的总和有助于形成整个环境的单一地图。细胞之间的连接强度代表它们在实际环境中的距离。同样的位置细胞可以用来构建多个环境，但位置细胞之间的相对位置关系可能在不同地图不同，也即重映射（remapping）。 目前，已经在多种哺乳类动物中， 如小鼠和猕猴中发现位置细胞表征认知地图[9]。此外，在Manns和Eichenbaum对大鼠的研究中，海马内的锥体细胞也参与表示物体位置和物体身份，表明它们参与了认知地图的创建[10]。然而，对于这些对哺乳动物物种的研究是否表明存在认知地图，而不是另一种更简单的确定环境的方法，存在一些争议[11]。

除了海马，medial entorhinal cortex的网格细胞会在经过环境中按六边形周期性排布的位置时活动，也被视作认知地图的神经基础之一。因其独特的功能特性被认为参与了路径整合的过程，而海马的位置细胞的神经活动则表征了通过路径整合获得的信息的输出[12]。与位置细胞不同的是，网格细胞的表征相在不同环境可以保持相对不变。因此，网格细胞被认为编码了可以跨越不同环境，相对不变的空间结构信息。此外，除medial entorhinal cortex外，presubiculum 和parietal cortex 也被认为与认知地图的生成有关。

有一些证据表明，认知地图在海马体中是由两个独立的地图表示的。第一个是方位图，它通过自我运动的线索和梯度线索来表示环境。这些基于矢量的线索的使用创造了一个粗糙的、二维的环境地图。第二张地图是根据位置线索绘制的草图。第二张地图还包括了了特定的物体，或地标，以及它们的相对位置，以创建环境的二维地图。而完整的认知地图是由这两个独立的地图整合而成的。这使我们理解到，帮助我们创造这一心理过程的不仅仅是一张地图，而是三张地图[13]。应该清楚的是，平行地图理论仍在发展。草图在以前的神经生物学过程和解释中有基础，而方位图则很少有研究支持其证据[14]。

认知地图与灵活行为

认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。

然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，[15][16] 即认知地图不仅仅表征物理空间，同时也表征事物之间关系。


最近一些研究结果佐证了该观点。2016，Constantinescu和Behrens等人，通过操纵物理刺激的变化，构建上一个概念上的bird space，并发现人类Medial entorhinal cortex和Ventral medial prefrontal cortex的类网格细胞(Grid-like coding)的神经活动可以表征该二维概念空间[17]. 2021, Park等人的研究进一步发现人类利用二维概念空间的信息完成推理任务时，Medial entorhinal cortex和Ventral medial prefrontal cortex也会激活类网格细胞的神经活动。[18]


这些研究证据表明人类在利用事物之间关系进行想象和推理时，海马和内嗅皮层呈现了和空间导航任务相似的神经活动，这为认知地图作为一种跨越多个领域的结构化知识的心理表征，提供了新的视角。

因此，不仅仅是物理空间信息可以被大脑组织为认知地图的形式，事物之间关系也可以被共享相同机制的认知地图所表征，从而实现抽象，推理，泛化等高级认知，支持人类灵活的行为。

如何构建认知地图

认知地图组织知识以实现灵活的行为。实现这种灵活行为意味着认知地图必须包含与行为任务相关的信息。灵活性意味着认知地图面对新的挑战时，能够帮助产生新的行为，并且能够为任何新环境下尽可能快地建立。因此，认知图谱的目的是尽可能提前学习，以使在线学习和计算最小化。为了实现这一目标，认知地图的神经表征必须满足某些要求。这里描述这些计算上的考虑，以及由此产生的模型，这些模型最近在预测神经元表征方面取得了许多成功。


认知地图通过表征环境中的结构关系，从而支持人类的灵活行为。根据神经科学的知识，认知地图表征在Hippocampus formation的神经活动当中。因此，使用计算模型对Hippocampus formation的神经表征进行建模，可以帮助我们理解构建认知地图的原则。目前已经有了多种计算模型用于模拟和解释认知地图的神经表征，从多角度理解认知地图的构建原则：


状态空间与强化学习

为了实现推理和泛化等灵活行为，认知地图需要表征世界的环境信息。例如，在开车时，决定何时转弯取决于是否知道道路的状态，方向盘在哪，其它车辆在哪里，路标上的符号代表什么。 在强化学习中，这个概念被定义为根据当前的世界状态采取行动（例如，当道路向右弯曲时，向右转）。表征环境中的所有状态信息通常是不可行的，因为它可能包含无数种通常和任务无关的信息。这不仅影响表征状态，而且还妨碍了学习效率。这种 "维度的诅咒 "[19]可以通过对状态进行一定程度的抽象（例如，忽略汽车的颜色）来缓解。


在经典的（model-free）强化学习，计算模型学习状态的价值，或者哪些动作在哪些状态下是好的，因此不需要了解状态之间的关系。虽然从长远来看这是最优的，但基于价值的学习往往是不灵活的，学习速度也很慢[20]。 知道状态之间的关系（状态空间结构）可以在任何起始状态和目标状态之间进行灵活的规划，例如，如果常规路线受阻，可以采取新的路线回家[21]。不幸的是，传统的规划机制（例如，树搜索）计算成本很高，然而状态空间有效表征可以降低规划的成本，有时甚至完全降低。这是认知地图的一个核心目标：利用表征解决问题，而不是通过详尽无遗的计算来解决问题。


然而，尽管在物理空间中很容易推测出好的状态空间，但现实中地非空间问题转很难转化为认知地图的形式。一种源自强化学习的方法是将空间学习作为理解图上的关系。在空间中，图的节点定义了物理位置，因此，如果两个位置直接相连，节点之间就有边。重要的是，图也可以将非空间问题形式化。家庭树、社会网络和分子中的原子，都是由实体之间的关系组成的，可以用图来表示。因此，图中的节点代表非空间位置。图定义了状态空间，因此能够实现基于价值的强化学习。它们还可以进行规划：每个状态都可以由一个向量元素v来定，状态位于某一节点，则除该节点的值为1之外，所有元素都设置为0；然后将v乘以T（Tv；T是转换矩阵，其中Tij是从状态j到i的转换概率），在一步之后得到未来状态的分布。同样，再次乘以T（T2v），得到两步之后的分布。重复这个过程，就可以得到节点之间的最短路径。目前已经有基于海马的图模型，例如SR（successor representations），并且它们对空间的表征类似于位置和网格细胞。[22]


潜在状态与序列学习

图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马形成从序列中学习，它的神经表征使用潜在的代表来区分状态16,39-45。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间43。这种静止状态的表征，由于其不同的未来而使感觉上的异化的盒子变得模糊不清。物理位置也可以是不一致的；在空间交替任务中40,41。相同的物理位置（例如，中央的 "树干"）根据动物以前的左/右选择预测出不同的未来。在这里，海马体为每个感官观察包含多个 "克隆 "细胞74,137。当图被赋予从序列中学习和推断潜在状态的能力时，它们开始预测上述的许多潜在状态单元，例如，通过克隆结构图（clone structured cognitive graph，CSCG）模型。

在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。


路径整合和压缩

路径整合提供了一种建立潜在状态空间的强大方式。它建立的地图嵌入了空间结构的知识（在物理空间中，北+东+南+西=0）。这意味着，基于路径整合的地图本质上是潜在的和抽象的，因为它们遵循规则，而不是感官观察；此外这种地图允许关系知识被转移到任何适用相同规则的情况。值得注意的是，尽管路径整合不限于空间，但并非所有的图都能使用路径整合。路径整合模型利用一种特殊类型的循环神经网络（RNN），称为连续吸引子神经网络[23]（Continuous attractor neuralnetworks, CANNs), 其中神经元通过权重W循环连接，并接受速度输入a。神经动力学由以下公式给出:

τ dg/dt = −g + f (Wg + Ba)

这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。有了一组适当的权重，CANNs使用路径整合，不同的细胞类别（头部方向细胞139,140，位置细胞141,142和网格细胞143；见图，d）用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子144，包括连接和解剖，在啮齿动物中发现了吸引子流行59,146。

此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。


灵活泛化的模型

通过建立潜在状态表征的模型，以及使用路径整合的模型。如果这些原则可以结合起来，我们就可以建立一个强大的系统，从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。

目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，像地址簿一样，将抽象的位置表征与感觉表征联系起来（见图）。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。

尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。


参考文献

  1. ↑ Tolman, Edward C. (July 1948). "Cognitive maps in rats and men". Psychological Review. 55 (4): 189–208. doi:10.1037/h0061626. PMID 18870876.
  2. ↑ Timothy E.J. Behrens, Timothy H. Muller, James C.R. Whittington, Shirley Mark, Alon B. Baram, Kimberly L. Stachenfeld, Zeb Kurth-Nelson. What Is a Cognitive Map? Organizing Knowledge for Flexible Behavior,
  3. ↑ O'Keefe, John; Nadel, Lynn (1978). The hippocampus as a cognitive map. Oxford; New York: Clarendon Press; Oxford University Press. ISBN 0198572069. OCLC 4430731. Archived from the original on 2019-09-27. Retrieved 2006-09-27.
  4. ↑ Blasidell Aaron, Cook Robert (2004). "Integration of spatial maps in pigeons". [fr.booksc.org](http://fr.booksc.org "fr.booksc.org"). Retrieved 2022-04-24.
  5. ↑ Olthof, Anneke; Sutton, Jennifer E.; Slumskie, Shawna V.; D'Addetta, JoAnne; Roberts, William A. (1999). "In search of the cognitive map: Can rats learn an abstract pattern of rewarded arms on the radial maze?". [fr.booksc.org](http://fr.booksc.org "fr.booksc.org"). Retrieved 2022-04-24.
  6. ↑ Grieves, Roderick M.; Dudchenko, Paul A. (2013-05-01). "Cognitive maps and spatial inference in animals: Rats fail to take a novel shortcut, but can take a previously experienced one". Learning and Motivation. 44 (2): 81–92. doi:10.1016/j.lmot.2012.08.001. ISSN 0023-9690.
  7. ↑ Manns, Joseph R.; Eichenbaum, Howard (October 2009). "A cognitive map for object memory in the hippocampus". Learning & Memory. 16 (10): 616–624. doi:10.1101/lm.1484509. PMC 2769165. PMID 19794187.
  8. ↑ Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.
  9. ↑ Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.
  10. ↑ Manns, Joseph R.; Eichenbaum, Howard (October 2009). "A cognitive map for object memory in the hippocampus". Learning & Memory. 16 (10): 616–624. doi:10.1101/lm.1484509. PMC 2769165. PMID 19794187.
  11. ↑ Bennett, Andrew T. D. (January 1996). "Do animals have cognitive maps?". The Journal of Experimental Biology. 199 (Pt 1): 219–224. doi:10.1242/jeb.199.1.219. PMID 8576693.
  12. ↑ McNaughton, Bruce L.; Battaglia, Francesco P.; Jensen, Ole; Moser, Edvard I.; Moser, May-Britt (August 2006). "Path integration and the neural basis of the 'cognitive map'". Nature Reviews Neuroscience. 7 (8): 663–678. doi:10.1038/nrn1932. PMID 16858394. S2CID 16928213.
  13. ↑ Jacobs, Lucia F.; Schenk, Françoise (April 2003). "Unpacking the cognitive map: the parallel map theory of hippocampal function". Psychological Review. 110 (2): 285–315. doi:10.1037/0033-295X.110.2.285. PMID 12747525.
  14. ↑ Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.
  15. ↑ Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.
  16. ↑ Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.
  17. ↑ Constantinescu, A. O., O’Reilly, J. X. & Behrens, T. E. J. Organizing conceptual knowledge in humans with a gridlike code. Science 352, 1464–1468 (2016).
  18. ↑ Park, S.A., Miller, D.S. & Boorman, E.D. Inferences on a multidimensional social hierarchy use a grid-like code. Nat Neurosci 24, 1292–1301 (2021)
  19. ↑ Bellman, R. A Markovian decision process. J. Math. Mech. 6, 679–684 (1957
  20. ↑ Sutton, R. S. & Barto, A. G. Reinforcement learning: an introduction. in IEEE Transactions on Neural Networks (2017)
  21. ↑ Studies in spatial learning. I. Orientation and the short-cut
  22. ↑ The hippocampus as a predictive map
  23. ↑ Representation of spatial orientation by the intrinsic dynamics of the head-direction cell ensemble: a theory
取自“https://wiki.swarma.org/index.php?title=认知地图&oldid=33992”