认知地图 - 版本历史

2023年3月6日 (一) 10:34 Psion03

2023-03-06T10:34:02Z

2023年3月2日 (四) 15:21 Psion03

2023-03-02T15:21:29Z

Mobility：/* 如何构建认知地图 */

2023-03-02T02:13:25Z

如何构建认知地图

2023年3月2日 (四) 02:12 Mobility

2023-03-02T02:12:45Z

2023年3月2日 (四) 02:11 Mobility

2023-03-02T02:11:39Z

2023年2月26日 (日) 15:35 Psion03

2023-02-26T15:35:54Z

Psion03：/* 如何构建认知地图 */

2023-02-26T13:57:20Z

如何构建认知地图

2023年2月24日 (五) 15:06 Psion03

2023-02-24T15:06:12Z

2023年2月24日 (五) 15:04 Psion03

2023-02-24T15:04:52Z

2023年2月24日 (五) 07:07 Psion03

2023-02-24T07:07:42Z

@@ 第31行： / 第31行： @@
 认知地图的神经基础是海马-内嗅皮层系统，海马和内嗅皮层神经元其特殊的神经活动模式可以有效编码物理空间信息，通过路径整合(Path integration)寻找物理空间中的捷径，并且快速地迁移到新场景，从而让动物可以灵活适应环境。
-然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即认知地图不仅仅表征物理空间，同时也表征事物之间关系。
+然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即海马的认知地图不仅仅表征物理空间，也表征人类的关系型记忆。
-这些研究证据表明人类在利用事物之间关系进行想象和推理时，海马和内嗅皮层呈现了和空间导航任务相似的神经活动，这为认知地图作为一种跨越多个领域的结构化知识的心理表征，提供了新的视角。
+综上所述，这些研究证据表明人类在利用事物之间关系进行想象和推理时，海马和内嗅皮层呈现了和空间导航任务相似的神经活动，这为认知地图作为一种跨越多个领域的结构化知识的心理表征，提供了新的视角。不仅仅是物理空间信息可以被大脑组织为认知地图的形式，事物之间关系也可以被共享相同机制的认知地图所表征，从而实现抽象，推理，泛化等高级认知，支持人类灵活的行为。
 ==如何构建认知地图==
@@ 第57行： / 第57行： @@
 ===  '''潜在状态与序列学习''' ===
-图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马形成从序列中学习，它的神经表征使用潜在的代表来区分状态16,39-45。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间43。这种静止状态的表征，由于其不同的未来而使感觉上的异化的盒子变得模糊不清。物理位置也可以是不一致的；在空间交替任务中40,41。相同的物理位置（例如，中央的 "树干"）根据动物以前的左/右选择预测出不同的未来。在这里，海马体为每个感官观察包含多个 "克隆 "细胞74,137。当图被赋予从序列中学习和推断潜在状态的能力时，它们开始预测上述的许多潜在状态单元，例如，通过克隆结构图（clone structured cognitive graph，CSCG）模型。
+图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马系统从序列中学习，它的神经表征可以通过潜在表征区分不同的状态<ref>The hippocampus and memory for orderly stimulus relations JA Dusek, H Eichenbaum Proc. Natl Acad. Sci. USA, 1997</ref><ref>Place cells on a maze encode routes rather than destinations RM Grieves, ER Wood, PA Dudchenko eLife, 2016</ref><ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref><ref>Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009</ref><ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref>。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间<ref>Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015</ref>。这种新的潜在神经表征消除了感官一致所导致的混淆。在空间交替任务中，相同物理位置也可以代表不一样的状态<ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref><ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref>。根据动物之前的左/右选择不同，相同的物理位置（例如，中央的 "树干"）预测出不同的未来。Splitter cells<ref>Trajectory encoding in the hippocampus and entorhinal cortex LM Frank, EN Brown, M Wilson Neuron, 2000</ref><ref>Hippocampal neurons encode information about different types of memory episodes occurring in the same location ER Wood, PA Dudchenko, RJ Robitsek, H Eichenbaum Neuron, 2000</ref>, place cells<ref>Robust conjunctive item-place coding by hippocampal neurons parallels learning what happens where RW Komorowski, JR Manns, H Eichenbaum J. Neurosci., 2009</ref>, grid cells<ref>Grid cells form a global representation of connected environments F Carpenter, D Manson, K Jeffery, N Burgess, C Barry Curr. Biol., 2015</ref> 和lap cells <ref>Hippocampal neurons represent events as transferable units of experience C Sun, W Yang, J Martin, S Tonegawa Nat. Neurosci., 2020</ref>都是认知地图能够区分不同的潜在的状态的例子。
-在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。
+当图模型被赋予从序列中学习和推断潜在状态的能力时，它们就开始预测上述的许多潜在状态单元，例如，克隆结构图（clone structured cognitive graph，CSCG）模型。在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。
 ===  '''路径整合和压缩''' ===
@@ 第66行： / 第66行： @@
 τ dg/dt = −g + f (Wg + Ba)
-这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。有了一组适当的权重，CANNs使用路径整合，不同的细胞类别（头部方向细胞139,140，位置细胞141,142和网格细胞143；见图，d）用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子144，包括连接和解剖，在啮齿动物中发现了吸引子流行59,146。
+这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。CANNs可以通过不同的细胞类别实现路径整合，每种细胞使用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子<ref>Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022</ref>，包括连接和解剖，在啮齿动物中发现了吸引子流形<ref>Specific evidence of low-dimensional continuous attractor dynamics in grid cells K Yoon Nat. Neurosci., 2013</ref><ref>Toroidal topology of population activity in grid cells RJ Gardner Nature, 2022</ref>。
-此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。
+此外，计算模型 Velocity-coupled oscillators(VCOs)也是基于路径整合的模型<ref>Coupled noisy spiking neurons as velocity-controlled oscillators in a model of grid cell spatial firing J. Neurosci., 30 (2010), pp. 13850-13860</ref>。然而，CANNs和VCOs这类模型一个主要限制是，循环权重矩阵的权重W，是精心挑选的，而不是从感觉经验中学习。
@@ 第75行： / 第75行： @@
 为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。
-目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
+目前，基于海马的泛化模型有Tolman-Eichenbaum machine<ref>The Tolman–Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation JCR Whittington Cell, 2020</ref>，TEM，和Space memory ，SMP<ref>Uria, B. et al. The spatial memory pipeline: a model of egocentric to allocentric understanding in mammalian brains. Preprint at bioRxiv (2020)</ref>。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
 尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）

@@ 第73行： / 第73行： @@
 === '''灵活泛化的模型''' ===
-通过建立潜在状态表征的模型，以及使用路径整合的模型。如果这些原则可以结合起来，我们就可以建立一个强大的系统，从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。
+为了实现灵活行为，我们可以将多种原则（模型）结合起来，通过结合学习潜在状态的模型，以及路径整合的模型，我们就可以建立一个更强大的系统。不仅可以从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。此外，为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。
-目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，像地址簿一样，将抽象的位置表征与感觉表征联系起来（见图）。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
+目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，该模型像地址簿一样，将抽象的位置表征与感觉表征联系起来。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
-尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。
+尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了非自我中心的的行动和物体表征，但SMP必须从以自我为中心的输入和像素中学习；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在一个神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种联合表征（conjunction representation）通常在海马神经元中被观察到。在TEM中，这种联系表征通过海马重映射(remapping)从而实现泛化——相同的皮层表征（LEC和MEC）在不同的环境中被重复使用，而联合形成的海马神经元则不同, 从而使得结构可以泛化在不同的场景。TEM和SMP都是深度神经网络，它们学习可泛化的结构知识，并在此过程中可以重现海马认知图谱的一系列已知表征。由于SMP是以自我为中心的输入，它产生的细胞参与了从自我为中心到分配中心的坐标转换。此外，TEM在空间和非空间任务中学习组合式的内嗅皮层表征，并能解决主要依赖于海马的经典关系记忆任务，如传递性推理（transitive inference.）

@@ 第47行： / 第47行： @@
 认知地图通过表征环境中的结构关系，从而支持人类的灵活行为。根据神经科学的知识，认知地图表征在Hippocampus formation的神经活动当中。因此，使用计算模型对Hippocampus formation的神经表征进行建模，可以帮助我们理解构建认知地图的原则。目前已经有了多种计算模型用于模拟和解释认知地图的神经表征，从多角度理解认知地图的构建原则：
+===  '''状态空间与强化学习''' ===
 为了实现推理和泛化等灵活行为，认知地图需要表征世界的环境信息。例如，在开车时，决定何时转弯取决于是否知道道路的状态，方向盘在哪，其它车辆在哪里，路标上的符号代表什么。 在强化学习中，这个概念被定义为根据当前的世界状态采取行动（例如，当道路向右弯曲时，向右转）。表征环境中的所有状态信息通常是不可行的，因为它可能包含无数种通常和任务无关的信息。这不仅影响表征状态，而且还妨碍了学习效率。这种 "维度的诅咒 "<ref>Bellman, R. A Markovian decision process. J. Math. Mech. 6, 679–684 (1957</ref>可以通过对状态进行一定程度的抽象（例如，忽略汽车的颜色）来缓解。
@@ 第58行： / 第56行： @@
 然而，尽管在物理空间中很容易推测出好的状态空间，但现实中地非空间问题转很难转化为认知地图的形式。一种源自强化学习的方法是将空间学习作为理解图上的关系。在空间中，图的节点定义了物理位置，因此，如果两个位置直接相连，节点之间就有边。重要的是，图也可以将非空间问题形式化。家庭树、社会网络和分子中的原子，都是由实体之间的关系组成的，可以用图来表示。因此，图中的节点代表非空间位置。图定义了状态空间，因此能够实现基于价值的强化学习。它们还可以进行规划：每个状态都可以由一个向量元素v来定，状态位于某一节点，则除该节点的值为1之外，所有元素都设置为0；然后将'''v'''乘以'''T'''（'''Tv'''；'''T'''是转换矩阵，其中'''T'''ij是从状态j到i的转换概率），在一步之后得到未来状态的分布。同样，再次乘以'''T'''（'''T2v'''），得到两步之后的分布。重复这个过程，就可以得到节点之间的最短路径。目前已经有基于海马的图模型，例如'''SR'''（successor representations），并且它们对空间的表征类似于位置和网格细胞。<ref>The hippocampus as a predictive map</ref>
+===  '''潜在状态与序列学习''' ===
 图可以灵活地表示问题，但是如何要构建状态? 图如何定义每个图的节点，或者RL问题中的每个状态？感觉上的观察不能完全定义状态，因为两个相同的观察可能存在于不同的地点，其后果也大不相同。例如过马路意味着在英国向右看，而在德国向左看。从形式上看，我们的世界不是 "完全可观察的"；相反，我们面临着 "部分可观察的 "问题，必须推断出能区分英国和德国道路的潜在状态表征。状态不能单独从感觉外观推断出来。但是，观察到的序列可以唯一地识别状态，因为具有相同感官观察的两个状态会有不同的未来。事实上，海马形成从序列中学习，它的神经表征使用潜在的代表来区分状态16,39-45。例如，啮齿动物的网格细胞最初对两个相同的盒子进行相同的编码。然而，当动物意识到这两个盒子是由一条走廊连接的时候，网格表征就会改变，以代表全局的两个盒子和走廊空间43。这种静止状态的表征，由于其不同的未来而使感觉上的异化的盒子变得模糊不清。物理位置也可以是不一致的；在空间交替任务中40,41。相同的物理位置（例如，中央的 "树干"）根据动物以前的左/右选择预测出不同的未来。在这里，海马体为每个感官观察包含多个 "克隆 "细胞74,137。当图被赋予从序列中学习和推断潜在状态的能力时，它们开始预测上述的许多潜在状态单元，例如，通过克隆结构图（clone structured cognitive graph，CSCG）模型。
 在CSCG模拟的海马中，包含了对每一种感觉信息的多个克隆细胞。不同的场景下，对同一种的感觉输入，匹配于该感觉输入的不同克隆细胞激活。该模型使用贝叶斯法则推断哪些海马克隆细胞在每个感官观察中应该被激活，并学习克隆细胞之间适当的转移权重。这些过渡权重类似于图的转移矩阵，但关键是状态空间是学习出来的，而不是由建模者提供。
+===  '''路径整合和压缩''' ===
 路径整合提供了一种建立潜在状态空间的强大方式。它建立的地图嵌入了空间结构的知识（在物理空间中，北+东+南+西=0）。这意味着，基于路径整合的地图本质上是潜在的和抽象的，因为它们遵循规则，而不是感官观察；此外这种地图允许关系知识被转移到任何适用相同规则的情况。值得注意的是，尽管路径整合不限于空间，但并非所有的图都能使用路径整合。路径整合模型利用一种特殊类型的循环神经网络（RNN），称为连续吸引子神经网络<ref>Representation of spatial orientation by the intrinsic dynamics of the head-direction cell ensemble: a theory</ref>（Continuous attractor neuralnetworks, CANNs), 其中神经元通过权重W循环连接，并接受速度输入a。神经动力学由以下公式给出:
@@ 第78行： / 第72行： @@
-'''灵活泛化的模型'''
+=== '''灵活泛化的模型''' ===
 通过建立潜在状态表征的模型，以及使用路径整合的模型。如果这些原则可以结合起来，我们就可以建立一个强大的系统，从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。

←上一版本		2023年3月2日 (四) 02:12的版本
第85行：		第85行：

	尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。		尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。
		+
		+
		+	==参考文献==
		+	<references />
		+	<references />

@@ 第13行： / 第13行： @@
-根据O'Keefe和Nadel（1978），不仅人类需要空间能力，非人类动物也需要空间能力来寻找食物、庇护所和其他动物，无论是伴侣还是捕食者。[^4] 为此，一些动物在地标之间建立了关系，使它们能够进行空间推断和探测位置。[^5]Tolman, Ritchie, and Kalish（1946年）在迷宫中对老鼠进行的首次实验表明，老鼠可以形成空间位置的心理地图，对其有很好的理解力。但这些实验后来又被其他研究者主导（例如Eichenbaum, Stewart, & Morris, 1990和Singer等人，2006），并没有得出如此明确的结果。有一些作者试图揭示老鼠走捷径的方式。结果表明，在大多数情况下，大鼠在拿取食物时不会使用捷径，除非它们已经有了相应的经验。在这种情况下，已有经验的大鼠使用捷径的速度和频率明显高于那些没有预先接触过的大鼠。[^6]
+根据O'Keefe和Nadel（1978），不仅人类需要空间能力，非人类动物也需要空间能力来寻找食物、庇护所和其他动物，无论是伴侣还是捕食者<ref>Blasidell Aaron, Cook Robert (2004). "Integration of spatial maps in pigeons". [fr.booksc.org](http://fr.booksc.org "fr.booksc.org"). Retrieved 2022-04-24.</ref>。 为此，一些动物在地标之间建立了关系，使它们能够进行空间推断和探测位置<ref>Olthof, Anneke; Sutton, Jennifer E.; Slumskie, Shawna V.; D'Addetta, JoAnne; Roberts, William A. (1999). "In search of the cognitive map: Can rats learn an abstract pattern of rewarded arms on the radial maze?". [fr.booksc.org](http://fr.booksc.org "fr.booksc.org"). Retrieved 2022-04-24.</ref>。Tolman, Ritchie, and Kalish（1946年）在迷宫中对老鼠进行的首次实验表明，老鼠可以形成空间位置的心理地图，对其有很好的理解力。但这些实验后来又被其他研究者主导（例如Eichenbaum, Stewart, & Morris, 1990和Singer等人，2006），并没有得出如此明确的结果。有一些作者试图揭示老鼠走捷径的方式。结果表明，在大多数情况下，大鼠在拿取食物时不会使用捷径，除非它们已经有了相应的经验。在这种情况下，已有经验的大鼠使用捷径的速度和频率明显高于那些没有预先接触过的大鼠<ref>Grieves, Roderick M.; Dudchenko, Paul A. (2013-05-01). "Cognitive maps and spatial inference in animals: Rats fail to take a novel shortcut, but can take a previously experienced one". Learning and Motivation. 44 (2): 81–92. doi:10.1016/j.lmot.2012.08.001. ISSN 0023-9690.</ref>。
-此外，随着时间的推移，认知地图的概念被扩展至其它动物，包括人类。认知地图的概念还在多个领域得到广泛研究，如心理学、教育学、考古学、规划学、地理学、制图学、建筑学、景观建筑、城市规划、管理和历史，导致了更广泛和有区别的定义和应用。比如在运筹学领域，指的是一种代表知识或心理图式的语义网络。由于认知地图的广泛使用和研究，它已经成为几乎所有心理表征或模型的俗语。这些心理模型经常被称为认知地图、心理地图、脚本、图式和参考框架。[^7]
+此外，随着时间的推移，认知地图的概念被扩展至其它动物，包括人类。认知地图的概念还在多个领域得到广泛研究，如心理学、教育学、考古学、规划学、地理学、制图学、建筑学、景观建筑、城市规划、管理和历史，导致了更广泛和有区别的定义和应用。比如在运筹学领域，指的是一种代表知识或心理图式的语义网络。由于认知地图的广泛使用和研究，它已经成为几乎所有心理表征或模型的俗语。这些心理模型经常被称为认知地图、心理地图、脚本、图式和参考框架。
 ==认知地图的神经基础==
-目前，主流的观点认为海马是认知地图的神经基础。海马通过连接其它脑区，从而整合空间和非空间信息。Postrhinal cortex和medial entorhinal cortex的连接为海马提供空间信息。来自 perirhinal cortex和lateral entorhinal cortex 的连接提供了非空间信息。而海马通过整合物体的位置和其他特征信息，表征认知地图中的实际位置。[^8]O'Keefe和Nadel首先指出了海马和认知地图之间的关系。许多其他研究显示了支持这一结论的额外证据。[^9]具体而言，锥体细胞（位置细胞、边界细胞和网格细胞）被认为是海马系统中认知地图的神经基础。
+目前，主流的观点认为海马是认知地图的神经基础。海马通过连接其它脑区，从而整合空间和非空间信息。Postrhinal cortex和medial entorhinal cortex的连接为海马提供空间信息。来自 perirhinal cortex和lateral entorhinal cortex 的连接提供了非空间信息。而海马通过整合物体的位置和其他特征信息，表征认知地图中的实际位置<ref>Manns, Joseph R.; Eichenbaum, Howard (October 2009). "A cognitive map for object memory in the hippocampus". Learning & Memory. 16 (10): 616–624. doi:10.1101/lm.1484509. PMC 2769165. PMID 19794187.</ref>。O'Keefe和Nadel首先指出了海马和认知地图之间的关系。许多其他研究显示了支持这一结论的额外证据<ref>Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.</ref>。具体而言，锥体细胞（位置细胞、边界细胞和网格细胞）被认为是海马系统中认知地图的神经基础。
-O'Keefe的许多研究都牵涉到位置细胞的参与。海马体内的单个位置细胞对应于环境中的单独位置。因此，所有细胞的总和有助于形成整个环境的单一地图。细胞之间的连接强度代表它们在实际环境中的距离。同样的位置细胞可以用来构建多个环境，但位置细胞之间的相对位置关系可能在不同地图不同，也即重映射（remapping）。 目前，已经在多种哺乳类动物中， 如小鼠和猕猴中发现位置细胞表征认知地图。[^10] 此外，在Manns和Eichenbaum对大鼠的研究中，海马内的锥体细胞也参与表示物体位置和物体身份，表明它们参与了认知地图的创建。[^11]然而，对于这些对哺乳动物物种的研究是否表明存在认知地图，而不是另一种更简单的确定环境的方法，存在一些争议。[^12]
+O'Keefe的许多研究都牵涉到位置细胞的参与。海马体内的单个位置细胞对应于环境中的单独位置。因此，所有细胞的总和有助于形成整个环境的单一地图。细胞之间的连接强度代表它们在实际环境中的距离。同样的位置细胞可以用来构建多个环境，但位置细胞之间的相对位置关系可能在不同地图不同，也即重映射（remapping）。 目前，已经在多种哺乳类动物中， 如小鼠和猕猴中发现位置细胞表征认知地图<ref>Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.</ref>。此外，在Manns和Eichenbaum对大鼠的研究中，海马内的锥体细胞也参与表示物体位置和物体身份，表明它们参与了认知地图的创建<ref>Manns, Joseph R.; Eichenbaum, Howard (October 2009). "A cognitive map for object memory in the hippocampus". Learning & Memory. 16 (10): 616–624. doi:10.1101/lm.1484509. PMC 2769165. PMID 19794187.</ref>。然而，对于这些对哺乳动物物种的研究是否表明存在认知地图，而不是另一种更简单的确定环境的方法，存在一些争议<ref>Bennett, Andrew T. D. (January 1996). "Do animals have cognitive maps?". The Journal of Experimental Biology. 199 (Pt 1): 219–224. doi:10.1242/jeb.199.1.219. PMID 8576693.</ref>。
-除了海马，medial entorhinal cortex的网格细胞会在经过环境中按六边形周期性排布的位置时活动，也被视作认知地图的神经基础之一。因其独特的功能特性被认为参与了路径整合的过程，而海马的位置细胞的神经活动则表征了通过路径整合获得的信息的输出。[^13]与位置细胞不同的是，网格细胞的表征相在不同环境可以保持相对不变。因此，网格细胞被认为编码了可以跨越不同环境，相对不变的空间结构信息。此外，除medial entorhinal cortex外，presubiculum 和parietal cortex 也被认为与认知地图的生成有关。
+除了海马，medial entorhinal cortex的网格细胞会在经过环境中按六边形周期性排布的位置时活动，也被视作认知地图的神经基础之一。因其独特的功能特性被认为参与了路径整合的过程，而海马的位置细胞的神经活动则表征了通过路径整合获得的信息的输出<ref>McNaughton, Bruce L.; Battaglia, Francesco P.; Jensen, Ole; Moser, Edvard I.; Moser, May-Britt (August 2006). "Path integration and the neural basis of the 'cognitive map'". Nature Reviews Neuroscience. 7 (8): 663–678. doi:10.1038/nrn1932. PMID 16858394. S2CID 16928213.</ref>。与位置细胞不同的是，网格细胞的表征相在不同环境可以保持相对不变。因此，网格细胞被认为编码了可以跨越不同环境，相对不变的空间结构信息。此外，除medial entorhinal cortex外，presubiculum 和parietal cortex 也被认为与认知地图的生成有关。
-有一些证据表明，认知地图在海马体中是由两个独立的地图表示的。第一个是方位图，它通过自我运动的线索和梯度线索来表示环境。这些基于矢量的线索的使用创造了一个粗糙的、二维的环境地图。第二张地图是根据位置线索绘制的草图。第二张地图还包括了了特定的物体，或地标，以及它们的相对位置，以创建环境的二维地图。而完整的认知地图是由这两个独立的地图整合而成的。这使我们理解到，帮助我们创造这一心理过程的不仅仅是一张地图，而是三张地图。[^14]应该清楚的是，平行地图理论仍在发展。草图在以前的神经生物学过程和解释中有基础，而方位图则很少有研究支持其证据。[^15]
+有一些证据表明，认知地图在海马体中是由两个独立的地图表示的。第一个是方位图，它通过自我运动的线索和梯度线索来表示环境。这些基于矢量的线索的使用创造了一个粗糙的、二维的环境地图。第二张地图是根据位置线索绘制的草图。第二张地图还包括了了特定的物体，或地标，以及它们的相对位置，以创建环境的二维地图。而完整的认知地图是由这两个独立的地图整合而成的。这使我们理解到，帮助我们创造这一心理过程的不仅仅是一张地图，而是三张地图<ref>Jacobs, Lucia F.; Schenk, Françoise (April 2003). "Unpacking the cognitive map: the parallel map theory of hippocampal function". Psychological Review. 110 (2): 285–315. doi:10.1037/0033-295X.110.2.285. PMID 12747525.</ref>。应该清楚的是，平行地图理论仍在发展。草图在以前的神经生物学过程和解释中有基础，而方位图则很少有研究支持其证据<ref>Moser, Edvard I.; Kropff, Emilio; Moser, May-Britt (2008). "Place cells, grid cells, and the brain's spatial representation system". Annual Review of Neuroscience. 31: 69–89. doi:10.1146/annurev.neuro.31.061307.090723. PMID 18284371.</ref>。
 ==认知地图与灵活行为==
@@ 第84行： / 第84行： @@
 目前，基于海马的泛化模型有Tolman-Eichenbaum machine，TEM，和Space memory ，SMP。该类模型的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆模块，像地址簿一样，将抽象的位置表征与感觉表征联系起来（见图）。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
 尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了allocentric的行动和物体表征，但SMP必须从以egocentric的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，而TEM使用更符合生物现实的Hebbian learning和Hopfield networks。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到。在TEM中，这种结合能够通过海马重映射实现泛化，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进。当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合。

@@ 第42行： / 第42行： @@
 ==如何构建认知地图==
-认知地图通过表征环境中的结构关系，从而支持人类的灵活行为。根据神经科学的知识，认知地图表征在Hippocampus formation的神经活动当中。因此，使用计算模型对Hippocampus formation的神经表征进行建模，可以帮助我们理解构建认知地图的原则。目前已经有了多种计算模型用于模拟和解释认知地图的神经表征，从而给予了对认知地图构建原则不同角度的理解：
+认知地图组织知识以实现灵活的行为。实现这种灵活行为意味着认知地图必须包含与行为任务相关的信息。灵活性意味着认知地图面对新的挑战时，能够帮助产生新的行为，并且能够为任何新环境下尽可能快地建立。因此，认知图谱的目的是尽可能提前学习，以使在线学习和计算最小化。为了实现这一目标，认知地图的神经表征必须满足某些要求。这里描述这些计算上的考虑，以及由此产生的模型，这些模型最近在预测神经元表征方面取得了许多成功。
 '''状态空间与强化学习'''
-如何以计算的形式定义认知地图，如何将现实问题转化为认知地图的形式？
+为了实现推理和泛化等灵活行为，认知地图需要表征世界的环境信息。例如，在开车时，决定何时转弯取决于是否知道道路的状态，方向盘在哪，其它车辆在哪里，路标上的符号代表什么。 在强化学习中，这个概念被定义为根据当前的世界状态采取行动（例如，当道路向右弯曲时，向右转）。表征环境中的所有状态信息通常是不可行的，因为它可能包含无数种通常和任务无关的信息。这不仅影响表征状态，而且还妨碍了学习效率。这种 "维度的诅咒 "<ref>Bellman, R. A Markovian decision process. J. Math. Mech. 6, 679–684 (1957</ref>可以通过对状态进行一定程度的抽象（例如，忽略汽车的颜色）来缓解。
-人类的推理和泛化行为依赖于对于任务内在结构的学习，这种内在结构，可以被理解为任务的状态空间（state space）。实现推理和泛化行为，需要人类对任务的状态空间中状态(state)的"位置 "进行编码，表征不同状态位置之间关系的知识，以及可以在具有共同抽象结构但不同感觉事件的任务中迁移。
+这里，τ是神经元反应的时间常数，f是一个非线性激活函数，g是要进行路径整合的细胞向量，B是一个将速度输入a投射到细胞g的矩阵。我们注意到一个替代的，但在生物学上不太合理的方程式是τ dg/dt = -g + f (Wa g)，其中递归矩阵W a取决于运动速度。有了一组适当的权重，CANNs使用路径整合，不同的细胞类别（头部方向细胞139,140，位置细胞141,142和网格细胞143；见图，d）用不同的权重建模。值得注意的是，CANNs真的存在于自然界中；在苍蝇中发现了环形吸引子144，包括连接和解剖，在啮齿动物中发现了吸引子流行59,146。
-- 强化学习SR
+'''灵活泛化的模型'''
--  序列模型 和TEM CSCG
+通过建立潜在状态表征的模型，以及使用路径整合的模型。如果这些原则可以结合起来，我们就可以建立一个强大的系统，从感官观察中学习任意的潜在状态（如CSCG），但又能额外地泛化这些表征（如路径整合模型）并任意地组合它们。为了使抽象表征在不同的感觉环境中被重复使用（泛化），相同的抽象位置必须与不同的感觉观察 "相联系"。
-- vector-based model：SPM and vector-based neural network.
+基于海马的泛化模型（Tolman-Eichenbaum machine，TEM，和空间记忆管道，SMP75）的任务是尽可能快地预测新的、但结构相似的环境中的感官观察（例如，多个不同的家庭或二维世界；图1g）。两个模型都由两个关键部分组成。(1) 一个抽象的路径整合模块，可在不同的环境中重复使用；(2) 一个关系记忆2模块，像地址簿一样，将抽象的位置表征与感觉表征联系起来（见图，a）。这些联系在不同的世界中会发生变化，允许相同的抽象概念适用于多个世界。
-state space
+尽管TEM和SMP在概念上是相同的模型，但它们有不同的实现方式。两个关键的问题是：(1)TEM提供了分配中心的行动和物体表征，但SMP必须从以自我为中心的输入和像素中推断出来；(2)SMP用机器学习中的记忆网络来实现记忆，149而TEM使用更符合生物现实的Hebbian learning150和Hopfield networks 151。这种生物约束意味着抽象世界和感觉世界之间的联系必须发生在神经元单元中；也就是说，同一个海马神经元必须同时知道抽象位置和感觉预测。这种类型的联结性表征通常在海马神经元中被观察到，42,152。在TEM中，这种结合能够通过海马重映射实现泛化55-57，因为相同的皮质表征（LEC和MEC）在不同的环境中被重复使用，由不同的海马组合来促进（见图)
+当感觉物体在空间中排列时，与以前的模型相同的空间路径整合机制将被学习，但当感觉世界有更复杂的依赖关系时，这些也将被学习。如果预测感官未来的最好方法是学习一个复杂的潜伏状态图，那么这些模型将学习在这个潜伏空间中使用路径整合（图2）。

←上一版本		2023年2月24日 (五) 07:07的版本
第34行：		第34行：


−	~~然而 Howard~~ Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即认知地图不仅仅表征物理空间，同时也表征事物之间关系。	+
		+	然而，Howard Eichenbaum 发现海马不仅仅表征物理空间的信息，还在人类关系型记忆的形成中存在重要作用，<ref>Wood ER, Dudchenko PA, Eichenbaum H. (1999) The global record of memory in hippocampal neuronal activity. Nature. 397(6720):613-6.</ref><ref>Eichenbaum H, Cohen NJ (2004) From Conditioning to Conscious Recollection: Memory Systems of the Brain. Oxford University Press: Oxford, UK.</ref> 即认知地图不仅仅表征物理空间，同时也表征事物之间关系。