https://wiki.swarma.org/api.php?action=feedcontributions&feedformat=atom&user=Fynn7
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织 - 用户贡献 [zh-cn]
2026-11-02T14:47:07Z
用户贡献
MediaWiki 1.35.0
https://wiki.swarma.org/index.php?title=Hopfield%E7%BD%91%E7%BB%9C&diff=50700
Hopfield网络
2026-07-26T15:17:23Z
<p>Fynn7：</p>
<hr />
<div>'''Hopfield网络'''（霍普菲尔德网络，英文：Hopfield network）是一类对称全连接的[[循环神经网络]]，由物理学家约翰·霍普菲尔德于1982年正式提出，核心借鉴伊辛自旋模型，可实现'''内容寻址联想记忆'''：输入残缺、带噪声的样本，网络会自动收敛还原完整存储图案；同时可通过能量极小化求解组合优化问题。该模型是最早仿生人脑记忆的神经网络框架，也是现代大模型自注意力机制的理论前身之一。<br />
<br />
[[File:Hopfieldsvg.svg|thumb|350px|一个具有四个单元的Hopfield网络示例]]<br />
<br />
== 发展历史 ==<br />
=== 前置理论 ===<br />
1974年Little提出基于自旋单元的关联记忆模型，为Hopfield网络奠定数学基础；1920年代伊辛模型提供多单元对称耦合的统计力学框架。<br />
<br />
=== 正式提出与发展 ===<br />
1982年约翰·霍普菲尔德在《美国国家科学院院刊》发表论文，将自旋系统与神经网络结合，建立完整收敛性证明，证明对称权重网络存在李雅普诺夫能量函数，迭代必然收敛至局部极小值（存储记忆）。<br />
1984年霍普菲尔德拓展出**连续Hopfield网络**，神经元取值连续，适配优化问题；<br />
2016年后Krotov、Hopfield提出**现代Hopfield网络（稠密关联记忆）**，突破经典模型极低存储容量限制，数学上等价于Transformer自注意力层，广泛应用于大语言模型记忆检索。<br />
<br />
== 网络结构 ==<br />
Hopfield网络无分层结构，仅单层神经元，满足三条核心约束：<br />
1. '''全互连无自环'''：共N个神经元，每个神经元与其余N-1个神经元双向连接，自身权重$w_{ii}=0$；<br />
2. '''权重对称'''：神经元$i$到$j$的连接权重等于$j$到$i$，即$w_{ij}=w_{ji}$；<br />
3. 神经元分两类状态定义：<br />
* 离散型：二值状态$x_i \in \{+1,-1\}$，+1代表神经元激活放电，-1代表抑制静默；<br />
* 连续型：取值$x_i \in [0,1]$，采用Sigmoid激活。<br />
<br />
=== 权重矩阵学习（赫布规则） ===<br />
给定$P$组待存储模式向量$\boldsymbol{s}^1,\boldsymbol{s}^2,\dots,\boldsymbol{s}^P$，每组向量长度为$N$，离散Hopfield权重矩阵计算公式：<br />
$$<br />
w_{ij} = \frac{1}{N}\sum_{k=1}^P s_i^k s_j^k \quad (i\neq j),\quad w_{ii}=0<br />
$$<br />
逻辑：同步激活的神经元互相增强正向权重，互斥激活的神经元产生负权重，全部记忆编码存入权重矩阵。<br />
<br />
== 能量函数与收敛机制 ==<br />
Hopfield网络核心特性是存在单调递减的全局能量函数，保证迭代不会震荡、必然收敛至稳定吸引子。<br />
<br />
=== 离散Hopfield能量函数 ===<br />
$$<br />
E = -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N w_{ij}x_i x_j<br />
$$<br />
每次更新神经元状态时，总能量只会下降或不变，不会上升；能量极小值对应网络存储的完整记忆图案，称为**吸引子**。<br />
<br />
=== 神经元状态更新规则 ===<br />
两种更新方式：<br />
1. '''异步更新（标准）'''：随机逐个更新神经元，仅修改单个单元状态，收敛稳定；<br />
$$<br />
x_i(t+1) = \text{sgn}\left(\sum_{j=1}^N w_{ij}x_j(t)\right)<br />
$$<br />
2. '''同步更新'''：所有神经元同时更新，速度更快，少数场景存在周期震荡。<br />
<br />
== 两大分支模型 ==<br />
=== 离散Hopfield网络（经典原版） ===<br />
* 神经元二值±1，适合黑白二值图像、字符记忆修复；<br />
* 存储容量上限：$P_{\text{max}} \approx 0.14N$，神经元数量$N$越大，可稳定存储的图案数量越多；<br />
* 缺陷：存储过多图案会产生**伪吸引子**（从未训练过的虚假稳定状态），记忆互相干扰。<br />
<br />
=== 连续Hopfield网络 ===<br />
神经元输出连续实数，激活函数采用Sigmoid：<br />
$$<br />
x_i = \sigma\left(\sum_j w_{ij}x_j\right),\quad \sigma(z)=\frac{1}{1+e^{-z}}<br />
$$<br />
主要用于组合优化问题：将问题代价函数转化为网络能量函数，收敛到最低能量时输出最优解，典型应用：旅行商问题(TSP)、任务调度、图像分割。<br />
<br />
== 核心特性与缺陷 ==<br />
=== 优势 ===<br />
1. 仿生联想记忆：无需索引，仅凭碎片/噪声输入还原完整样本，模拟人脑回忆机制；<br />
2. 全局收敛保障：能量函数天然满足李雅普诺夫稳定性；<br />
3. 一模型两用：既可做模式修复识别，又可求解离散优化；<br />
4. 底层理论统一：融合统计力学、神经科学、机器学习。<br />
<br />
=== 固有缺陷（经典模型） ===<br />
1. 存储容量极低，多记忆易发生串扰；<br />
2. 存在伪吸引子，收敛到不存在的虚假记忆；<br />
3. 仅适配低维简单样本，复杂图像、文本表现力不足；<br />
4. 无分层特征提取，无法自动学习高层抽象特征。<br />
<br />
== 现代拓展：稠密关联记忆（现代Hopfield） ==<br />
经典Hopfield容量瓶颈由Krotov与Hopfield在2016年突破，提出稠密关联记忆（Dense Associative Memory），又称现代Hopfield网络：<br />
1. 放弃线性能量函数，采用高阶非线性势能；<br />
2. 存储容量随神经元数量指数级增长，不再受$0.14N$限制；<br />
3. 数学推导证明：Transformer自注意力机制等价于大容量现代Hopfield层；<br />
4. 当前应用：大模型上下文记忆、检索增强生成、视觉特征匹配。<br />
<br />
== 与认知神经科学的关联 ==<br />
Hopfield吸引子模型被广泛用于解释人脑感知与自我表征机制，对应前文[[主体性自我模型理论]]核心观点：<br />
1. 网络存储的稳定吸引子 = 大脑长期塑造的感知模板（人脸、身体轮廓、自我形象）；<br />
2. 残缺感官输入（幻肢、模糊视觉）= 带噪声初始状态；<br />
3. 能量收敛自动补全信息 = 大脑整合多通道感知生成统一连贯的自我模型；<br />
4. 多吸引子互相干扰、跳转 = 解离障碍、人格解体、精神分裂等自我感知错乱的简化数学模型。<br />
<br />
== 应用场景 ==<br />
# 传统应用<br />
1. 图像降噪、残缺图案修复、手写字符识别；<br />
2. 组合优化：路径规划、资源分配、电路布局；<br />
3. 故障诊断、模式匹配、简单故障联想检索。<br />
# 现代拓展应用<br />
1. 大语言模型长文本记忆检索；<br />
2. 计算机视觉少样本图像匹配；<br />
3. 类脑机器人感知系统、仿生记忆芯片；<br />
4. 认知心理学仿真、精神疾病神经建模。<br />
<br />
== Hopfield 网络模拟 ==<br />
画图案后点「记忆」；清空后画残缺或带噪版本，再点「回忆」：<br />
<br />
<htmltag tagname="iframe" src="/applets/hopfield/index.html" style="display:block; margin-bottom:1em; width:780px; height:560px; border:solid 1px #ddd;"></htmltag><br />
<br />
基于 [https://visualize-it.github.io/hopfield_networks/simulation.html Visualize It 的 Hopfield Networks 模拟] 改写。<br />
<br />
== 参见 ==<br />
* [[循环神经网络]]<br />
* [[赫布理论]]<br />
* [[伊辛模型]]<br />
* [[Transformer]]<br />
* [[主体性自我模型理论]]<br />
* [[联想记忆]]<br />
<br />
== 参考文献 ==<br />
{{reflist}}<br />
# 核心原始文献<br />
1. Hopfield J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the National Academy of Sciences, 1982, 79(8): 2554-2558.<br />
2. Hopfield J J. Neurons with graded response have collective computational properties like those of two-state neurons[J]. PNAS, 1984, 81(10): 3088-3092.<br />
3. Krotov D, Hopfield J J. Dense associative memory for pattern recognition[J]. Advances in Neural Information Processing Systems, 2016, 29.<br />
# 教材专著<br />
4. Amit D J. Modeling Brain Function: The World of Attractor Neural Networks[M]. Cambridge University Press, 1992.<br />
5. Rojas R. Neural Networks: A Systematic Introduction[M]. Springer, 1996.<br />
<br />
== 外部链接 ==<br />
* [https://www.pnas.org/doi/10.1073/pnas.79.8.2554 Hopfield 1982原始论文（PNAS）]<br />
* [https://en.wikipedia.org/wiki/Hopfield_network 英文维基百科 Hopfield network 词条]<br />
<br />
[[分类:神经网络]]<br />
[[分类:循环神经网络]]<br />
[[分类:类脑计算]]<br />
[[分类:统计力学模型]]<br />
[[分类:人工智能模型]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Hopfield%E7%BD%91%E7%BB%9C&diff=50699
Hopfield网络
2026-07-26T10:45:23Z
<p>Fynn7：</p>
<hr />
<div>啊'''Hopfield网络'''（霍普菲尔德网络，英文：Hopfield network）是一类对称全连接的[[循环神经网络]]，由物理学家约翰·霍普菲尔德于1982年正式提出，核心借鉴伊辛自旋模型，可实现'''内容寻址联想记忆'''：输入残缺、带噪声的样本，网络会自动收敛还原完整存储图案；同时可通过能量极小化求解组合优化问题。该模型是最早仿生人脑记忆的神经网络框架，也是现代大模型自注意力机制的理论前身之一。<br />
<br />
[[File:Hopfieldsvg.svg|thumb|350px|一个具有四个单元的Hopfield网络示例]]<br />
<br />
== 发展历史 ==<br />
=== 前置理论 ===<br />
1974年Little提出基于自旋单元的关联记忆模型，为Hopfield网络奠定数学基础；1920年代伊辛模型提供多单元对称耦合的统计力学框架。<br />
<br />
=== 正式提出与发展 ===<br />
1982年约翰·霍普菲尔德在《美国国家科学院院刊》发表论文，将自旋系统与神经网络结合，建立完整收敛性证明，证明对称权重网络存在李雅普诺夫能量函数，迭代必然收敛至局部极小值（存储记忆）。<br />
1984年霍普菲尔德拓展出**连续Hopfield网络**，神经元取值连续，适配优化问题；<br />
2016年后Krotov、Hopfield提出**现代Hopfield网络（稠密关联记忆）**，突破经典模型极低存储容量限制，数学上等价于Transformer自注意力层，广泛应用于大语言模型记忆检索。<br />
<br />
== 网络结构 ==<br />
Hopfield网络无分层结构，仅单层神经元，满足三条核心约束：<br />
1. '''全互连无自环'''：共N个神经元，每个神经元与其余N-1个神经元双向连接，自身权重$w_{ii}=0$；<br />
2. '''权重对称'''：神经元$i$到$j$的连接权重等于$j$到$i$，即$w_{ij}=w_{ji}$；<br />
3. 神经元分两类状态定义：<br />
* 离散型：二值状态$x_i \in \{+1,-1\}$，+1代表神经元激活放电，-1代表抑制静默；<br />
* 连续型：取值$x_i \in [0,1]$，采用Sigmoid激活。<br />
<br />
=== 权重矩阵学习（赫布规则） ===<br />
给定$P$组待存储模式向量$\boldsymbol{s}^1,\boldsymbol{s}^2,\dots,\boldsymbol{s}^P$，每组向量长度为$N$，离散Hopfield权重矩阵计算公式：<br />
$$<br />
w_{ij} = \frac{1}{N}\sum_{k=1}^P s_i^k s_j^k \quad (i\neq j),\quad w_{ii}=0<br />
$$<br />
逻辑：同步激活的神经元互相增强正向权重，互斥激活的神经元产生负权重，全部记忆编码存入权重矩阵。<br />
<br />
== 能量函数与收敛机制 ==<br />
Hopfield网络核心特性是存在单调递减的全局能量函数，保证迭代不会震荡、必然收敛至稳定吸引子。<br />
<br />
=== 离散Hopfield能量函数 ===<br />
$$<br />
E = -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N w_{ij}x_i x_j<br />
$$<br />
每次更新神经元状态时，总能量只会下降或不变，不会上升；能量极小值对应网络存储的完整记忆图案，称为**吸引子**。<br />
<br />
=== 神经元状态更新规则 ===<br />
两种更新方式：<br />
1. '''异步更新（标准）'''：随机逐个更新神经元，仅修改单个单元状态，收敛稳定；<br />
$$<br />
x_i(t+1) = \text{sgn}\left(\sum_{j=1}^N w_{ij}x_j(t)\right)<br />
$$<br />
2. '''同步更新'''：所有神经元同时更新，速度更快，少数场景存在周期震荡。<br />
<br />
== 两大分支模型 ==<br />
=== 离散Hopfield网络（经典原版） ===<br />
* 神经元二值±1，适合黑白二值图像、字符记忆修复；<br />
* 存储容量上限：$P_{\text{max}} \approx 0.14N$，神经元数量$N$越大，可稳定存储的图案数量越多；<br />
* 缺陷：存储过多图案会产生**伪吸引子**（从未训练过的虚假稳定状态），记忆互相干扰。<br />
<br />
=== 连续Hopfield网络 ===<br />
神经元输出连续实数，激活函数采用Sigmoid：<br />
$$<br />
x_i = \sigma\left(\sum_j w_{ij}x_j\right),\quad \sigma(z)=\frac{1}{1+e^{-z}}<br />
$$<br />
主要用于组合优化问题：将问题代价函数转化为网络能量函数，收敛到最低能量时输出最优解，典型应用：旅行商问题(TSP)、任务调度、图像分割。<br />
<br />
== 核心特性与缺陷 ==<br />
=== 优势 ===<br />
1. 仿生联想记忆：无需索引，仅凭碎片/噪声输入还原完整样本，模拟人脑回忆机制；<br />
2. 全局收敛保障：能量函数天然满足李雅普诺夫稳定性；<br />
3. 一模型两用：既可做模式修复识别，又可求解离散优化；<br />
4. 底层理论统一：融合统计力学、神经科学、机器学习。<br />
<br />
=== 固有缺陷（经典模型） ===<br />
1. 存储容量极低，多记忆易发生串扰；<br />
2. 存在伪吸引子，收敛到不存在的虚假记忆；<br />
3. 仅适配低维简单样本，复杂图像、文本表现力不足；<br />
4. 无分层特征提取，无法自动学习高层抽象特征。<br />
<br />
== 现代拓展：稠密关联记忆（现代Hopfield） ==<br />
经典Hopfield容量瓶颈由Krotov与Hopfield在2016年突破，提出稠密关联记忆（Dense Associative Memory），又称现代Hopfield网络：<br />
1. 放弃线性能量函数，采用高阶非线性势能；<br />
2. 存储容量随神经元数量指数级增长，不再受$0.14N$限制；<br />
3. 数学推导证明：Transformer自注意力机制等价于大容量现代Hopfield层；<br />
4. 当前应用：大模型上下文记忆、检索增强生成、视觉特征匹配。<br />
<br />
== 与认知神经科学的关联 ==<br />
Hopfield吸引子模型被广泛用于解释人脑感知与自我表征机制，对应前文[[主体性自我模型理论]]核心观点：<br />
1. 网络存储的稳定吸引子 = 大脑长期塑造的感知模板（人脸、身体轮廓、自我形象）；<br />
2. 残缺感官输入（幻肢、模糊视觉）= 带噪声初始状态；<br />
3. 能量收敛自动补全信息 = 大脑整合多通道感知生成统一连贯的自我模型；<br />
4. 多吸引子互相干扰、跳转 = 解离障碍、人格解体、精神分裂等自我感知错乱的简化数学模型。<br />
<br />
== 应用场景 ==<br />
# 传统应用<br />
1. 图像降噪、残缺图案修复、手写字符识别；<br />
2. 组合优化：路径规划、资源分配、电路布局；<br />
3. 故障诊断、模式匹配、简单故障联想检索。<br />
# 现代拓展应用<br />
1. 大语言模型长文本记忆检索；<br />
2. 计算机视觉少样本图像匹配；<br />
3. 类脑机器人感知系统、仿生记忆芯片；<br />
4. 认知心理学仿真、精神疾病神经建模。<br />
<br />
== Hopfield 网络模拟 ==<br />
画图案后点「记忆」；清空后画残缺或带噪版本，再点「回忆」：<br />
<br />
<htmltag tagname="iframe" src="/applets/hopfield/index.html" style="display:block; margin-bottom:1em; width:780px; height:560px; border:solid 1px #ddd;"></htmltag><br />
<br />
基于 [https://visualize-it.github.io/hopfield_networks/simulation.html Visualize It 的 Hopfield Networks 模拟] 改写。<br />
<br />
== 参见 ==<br />
* [[循环神经网络]]<br />
* [[赫布理论]]<br />
* [[伊辛模型]]<br />
* [[Transformer]]<br />
* [[主体性自我模型理论]]<br />
* [[联想记忆]]<br />
<br />
== 参考文献 ==<br />
{{reflist}}<br />
# 核心原始文献<br />
1. Hopfield J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the National Academy of Sciences, 1982, 79(8): 2554-2558.<br />
2. Hopfield J J. Neurons with graded response have collective computational properties like those of two-state neurons[J]. PNAS, 1984, 81(10): 3088-3092.<br />
3. Krotov D, Hopfield J J. Dense associative memory for pattern recognition[J]. Advances in Neural Information Processing Systems, 2016, 29.<br />
# 教材专著<br />
4. Amit D J. Modeling Brain Function: The World of Attractor Neural Networks[M]. Cambridge University Press, 1992.<br />
5. Rojas R. Neural Networks: A Systematic Introduction[M]. Springer, 1996.<br />
<br />
== 外部链接 ==<br />
* [https://www.pnas.org/doi/10.1073/pnas.79.8.2554 Hopfield 1982原始论文（PNAS）]<br />
* [https://en.wikipedia.org/wiki/Hopfield_network 英文维基百科 Hopfield network 词条]<br />
<br />
[[分类:神经网络]]<br />
[[分类:循环神经网络]]<br />
[[分类:类脑计算]]<br />
[[分类:统计力学模型]]<br />
[[分类:人工智能模型]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=%E4%BC%8A%E8%BE%9B%E6%A8%A1%E5%9E%8B_Ising_Model&diff=50687
伊辛模型 Ising Model
2026-07-24T07:02:54Z
<p>Fynn7：</p>
<hr />
<div>{{#seo:<br />
|keywords=伊辛模型,统计物理,相变与临界现象<br />
|description=是用来解释铁磁系统相变的一个简单模型<br />
}}<br />
<br />
'''伊辛模型 （Ising Models）'''是用来解释铁磁系统相变的一个简单模型，通过将磁铁受热过程中的相互作用情况简化为线性箭头矢链，其中每个箭头都能感应到左右两个相邻箭头的影响，从而来解决磁铁受热相变过程中的细节问题。在通过科学家们多年的探索之后，人们逐渐认识到了它作为[[相变模型]]的普适性，且发现，伊辛模型可以用来对几乎所有有趣的热力学现象进行建模，包括在物理之外的其他学科中。<br />
<br />
<br />
==伊辛模型简介==<br />
可以毫不夸张地说，伊辛模型是[[统计物理]]中迄今为止唯一的一个同时具备:表述简单、内涵丰富、应用广泛这三种优点的模型。<br />
<br />
<br />
伊辛模型的提出是为了解释铁磁物质的[[相变]]，即磁铁在加热到一定临界温度以上会出现磁性消失的现象，而降温到临界温度以下又会表现出磁性。这种有磁性、无磁性两相之间的转变，是一种连续[[相变]]（也叫二级[[相变]]）。伊辛模型假设铁磁物质是由一堆规则排列的小磁针构成，每个磁针只有上下两个方向（自旋）。相邻的小磁针之间通过能量约束发生相互作用，同时又会由于环境热噪声的干扰而发生磁性的随机转变（上变为下或反之）。涨落的大小由关键的温度参数决定，温度越高，随机涨落干扰越强，小磁针越容易发生无序而剧烈地状态转变，从而让上下两个方向的磁性相互抵消，整个系统消失磁性，如果温度很低，则小磁针相对宁静，系统处于能量约束高的状态,大量的小磁针方向一致,铁磁系统展现出磁性。而当系统处于临界温度<math>T_C</math>的时候，伊辛模型表现出一系列[[幂律]]行为和[[自相似]]现象。<br />
<br />
<br />
<br />
由于伊辛模型的高度抽象，人们可以很容易地将它应用到其他领域之中。例如，人们将每个小磁针比喻为某个村落中的村民，而将小磁针上、下的两种状态比喻成个体所具备的两种政治观点（例如对A,B两个不同候选人的选举），相邻小磁针之间的相互作用比喻成村民之间观点的影响。环境的温度比喻成每个村民对自己意见不坚持的程度。这样，整个伊辛模型就可以建模该村落中不同政治见解的动态演化（即观点动力学 opinion dynamics）。在[[社会科学]]中，人们已经将伊辛模型应用于股票市场、种族隔离、政治选择等不同的问题。另一方面，如果将小磁针比喻成神经元细胞，向上向下的状态比喻成神经元的激活与抑制，小磁针的相互作用比喻成神经元之间的信号传导，那么，伊辛模型的变种还可以用来建模神经网络系统，从而搭建可适应环境、不断学习的机器（[[Hopfield网络]]或[[玻尔兹曼机]]）。<br />
<br />
伊辛模型之所以具有如此广泛的应用并不仅仅在于它的模型机制的简单性，更重要的是它可以模拟出广泛存在于自然、社会、人工系统中的[[临界现象]]。所谓的临界现象，是指系统在[[相变]]临界点附近的时候表现出的一系列的[[标度现象]] Scaling phenomena，以及系统在不同尺度之间的相似性。临界系统之中不同组成部分之间还会发生长程的关联，这种通过局部相互作用而导致长程联系的现象恰恰是真实复杂系统，如社会、经济、认知神经系统的复杂性所在。因此，伊辛模型不仅仅是一个统计物理模型，它更是一个建模各种复杂系统模型的典范。<br />
<br />
==伊辛模型简史==<br />
伊辛模型最早的提出者是Wilhelm Lenz (1920)。后来，他让他的学生Ernst 伊辛对一维的伊辛模型进行求解，但是并没有发现相变现象，因此也没有得到更多物理学家的关注。随后，著名的统计物理学家Lars Onsager于1944年对二维的伊辛模型进行了解析求解，并同时发现了二维伊辛模型中的相变现象，从而引起了更多学者的注意。之后，随着物理学家Landau、Ginzburg等人的努力，人们发现了伊辛模型与量子场论之间的联系，并创立了平行的“[[统计场论]]”。<br />
<br />
<br />
伊辛模型距离提出已经发展有百年，如果想要了解详细的发展历史，可以查看集智斑图的这条路径：[https://pattern.swarma.org/path?id=88 伊辛模型百年小史]<br />
<br />
==模型表述==<br />
考虑一个如下图所示的晶格世界:<br />
===网格上的小磁针===<br />
[[File:Ising.png|thumb|伊辛模型示例|center]]<br />
<br />
假设第<math>i</math>个节点是一个小磁针（或者一个村民），每个小磁针有上下两种状态（村民有上,下两种意见），我们用<math>s_i</math>来表示这个状态，并且<br />
<br />
<br />
:<math><br />
s_i=\left\{\begin{array}{ll} +1 & \\<br />
-1 & \end{array}\right.<br />
</math><br />
<br />
<br />
表示磁针朝上或者朝下。网格上相邻的两个小磁针可以发生相互作用。<br />
<br />
<br />
===总能量===<br />
我们可以通过总能量的概念来刻画这种相互作用：即如果两个相邻方格的小磁针状态一致（例如都是朝上），则系统的总能量减1单位，否则如果不同就加1单位。外界还可能存在磁场，如果小磁针方向与外场方向一致，则能量也会降低。我们定义总能量：<br />
<br />
<br />
:<math><br />
E_{\{s_i\}}=-J\sum_{<i,j>}{s_is_j}-H\sum_{i}^N{s_i}<br />
</math><br />
<br />
<br />
其中<math>J</math>为一个能量耦合常数，<math>E_{\{s_i\}}</math>表示系统处于状态组合<math>\{s_i\}</math>下的总能量。求和下标<math><i,j></math>表示对所有相邻的两个小磁针进行求和。我们看到，如果<math>s_i=s_j</math>，则总能量就会减少J。H表示外界磁场的强度,它是一个参数，如果外界磁场向上H为正，否则为负。如果某个小磁针的方向与外场一致，则总能量减少一个单位。<br />
<br />
<br />
例如，假设系统中仅仅有3个小磁针，它们彼此相连（虚线表示构成邻居关系）形成一个三角形，如图：<br />
<br />
[[File:Triangle.png |center]]<br />
<br />
每个小磁针有+1,-1两种可能状态，那么所有的状态组合就包括：<br />
<br />
<br />
:<math>\{s_i\}=\{+1+1+1,+1+1-1,+1-1+1,+1-1-1,-1-1+1,-1+1+1,-1+1-1,-1-1-1\}</math><br />
<br />
<br />
那么这8种状态组合，每一个都对应一个唯一的能量值，它们分别是：<br />
<br />
<br />
:<math><br />
E_{\{+1+1+1\}}=-J(1\times 1 + 1\times 1+ 1\times 1)-H(1+1+1)=-3J-3H, <br />
</math><br />
<br />
:<math><br />
E_{\{+1+1-1\}}=-J((1\times 1)+(1\times (-1))+((-1)\times 1))-H(1+1-1)=J-H,<br />
</math><br />
<br />
:<math><br />
E_{\{+1-1+1\}}=J-H, E_{\{+1-1-1\}}=J+H,E_{\{-1+1+1\}}=J-H, <br />
</math><br />
<br />
:<math><br />
E_{\{-1+1-1\}}=J+H, E_{\{-1-1+1\}}=J+H, E_{\{-1-1-1\}}=-3J+3H<br />
</math><br />
<br />
<br />
系统中小磁针的相互之间以及与外场方向一致的话，则系统的能量就低。所以+1+1+1为能量最小的状态。沿用村民的比喻来说，系统的能量相当于村民观点存在的冲突的数量。如果两个相邻的村民意见不一致，总冲突数就+1，否则就减1。而外场建模了观点的媒体宣传效应,如果村民的观点与舆论宣传一致，则能量越低，因此也越和谐。<br />
<br />
===温度===<br />
但是，系统的演化并不完全由总能量决定。由于小磁针处于噪声环境中，热涨落又会引起小磁针的状态随机反转。我们可以用温度<math>T</math>来衡量这种环境影响的随机性。T越高，则小磁针发生反转的概率就会越大。<br />
<br />
<br />
这样，有两种力作用在小磁针上，一种力来源于小磁针邻居以及外场对它的影响，这种影响倾向于使得相邻的邻居彼此状态一致以及与外场尽量一致，即尽量使得系统的总能量达到最小。另外一种力则来源于环境噪声的扰动，它迫使小磁针无视邻居的作用而发生随机的状态反转。于是，每个小磁针就挣扎于这两种不同的力量之间。不难想象，假如温度<math>T</math>趋于0，则每个小磁针都会与外场相一致，那么，最终系统将处于全是+1或者全是-1的状态（取决于外场H是正还是负）。假如T特别高，而相互作用强度J特别小，则邻居间的作用可以忽略，每个小磁针都完全随机地取值。<br />
<br />
<br />
这样，整个伊辛模型就有两个外生给定的参数<math>T,H</math>来表示环境的温度和磁场强度。在村民的比喻中,温度相当于村民进行观点选择的自由程度，温度越高，村民选择观点越随机，而不受自己周围邻居的影响；否则村民的选择严重依赖于邻居和媒体宣传。<br />
<br />
<br />
===蒙特卡罗模拟===<br />
<br />
====具体算法====<br />
下面我们来讨论伊辛模型的计算机模拟。有趣的是，伊辛模型的模拟方法与我们熟悉的模拟方法很不同，它并没有为每个小磁针制定状态转变的规则，而是先让每个小磁针的状态发生随机变化，再根据能量来依概率接受这种状态变化。<br />
<br />
<br />
具体作法是：在每一个仿真周期，模拟程序会根据当前的状态组合<math>s_{i}(t)</math>，进行小的改进（例如随机翻转某一个小磁针），得到一个新的状态组合<math>s_i'</math>。<br />
但是系统下一时刻的状态并不是直接取为该状态组合，而是以概率发生：<br />
<br />
:<math>s_i(t+1)=\left\{\begin{array}{ll} s_i' & \mbox {with probability } \mu, \\<br />
s_i(t) & \mbox {with probability }1-\mu.\end{array}\right.</math><br />
<br />
<br />
其中,概率<math>\mu</math>按照如下公式计算：<br />
<br />
:<math><br />
\mu=\min{\{\exp{((E(s_i(t))-E(s_i'))/(kT))},1\}}<br />
</math><br />
<br />
<br />
也就是说，系统会按照概率<math>\mu</math>接受新的状态组合<math>s_i'</math>。其中<math>\mu</math>与新状态组合能量与当前能量的差值以及温度有关。如果状态组合<math>s_i'</math>的能量值大于原状态组合<math>s_i(t)</math>的能量值，则<math>\mu<1</math>但不为0，所以系统有可能接受这个状态组合。如果<math>E(s_i')<E(s_i(t))</math>，则<math>\mu=1</math>，则系统肯定会接受状态组合<math>s_i'</math>。这样，系统会更加倾向于往能量减少的状态组合方向演化，但是也会以一定的概率演化到能量大的状态组合，这种演化到能量较大的状态组合的概率由参数T确定。如果T越大，则系统接受一个能量较高状态组合的概率也会越大，也就是说系统越随机。否则系统会比较规矩地沿着能量下降的方式演化，系统相对秩序。<br />
<br />
<br />
按照这个接受概率规则，每一时刻，系统生成一个新的候选状态组合，然后再根据能量的大小决定是否接受它。于是，就进行了一步系统演化。按照上述算法，系统可以最终达到如下的概率分布状态：<br />
<br />
<br />
:<math><br />
p(\{s_i\})=\frac{1}{Z}\exp(-\frac{E_{\{s_i\}}}{kT})<br />
</math><br />
<br />
<br />
这个分布就是著名的[[玻尔兹曼分布]]，其中<math>k</math>为玻尔兹曼常数，等于<math>1.3806488\times 10^{23}</math>，<math>Z</math>为归一化因子：<br />
<br />
<br />
:<math><br />
Z=\sum_{\{s_i\}}\exp(-\frac{E_{\{s_i\}}}{kT})<br />
</math><br />
<br />
<br />
其中，求和符号是针对所有可能的状态组合的。这样可以保证概率归一：<br />
<br />
<br />
:<math><br />
\sum_{\{s_i\}}p(\{s_i\})=1<br />
</math><br />
<br />
<br />
在统计物理中，<math>Z</math>又称为系统的[[配分函数]]，它是温度<math>T</math>和外场<math>H</math>的函数，即：<math>Z(T,H)</math>。这个函数非常重要，因为它决定了系统的各种热力学性质。<br />
<br />
<br />
在玻尔兹曼分布中，每个状态组合出现的概率将会与该状态组合下的总能量的负值呈现指数关系。也就是说，能量越小，该状态组合的出现概率也就越大。反之，出现概率会随着能量增加而快速衰减。并且温度T会对衰减速度起到调节作用。这里出现概率的具体含义是指：如果针对同样参数和初始条件的伊辛模型进行多次重复试验。运行很长时间后，我们观察这些伊辛模型处于什么样的状态组合，则某一状态组合在若干实验中的出现频率会接近波尔兹曼分布。用统计物理的术语来说，这些试验就称为一个[[系综]]。<br />
<br />
<br />
因为已知在现实的铁磁物质中，系统与环境的热交换构成了一个统计物理中的[[正则系统]]，系统最终会达到玻尔兹曼分布的状态，所以为了模拟真实的铁磁物质，伊辛模型也应该达到这个稳态分布。我们可以从数学上证明，上述随机过程的稳态分布就是根据统计力学计算出来的分布结果。这种模拟方法就是伊辛模型的[[马尔科夫链-蒙特卡罗模拟]]方法 Markov Chain Monte Carlo(MCMC），也叫做[[Metropolis-Hastings算法]]。<br />
<br />
'''复现代码'''<br />
<br />
以下网页涵盖蒙卡利多模拟伊辛模型的Python代码，欢迎大家阅览（1. https://www.guanjihuan.com/archives/1249<nowiki/>；<br />
<br />
2. https://blog.csdn.net/wwxy1995/article/details/78774853<nowiki/>）。<br />
<br />
'''细致平衡条件'''<br />
<br />
和另一种常用的MCMC技巧[[吉布斯采样]] Gibbs Sampling类似，它的状态转移矩阵也满足'''细致平衡条件 Detailed Balance Equations'''：<br />
<br />
<br />
若<math>p_x</math>与<math>p_y</math>分别为状态<math>x</math>，<math>y</math>在平稳分布中的概率，<math>p(x,y)</math>与<math>p(y,x)</math>分别为前述设定的状态转移概率（转移概率矩阵中的元素），则有<br />
<br />
<br />
:<math>p_x p(x,y)=p_y p(y,x)</math><br />
<br />
<br />
值得注意的是，如果我们只定义马尔科夫链的转移概率矩阵满足对于任意的状态链<math>\{x_0,x_1,....x_n\}</math>，存在<br />
<br />
<br />
:<math>\frac{p(x_0,x_1)p(x_1,x_2)...p(x_{n-1},x_n)}{p(x_1,x_0)p(x_2,x_1)...p(x_n,x_{n-1})} = \frac{p(x_0,x_n)}{p(x_n,x_0)}</math><br />
<br />
<br />
则该马尔科夫链形成的唯一平稳分布自然满足细致平衡条件的要求。<br />
<br><br />
<br />
==模拟结果==<br />
===状态组合===<br />
首先，我们可以将+1对应为黑色，-1对应为白色，从而用图表示出在不同温度下系统达到稳态的模拟结果，如下图：<br />
<br />
[[File:Isingresult.png||Ising Model Simulation|center]]<br />
<br />
在图中，不同的行对应了不同的温度值。第一行的温度<math>T>T_C</math>，第二行<math>T\approx T_C</math>，第三行<math>T<T_C</math>。其中，<math>T_C</math>为临界温度，我们将在后面介绍如何计算该数值。当温度小于临界值的时候，伊辛模型中大多数磁针都取相同的颜色，系统处于较为秩序的状态。当温度大于临界值的时候，每个小磁针的颜色会比较混乱无序，系统处于随机的状态。而当温度接近临界的时候，系统的运行介于随机与秩序之间，也就是进入了[[混沌边缘]]地带。我们将这种状态称为[[临界状态]]。<br />
<br />
<br />
需要明确的是，上述截图仅仅是在成千上万种可能状态组合中的一种，但是却是最可能的一种（即概率较大的一种）。因为根据玻尔兹曼分布表达式，原则上讲，无论T和H为多少，任何一种状态组合<math>\{s_i\}</math>都有可能，但是可能性会随着状态组合的能量增加而迅速衰减。因此我们会以较大的概率看到那些能量小的状态。<br />
<br />
<br />
===热力学量===<br />
除了从图形定性地看出伊辛模型的运行以外，我们还可以研究模型的热力学性质，从而考察这些宏观量在稳态条件下如何依赖于参数，并与实验结果进行比较。以下结果都是对2维伊辛模型的模拟或计算结果。<br />
<br />
<br />
====平均磁矩====<br />
首先，可以定义平均磁矩这个量。如果将所有小磁针+1或-1的状态进行代数和，可以得到：<br />
<br />
<br />
:<math><br />
M_{\{s_i\}}=\sum_{i=1}^N{s_i}<br />
</math><br />
<br />
<br />
其中<math>N</math>为系统中所有小磁针的个数。<math>M_{\{s_i\}}</math>就是系统中在给定状态<math>s_i</math>条件下，总的磁矩（每个小磁针向上或者向下都是矢量）。在稳态条件下，系统满足平衡分布，那么，对所有可能的状态按照它们出现的概率进行加权平均就得到了整个系综的平均磁矩（即对所有可能的实验结果求平均）：<br />
<br />
<br />
:<math><br />
\langle M\rangle =\sum_{\{s_i\}}{M_{\{s_i\}}p_{\{s_i\}}}=\frac{1}{Z} \sum_{\{s_i\}}{M_{\{s_i\}}\exp (-E_{\{s_i\}}/(kT))}<br />
</math><br />
<br />
<br />
对应的每个小磁针的平均磁矩为：<br />
<br />
<br />
:<math><br />
m=\frac{\langle M\rangle}{N}<br />
</math><br />
<br />
<br />
通过计算机模拟实验，也可以通过平均场近似方法解析地给出平均磁矩随参数<math>H</math>和<math>T</math>的变化情况：<br />
<br />
[[File:M.png|thumb|m随H,T的变化|center]]<br />
<br />
注意，这张图在<math>H=0</math>的位置发生了断裂，这意味着系统在此参数附近存在着突变的现象。另外，当我们从<math>H=0</math>这个截面观察该图形，会发现，当<math>T</math>比较小的时候，<math>m</math>的值同时存在两个分支，一个大于0，一个小于0。这表明，当外界磁场消失以后，如果温度足够低低于临界数值<math>T_C</math>的话，小磁针的平均方向可能朝上也可能朝下，系统出现了[[对称性破缺]]。图中豁口的交汇点对应的恰恰是临界温度<math>T_C</math>的位置。如果<math>T>T_C</math>，则<math>m</math>始终为0，系统处于对称的状态。进一步，我们还可以画出<math>m</math>在不同参数T下随参数H的变化图：<br />
<br />
[[File:Phasetransition.png|center|thumb|m随H的变化]]<br />
<br />
这张图更加清晰地揭示出系统发生了相变。首先，我们看到当<math>T<T_c</math>的时候，m随H的曲线发生了断裂。也就是说当H值连续地从小于0变到大于0的时候，热力学量<math>m</math>从小于0不连续地变到了大于0。这种热力学函数随参数发生不连续的变化现象称为[[一级相变]]。当<math>T=T_C</math>的时候，这条<math>m</math>对<math>H</math>的曲线又连接到了一起，没有在<math>H=0</math>的点发生断裂。但如果我们考察m-H曲线的斜率会发现，斜率是无穷大。当热力学量随某一参数的变化连续，但是导数发散的时候，我们称该系统正在发生[[二级相变]]，也叫[[连续相变]]。<br />
<br />
<br />
为了更深入地理解<math>m</math>值在临界点<math>T=T_C, H=0</math>附近的行为，我们将研究<math>m</math>与归一化的温度（<math>(T_C-T)/T_C</math>）的关系如下图：<br />
<br />
[[File:Mpowerlaw.png|thumb|临界点行为|center]]<br />
<br />
上图表示了<math>m</math>随归一化温度呈现出幂律规律的变化，可以用如下公式表示：<br />
<br />
<br />
:<math>m_0\sim (\frac{T_C-T}{T_C})^{\frac{1}{\beta}}</math><br />
<br />
<br />
其中该关系的幂指数<math>\beta</math>模拟数值接近于8。<br />
<br />
<br><br />
<br />
====磁导率====<br />
<br />
除了磁矩的平均值，我们还可以计算出磁矩的涨落，我们将这个平均涨落称为'''磁导率'''，定义如下：<br />
<br />
<br />
:<math><br />
\chi{(T,H)}=\frac{\langle M^2\rangle -\langle M\rangle^2}{NkT}<br />
</math><br />
<br />
<br />
类似地，我们将磁导率与归一化温度曲线画在双对数坐标下得到一条直线（当<math>H=0</math>）：<br />
<br />
[[File:Chitemperature.png|center]]<br />
<br />
图中的黑色曲线表示<math>T>T_C</math>的结果，开放圆圈表示<math>T<T_C</math>的结果。这个幂律行为可以用公式：<br />
<br />
<br />
:<math>\chi\sim (|T-T_C|/T_C)^{-\gamma}</math><br />
<br />
<br />
表示,其中指数<math>\gamma</math>约等于7/4。<br />
<br />
====比热====<br />
按照类似的方法，我们还可以定义系综的平均能量：<br />
<br />
<br />
:<math><br />
\langle E\rangle =\frac{1}{Z} \sum_{\{s_i\}}{E_{\{s_i\}}\exp (-E_{\{s_i\}}/(kT))}<br />
</math><br />
<br />
<br />
能量的平均涨落就是比热：<br />
<br />
<br />
:<math><br />
c=\frac{\langle E^2\rangle-\langle E\rangle^2}{NkT^2}<br />
</math><br />
<br />
<br />
在0外场情况下，比热在临界点附近也呈现出与归一化温度的幂律关系：<br />
<br />
<br />
:<math>c\sim (|T-T_C|/T_C)^{-\alpha}</math><br />
<br />
<br />
====关联强度====<br />
每个小磁针都是一个随机变量，我们可以计算任意两个小磁针i,j的统计关联性，从而考察相隔任意距离的两个小磁针是否具有联系。<br />
具体地，我们定义关联强度为：<br />
<br />
<br />
:<math><br />
g(i,j)=\langle (s_i-\langle s_i\rangle)(s_j-\langle s_j\rangle)\rangle=\langle s_is_j\rangle-\langle s_i\rangle \langle s_j\rangle<br />
</math><br />
<br />
<br />
通过模拟我们发现，相关函数仅仅与两个小磁针之间的距离<math>r</math>有关，并且当温度远离临界温度的时候，相关函数与距离的函数呈现指数衰减：<br />
<br />
<br />
:<math><br />
g(r_{ij})\sim \exp(-r/r_0)<br />
</math><br />
<br />
<br />
其中，<math>r_0</math>为一常数，称为特征尺度。也就是说，任意两个磁针的统计相关性会随着它们彼此之间的距离增长而快速衰减，只要距离稍大于特征关联尺度，则关联性就会接近于0。但是，在临界温度附近，两磁针之间的统计相关性却呈现出幂律的形式，即：<br />
<br />
<br />
:<math><br />
g(r_{ij})\sim r^{-(d-2+\eta)}<br />
</math><br />
<br />
<br />
其中<math>d</math>为伊辛模型所在空间的维度，<math>\eta</math>为幂律指数。幂律衰减会比指数衰减慢很多，这也就意味着两磁针之间的关联长度会很长。假如我们仍然用指数函数来拟合相关性的衰减，即假设<math>g(r_{ij})\sim \exp(-r/r_0)</math>在临界温度的时候仍然成立,那么<math>r_0</math>就可以写为：<br />
<br />
<br />
:<math><br />
r_0\sim |\frac{T_C-T}{T_C}|^{-\nu}<br />
</math><br />
<br />
<br />
所以，当<math>T\rightarrow T_C</math>的时候，特征尺度<math>r_0\rightarrow \infty</math>。也就是说，小磁针彼此发生了长程相关：局部的空间涨落会通过某种合作机制传递并影响了相隔很远的小磁针。<br />
<br />
===临界相变===<br />
通过上述的讨论，我们已经对伊辛模型的提出、模拟办法以及得到的一系列模拟、计算结果进行了粗略的介绍。我们看到，伊辛模型的美妙之处就在于从一个相对简单而干净的模型出发，仅通过两个自由参数<math>H</math>和<math>T</math>，就可以复制出真实铁磁物质的相变行为。尤其是当系统处于临界参数的时候，即温度<math>T=T_C</math>，外界磁场强度H为0，系统展现出来的是[[二级相变]]（[[连续相变]]）。系统一切宏观热力学量都展现出标度行为，我们将这种特殊的相变称为[[临界相变]]，而将系统所体现出来的标度（幂律）行为、长程相关等现象统称为[[临界现象]]。<br />
<br />
<br />
[[临界现象]]不仅仅是伊辛模型、铁磁物质所独有的，它具有相当的普遍性。它会在很多复杂系统中体现出来，例如气-液相变过程、湍流，甚至股票市场、经济系统等。临界系统体现出的一个重要特征就是：自相似性和长关联性。伊辛模型临界状态模拟图如下：<br />
<br />
[[File:Isingresult2.png|center|thumb|临界状态下的伊辛模型]]<br />
<br />
这是在外场<math>H=0</math>，温度刚好等于临界温度的时候各个小磁针构成的一个构型。该图中，同一种颜色（即状态一致）的小磁针形成了彼此连通的团簇。这些团簇的尺寸有大有小。单独一个团簇具有一定的自相似性，它构成了一个[[分形]]。并且团簇的形态会在多个尺度重现类似的模式。假如我们将系统放大或者缩小，我们将无法分辨出不同之处，这就是[[无标度]]性这个名词的来源。<br />
<br />
<br />
当系统处于临界状态的时候，它的行为会呈现出一定的普适性。即无论系统的微观作用规则如何，系统的临界参数、各种热力学量的临界指数（如<math>\alpha,\beta,\gamma</math>等）都相同。因此，人们将具有相同临界指数的模型类划分为普适类。拿伊辛模型来说，无论伊辛模型位于什么样的空间中（例如四方晶格、六角格、三角格等），它们的微观规则也可能略有不同，但是，所有这些伊辛模型都属于同一个普适类，也就是说它们具有相同的临界温度和临界指数。<br />
<br />
<br />
另外一个表现出临界行为以及临界相变的简单例子就是[[渗流模型]]。<br />
<br />
===伊辛模型的重整化===<br />
目前，求解伊辛模型的方法主要包括：模型的解析求解、[[平均场近似]]的方法、Landau的近似方法、以及[[重整化群|重整化群]]的方法等。其中，[[重整化群]]方法与众不同，它是直接从模型达到临界后所展现出来的自相似性出发，写出重整化方程以及重整化算符。那么临界温度和各种临界指数就可以从该算符的线性化中求出。更有趣的是，由重整化群技术出发，我们自然可以得出所谓的“普适类”的概念：即存在一类伊辛模型，虽然他们的微观规则很不相同，但是却具有相似的临界指数。实际上，这些模型都处于同一个普适类曲面上，即它们经过无穷多次重整化操作后都会收敛到相同的不动点。<br />
<br><br />
<br />
==更多应用==<br />
伊辛模型目前应用非常广泛。本小节主要从社会科学和神经科学这两个方面介绍它的应用。<br />
===投票模型 Voter Model===<br />
在社会科学应用方面，我们主要介绍一个叫做投票的模型。假设有一个村落，每家每户都规则地排列在一个网格上。每个人都有自己的政治观点，假设第i个村民的政治观点是<math>s_i</math>，其中<math>s_i</math>可以在有限状态集合V中取值。我们用不同的颜色来表示不同人的政治观点，如下图所示：<br />
<br />
[[File:Votermodel.jpg|center|300px|Voter Model]]<br />
<br />
这张图展示了模型的一个瞬间的状态，其中每个村民都有6种不同的政治观点，它们被表达为6种不同的颜色。<br />
<br />
<br />
Voter模型的演化规则如下：每一个时刻，有n个村民会改变自己的政治观点，他们会随机地从自己周围的八个邻居中选择一个邻居，拷贝他的政治观点（被他的邻居说服了）。n越大，就会有越多的村民改变自己的观点，系统变化会很快，而n越小，则系统演化就会越慢。<br />
<br />
<br />
随着模型的演化，相同观点的人们开始形成团簇，如图所示：<br />
<br />
[[File:Untitled-2.png|center|300px|Voter Clusters]]<br />
<br />
如果模型继续演化，则6种观点中的5个将会消失，只剩下一种观点，但具体是哪一个我们无法预测。但我们可以确定系统必然收敛到一种确定的政治观点，这是因为该模型等价于一个带吸收壁的[[随机游走]]，系统将最终收敛。<br />
<br />
<br />
然而，如果我们稍作变化，只要每个村民在每个周期都会有一个小概率v发生政治观点的随机变化（并不拷贝邻居的颜色）。那么这个系统就将持续演化下去，不会停留在固定的状态上。不难看出，在这种改进的模型中，Voter模型与伊辛模型很相似。其中，村民拷贝邻居的观点相当于伊辛模型中，小磁针朝能量减小的方向演化。而每个村民按小概率v发生观点随机变化就相当于环境噪声的影响。如果适当地选择v参数的大小，Voter模型将会达到和伊辛模型类似的效果，即存在着临界的概率<math>v_C</math>，使得系统处于临界状态。与伊辛模型不同的是每个村民的状态取值可以更多。<br />
<br />
<br />
对比Voter模型和伊辛模型不难发现，Voter模型中并不存在能量，但是给出了每个微观个体状态转变的具体规则，而在伊辛模型中，单个小磁针的状态改变没有具体的规则，但是系统整体定义了总能量，于是只有那些可以使得总能量变小的微观个体转变才更容易被接受。当运行起来以后，Voter模型与伊辛具有相似的行为，这意味着这两种状态更新方式存在着一定的等价性。我们看到，Voter模型中每个村民拷贝某个邻居的观点相当于使得这两个格点的状态乘积尽量等于1（当有+1,-1两个状态的时候），也相当于降低系统整体的能量。反过来，要想降低伊辛模型中的总能量，一种明智的方法就是使得两个相邻格点的小磁针状态一致。由此可见，这两种模型存在着天然的对应。也意味着，我们可以定义Voter模型的能量函数，也可以为伊辛模型指定微观演化的规则。<br />
<br />
<br />
与此类似的社会学模型还有很多，例如著名经济学诺贝尔奖得主Thomas C. Schelling的[[种族隔离模型]]也是一个类似的温度<math>T=0</math>的伊辛模型。种族隔离模型假设一个街区中随机分布着两种肤色的人，例如黑人和白人。假如一个黑人周围的白人过多，则黑人会搬家（移动到周边的方格），否则如果白人周围是黑人，他也会搬家。这样经过足够长时间的演化，系统将形成不同的肤色的区块。这个模型与伊辛模型有很多相似的地方。<br />
<br><br />
<br />
===Hopfield神经网络模型===<br />
<br />
伊辛模型的一个显著的性质就是，随着系统的演化，它的能量会自发地降低。我们前面已经提到这种让整体降低能量的方法实际上与拷贝邻居状态的微观原则一致。于是，我们可以设计一种微观的演化机制，而使得宏观的某种待优化的函数（例如能量）能够自然地被优化。这就是[[Hopfield网络]]模型的起源。<br />
<br />
<br />
[[Hopfield网络]]是一个著名的[[神经网络]]模型，通过对网络进行训练，可以让它记住相应的模式，并在适当的条件下联想回忆提取出相关的模式。也就是说，Hopfield模型通过训练（改变相互连接的权重），可以将要记忆的模式映射为能量最小的状态，之后通过伊辛模型的邻域相互作用规则自发演化到这种最小能量状态。Hopfield的构造如下，一个加权的网络，如下图，每个节点都是一个神经元，加权的连边表示神经元之间的突触连接。<br />
<br />
<br />
假设每个神经元有两种状态：激活、未激活，分别用<math>s_i=+1,-1</math>来表示。神经元i到j的连接权重用<math>w_{ij}</math>来表示。<br />
<br />
<br />
在初始时刻，我们把输入向量映射为每个神经元的激活、未激活状态。然后，Hopfield网络的运行规则如下，在每一个仿真周期，每个神经元根据下述规则更新状态：<br />
<br />
<br />
:<math>s_i(t+1)=\left\{\begin{array}{ll} 1 & \mbox {if }\sum_{j}{w_{ij}s_j(t)}>\theta_i, \\<br />
-1 & \mbox {otherwise.}\end{array}\right.<br />
</math><br />
<br />
<br />
这里<math>\theta_i</math>为阈值常数。根据这条规则，如果与神经元i相邻的所有神经元都激活，并且它们的连接权重为正的话，那么该神经元就有可能被激活。这就相当于最小化一个全局的能量函数，能量函数定义为：<br />
<br />
<br />
:<math><br />
E_{\{s_i\}}=-\sum_{ij}w_{ij}s_is_j - \sum_{i} \theta_i s_i<br />
</math><br />
<br />
<br />
那么，Hopfield网络按照上述规则运行就会使得总能量尽量降低。相比较伊辛模型，我们看到，Hopfield的能量函数与伊辛模型非常相似，所不同的是相互作用强度因连接而异（<math>w_{ij}</math>），同时外场:<math>\theta_i</math>也会因神经元不同而不同。因此，可以说Hopfield网络就是一个变种的伊辛模型。<br />
<br />
<br />
另外，要想让Hopfield网络完成联想记忆，还需要给该网络进行训练。所谓的网络训练，就是要通过一定的规则来改变神经元之间的连接权重<math>w_{ij}</math>。假设我们希望Hopfield网络能够记住一组特定的向量（例如<math>V_1,V_2,V_3,...,V_{m}</math>)其中<math>m</math>为待学习的向量的个数，每一个向量可以写为：<br />
<br />
<br />
:<math><br />
V_i=<1,-1,1,\cdot\cdot\cdot,1><br />
</math><br />
<br />
<br />
其中向量的长度为<math>n</math>。我们按照如下的规则来调解权重：<br />
<br />
<br />
:<math><br />
w_{ij}=\sum_{\nu=1}^{m}V_{\nu}(i)V_{\nu}(j)<br />
</math><br />
<br />
<br />
:<math>V_{\nu}(i)</math>表示要学习的第<math>\nu</math>个向量的第i个分量的值。<br />
<br />
<br />
按照这种方式对整个网络进行训练之后，我们就得到了一组权重<math>w_{ij}</math>。之后，我们就用这组权重作为Hopfield网络中的连接权重，然后针对任意一个输入数据作为神经元的初始状态，按照Hopfield的运行规则演化，系统将逐渐收敛到已记忆过的向量<math>V_1,V_2,V_3,...,V_{m}</math>中的一个。<br />
<br />
<br />
总结来看，Hopfield网络的运行分为两个阶段，它们的输入数粗示意图如下所示：<br />
<br />
[[File:Hopfield.png|center]]<br />
<br><br />
<br />
==参考文献==<br />
{{cite book |last1=Christen |first1=Kim |year=2006 |title=复杂性和临界状态 |publisher=复旦大学出版社 |ISBN=9787309052022}}<br />
<br />
==参见==<br />
*[[ISING模型的重整化]]<br />
*[http://en.wikipedia.org/wiki/Voter_model 投票模型]<br />
*[http://en.wikipedia.org/wiki/Hopfield_network Hopfield网络]<br />
*[[复杂网络下的伊辛模型]]<br />
<br />
==编者推荐==<br />
[[File:复杂网络Ising .jpg|400px|thumb|[https://swarma.org/?p=9944 复杂网络上的伊辛模型]]]<br />
===集智文章===<br />
====[https://swarma.org/?p=9944 复杂网络上的伊辛模型]====<br />
本文将复杂网络与伊辛模型结合，使用随机几何图模型，构造复杂网络，并在网络的基础上运行伊辛模型。探索了其临界温度，发现临界温度与粒子数具有密切关联。同时发现相邻的集团之间，具有较强的独立性，并做了具体的数值分析。临界温度与独立性包涵了重要的现实意义，对于物质生长、凝聚具有解释效力；对于很多社会问题，也可以基于此模型给出解释 。<br />
<br />
<br />
===集智课程===<br />
====[https://campus.swarma.org/course/310 相变与相变模型]====<br />
本课程的主题是相变，它是一种涌现的模式，是系统表现出来的某种性质在不同情况下的变化。除了相变之外，在本课中还会向大家介绍大名鼎鼎的“伊辛 Model”，最后，还将简单介绍沙堆模型的相关内容。<br />
<br />
<br />
====[https://campus.swarma.org/course/1578 平衡态伊辛模型的本征微观态及本征值]====<br />
本课程中，展示了 伊辛 模型的蒙特卡洛模拟验证了本征微观态相变理论与有限尺度标度理论，并在全球气温系统中进行了实证分析。<br />
<br />
<br />
====[https://campus.swarma.org/course/1350 复杂系统中的关联]====<br />
计算了理想玻色气体的关联函数与关联长度,得到高温时，关联长度较短，趋于临界点的时候，关联长度趋于无穷大的结论，并引入了复杂系统的单元-单元关联函数，通过伊辛 模型计算模拟数据证实本征值满足有限尺度标度关系。<br />
<br />
== 二维伊辛模型交互仿真 ==<br />
以下程序演示二维伊辛模型在不同温度下的自旋簇演化（Metropolis 蒙特卡洛）：<br />
<br />
<htmltag tagname="iframe" src="/applets/ising/index.html" style="display:block; margin-bottom:1em; width:520px; height:680px; border:solid 1px #ddd;"></htmltag><br />
<br />
格点尺寸、温度、每帧步数均可调节；低温时出现大块同色区域（铁磁相），高温时趋于随机（顺磁相）。<br />
程序改编自 [https://physics.weber.edu/schroeder/software/demos/IsingModel.html Daniel V. Schroeder 的 Ising Model Demo]。<br />
----<br />
本中文词条由[[用户:Jake|Jake]]参与编译，[[用户:薄荷|薄荷]]编辑，欢迎在讨论页面留言。<br />
<br />
'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''<br />
[[category:复杂系统]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=%E9%A6%96%E9%A1%B5&diff=50511
首页
2026-07-04T02:24:00Z
<p>Fynn7：</p>
<hr />
<div>{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
}}<br />
<htmltag tagname="iframe" src="/graph.v20250715.html?v=20260304-lorenz" style="display: block; margin-bottom: 1em; width: 100%; height: 90vh; border: solid 1px #ddd;"></htmltag><br />
<br />
<!--<br />
<div style="display: flex; flex-wrap: wrap; justify-content: space-between; align-items: center; padding: 1em; background: #f9f9f9; border: solid 1px #ddd;"><br />
<div style="width: 50em; text-align: center;"><br />
<div style="margin-bottom: 0.5em; font-size: 28px;">欢迎来到 <b>集智百科</b></div><br />
<div style="font-size: 14px;"><i>知识从我而来，问题到我为止。</i></div><br />
</div><br />
</div>--><br />
<div><br />
<ul style="display: flex; flex-wrap: wrap; margin: 1em; padding-left: 1em; max-width: 30em;"><br />
<li style="width: 10em;">[[激励制度]]</li><br />
<li style="width: 10em;">[[编辑案例]]</li><br />
<li style="width: 10em;">[[如何上手集智百科]]</li><br />
<li style="width: 10em;">[[集智百科精品词条]]</li><br />
<li style="width: 10em;">[[集智百科发展史]]</li><br />
<li style="width: 10em;">[[集智俱乐部]]</li></ul><br />
</div><br />
<br />
<!--<br />
<div style="display: flex; flex-wrap: wrap; justify-content: space-between; align-items: center; padding: 1em; background: #f9f9f9; border: solid 1px #ddd;"><br />
<div style="width: 100em; text-align: center;"><br />
<div style="margin-bottom: 2em; font-size: 28px;">集智百科精品词条展示</div><br />
</div><br />
<ul style="display: flex; flex-wrap: wrap; margin: 2em; padding-left: 2em; max-width: 60em;"><br />
<li style="width: 10em;">[[系统科学]]</li><br />
<li style="width: 10em;">[[网络科学]]</li><br />
<li style="width: 10em;">[[系统论]]</li><br />
<li style="width: 10em;">[[信息论]]</li><br />
<li style="width: 10em;">[[控制论]]</li><br />
<li style="width: 10em;">[[奇点]]</li><br />
<li style="width: 10em;">[[复杂系统 Complex Systems]]</li><br />
<li style="width: 10em;">[[临界点（热力学）]]</li><br />
<li style="width: 10em;">[[斑图生成]]</li><br />
<li style="width: 10em;">[[自组织]]</li><br />
<li style="width: 10em;">[[涌现]]</li><br />
<li style="width: 10em;">[[蝴蝶效应]]</li><br />
<li style="width: 10em;">[[混沌理论]]</li><br />
<li style="width: 10em;">[[小世界网络]]</li><br />
<li style="width: 10em;">[[人工神经网络]]</li><br />
<li style="width: 10em;">[[自组织临界性]]</li><br />
<li style="width: 10em;">[[康威的生命游戏 Conway's Game of Life]]</li><br />
<li style="width: 10em;">[[幂律分布 power law]]</li><br />
<li style="width: 10em;">[[相变]]</li><br />
<li style="width: 10em;">[[元胞自动机]]</li><br />
<li style="width: 10em;">[[糖域模型]]</li><br />
<li style="width: 10em;">[[伊辛模型]]</li><br />
<li style="width: 10em;">[[网络科学]]</li><br />
<li style="width: 10em;">[[埃尔德什数理论]]</li><br />
<li style="width: 10em;">[[邓巴数]]</li><br />
<li style="width: 10em;">[[统计力学]]</li><br />
<li style="width: 10em;">[[计算传播学]]</li><li style="width: 10em;">[[集体注意力]]<br />
</li><br />
</ul><br />
</div><br />
--><br />
<br />
<div><br />
<h2>最近更改</h2><br />
<div>{{Special:RecentChanges/days=7}}</div><br />
</div></div>
Fynn7
https://wiki.swarma.org/index.php?title=%E9%A6%96%E9%A1%B5&diff=50504
首页
2026-07-04T02:14:43Z
<p>Fynn7：</p>
<hr />
<div>{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
}}<br />
<htmltag tagname="iframe" src="/graph.v20250715.html?v=20260304-rollback" style="display: block; margin-bottom: 1em; width: 100%; height: 90vh; border: solid 1px #ddd;"></htmltag><br />
<br />
<!--<br />
<div style="display: flex; flex-wrap: wrap; justify-content: space-between; align-items: center; padding: 1em; background: #f9f9f9; border: solid 1px #ddd;"><br />
<div style="width: 50em; text-align: center;"><br />
<div style="margin-bottom: 0.5em; font-size: 28px;">欢迎来到 <b>集智百科</b></div><br />
<div style="font-size: 14px;"><i>知识从我而来，问题到我为止。</i></div><br />
</div><br />
</div>--><br />
<div><br />
<ul style="display: flex; flex-wrap: wrap; margin: 1em; padding-left: 1em; max-width: 30em;"><br />
<li style="width: 10em;">[[激励制度]]</li><br />
<li style="width: 10em;">[[编辑案例]]</li><br />
<li style="width: 10em;">[[如何上手集智百科]]</li><br />
<li style="width: 10em;">[[集智百科精品词条]]</li><br />
<li style="width: 10em;">[[集智百科发展史]]</li><br />
<li style="width: 10em;">[[集智俱乐部]]</li></ul><br />
</div><br />
<br />
<!--<br />
<div style="display: flex; flex-wrap: wrap; justify-content: space-between; align-items: center; padding: 1em; background: #f9f9f9; border: solid 1px #ddd;"><br />
<div style="width: 100em; text-align: center;"><br />
<div style="margin-bottom: 2em; font-size: 28px;">集智百科精品词条展示</div><br />
</div><br />
<ul style="display: flex; flex-wrap: wrap; margin: 2em; padding-left: 2em; max-width: 60em;"><br />
<li style="width: 10em;">[[系统科学]]</li><br />
<li style="width: 10em;">[[网络科学]]</li><br />
<li style="width: 10em;">[[系统论]]</li><br />
<li style="width: 10em;">[[信息论]]</li><br />
<li style="width: 10em;">[[控制论]]</li><br />
<li style="width: 10em;">[[奇点]]</li><br />
<li style="width: 10em;">[[复杂系统 Complex Systems]]</li><br />
<li style="width: 10em;">[[临界点（热力学）]]</li><br />
<li style="width: 10em;">[[斑图生成]]</li><br />
<li style="width: 10em;">[[自组织]]</li><br />
<li style="width: 10em;">[[涌现]]</li><br />
<li style="width: 10em;">[[蝴蝶效应]]</li><br />
<li style="width: 10em;">[[混沌理论]]</li><br />
<li style="width: 10em;">[[小世界网络]]</li><br />
<li style="width: 10em;">[[人工神经网络]]</li><br />
<li style="width: 10em;">[[自组织临界性]]</li><br />
<li style="width: 10em;">[[康威的生命游戏 Conway's Game of Life]]</li><br />
<li style="width: 10em;">[[幂律分布 power law]]</li><br />
<li style="width: 10em;">[[相变]]</li><br />
<li style="width: 10em;">[[元胞自动机]]</li><br />
<li style="width: 10em;">[[糖域模型]]</li><br />
<li style="width: 10em;">[[伊辛模型]]</li><br />
<li style="width: 10em;">[[网络科学]]</li><br />
<li style="width: 10em;">[[埃尔德什数理论]]</li><br />
<li style="width: 10em;">[[邓巴数]]</li><br />
<li style="width: 10em;">[[统计力学]]</li><br />
<li style="width: 10em;">[[计算传播学]]</li><li style="width: 10em;">[[集体注意力]]<br />
</li><br />
</ul><br />
</div><br />
--><br />
<br />
<div><br />
<h2>最近更改</h2><br />
<div>{{Special:RecentChanges/days=7}}</div><br />
</div></div>
Fynn7
https://wiki.swarma.org/index.php?title=%E9%A6%96%E9%A1%B5&diff=50503
首页
2026-07-03T16:15:35Z
<p>Fynn7：fix iframe</p>
<hr />
<div>{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
}}<br />
<htmltag tagname="iframe" src="/graph.v20250715.html?v=20260703-lorenz3" style="display: block; margin-bottom: 1em; width: 100%; height: 90vh; border: solid 1px #ddd;"></htmltag><br />
<br />
<!--<br />
<div style="display: flex; flex-wrap: wrap; justify-content: space-between; align-items: center; padding: 1em; background: #f9f9f9; border: solid 1px #ddd;"><br />
<div style="width: 50em; text-align: center;"><br />
<div style="margin-bottom: 0.5em; font-size: 28px;">欢迎来到 <b>集智百科</b></div><br />
<div style="font-size: 14px;"><i>知识从我而来，问题到我为止。</i></div><br />
</div><br />
</div>--><br />
<div><br />
<ul style="display: flex; flex-wrap: wrap; margin: 1em; padding-left: 1em; max-width: 30em;"><br />
<li style="width: 10em;">[[激励制度]]</li><br />
<li style="width: 10em;">[[编辑案例]]</li><br />
<li style="width: 10em;">[[如何上手集智百科]]</li><br />
<li style="width: 10em;">[[集智百科精品词条]]</li><br />
<li style="width: 10em;">[[集智百科发展史]]</li><br />
<li style="width: 10em;">[[集智俱乐部]]</li></ul><br />
</div><br />
<br />
<!--<br />
<div style="display: flex; flex-wrap: wrap; justify-content: space-between; align-items: center; padding: 1em; background: #f9f9f9; border: solid 1px #ddd;"><br />
<div style="width: 100em; text-align: center;"><br />
<div style="margin-bottom: 2em; font-size: 28px;">集智百科精品词条展示</div><br />
</div><br />
<ul style="display: flex; flex-wrap: wrap; margin: 2em; padding-left: 2em; max-width: 60em;"><br />
<li style="width: 10em;">[[系统科学]]</li><br />
<li style="width: 10em;">[[网络科学]]</li><br />
<li style="width: 10em;">[[系统论]]</li><br />
<li style="width: 10em;">[[信息论]]</li><br />
<li style="width: 10em;">[[控制论]]</li><br />
<li style="width: 10em;">[[奇点]]</li><br />
<li style="width: 10em;">[[复杂系统 Complex Systems]]</li><br />
<li style="width: 10em;">[[临界点（热力学）]]</li><br />
<li style="width: 10em;">[[斑图生成]]</li><br />
<li style="width: 10em;">[[自组织]]</li><br />
<li style="width: 10em;">[[涌现]]</li><br />
<li style="width: 10em;">[[蝴蝶效应]]</li><br />
<li style="width: 10em;">[[混沌理论]]</li><br />
<li style="width: 10em;">[[小世界网络]]</li><br />
<li style="width: 10em;">[[人工神经网络]]</li><br />
<li style="width: 10em;">[[自组织临界性]]</li><br />
<li style="width: 10em;">[[康威的生命游戏 Conway's Game of Life]]</li><br />
<li style="width: 10em;">[[幂律分布 power law]]</li><br />
<li style="width: 10em;">[[相变]]</li><br />
<li style="width: 10em;">[[元胞自动机]]</li><br />
<li style="width: 10em;">[[糖域模型]]</li><br />
<li style="width: 10em;">[[伊辛模型]]</li><br />
<li style="width: 10em;">[[网络科学]]</li><br />
<li style="width: 10em;">[[埃尔德什数理论]]</li><br />
<li style="width: 10em;">[[邓巴数]]</li><br />
<li style="width: 10em;">[[统计力学]]</li><br />
<li style="width: 10em;">[[计算传播学]]</li><li style="width: 10em;">[[集体注意力]]<br />
</li><br />
</ul><br />
</div><br />
--><br />
<br />
<div><br />
<h2>最近更改</h2><br />
<div>{{Special:RecentChanges/days=7}}</div><br />
</div></div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=50072
Test autolink
2026-05-19T22:42:11Z
<p>Fynn7：页面内容被替换为“==信息的度量== 信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个…”</p>
<hr />
<div>==信息的度量==<br />
<br />
信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个随机变量中信息的度量）和互信息（两个随机变量之间的信息的度量）。熵是随机变量的概率分布的一个属性，它限制了从给定分布中独立采样得到的数据的压缩率。互信息是两个随机变量的联合概率分布的一个属性，是当信道的统计量由联合分布确定时，在长块长度的限制下，通过有噪信道的可靠通信的最大速率。<br />
<br />
在下列公式中，对数底数的选择决定了信息熵的单位。信息的常见单位是比特（基于二进制对数）。其他单位包括 nat（自然对数）和十进制数字（常用对数）。<br />
<br />
下文中，按惯例将 {{math|1=''p'' = 0}} 时的表达式{{math|''p'' log ''p''}}的值视为等于零，因为<math>\lim_{p \rightarrow 0+} p \log p = 0</math>适用于任何对数底。<br />
<br />
===信源的熵===<br />
<br />
基于每个用于通信的源符号的概率质量函数，'''<font color="#ff8000">香农熵 Shannon Entropy</font>'''（以比特为单位）由下式给出：<br />
<math>H = - \sum_{i} p_i \log_2 (p_i)</math><br />
<br />
其中{{math|''p<sub>i</sub>''}}是源符号的第{{math|''i''}}个可能值出现的概率。该方程以比特（每个符号）为单位给出熵，因为它使用以2为底的对数。为表纪念，这个熵有时被称为'''香农熵'''。熵的计算也通常使用自然对数（以[[E (mathematical constant)|{{mvar|e}}]]为底数，其中{{mvar|e}}是欧拉数，其他底数也是可行的，但不常用），这样就可以测量每个符号的熵值，有时在公式中可以通过避免额外的常量来简化分析。例如以{{math|1=2<sup>8</sup> = 256}}为底的对数，得出的值就以字节（而非比特）作为单位。以10为底的对数，每个符号将产生以十进制数字(或哈特利)为单位的测量值。<br />
<br />
直观的来看，离散型随机变量{{math|''X''}}的熵{{math|''H<sub>X</sub>''}}是对不确定性的度量，当只知道其分布时，它的值与{{math|''X''}}的值相关。<br />
<br />
当一个信息源发出了一串含有{{math|''N''}}个符号的序列，且每个符号[[独立同分布]]时，其熵为{{math|''N'' ⋅ ''H''}}位(每个信息{{math|''N''}}符号)。<br />
如果源数据符号是同分布但不独立的，则长度为{{math|''N''}}的消息的熵将小于{{math|''N'' ⋅ ''H''}}。<br />
<br />
[[File:Binary entropy plot.svg|thumbnail|right|200px| 伯努利实验的熵，作为一个成功概率的函数，通常被称为二值熵函数, {{math|''H''<sub>b</sub>(''p'')}}。当使用一个无偏的硬币做实验时，两个可能结果出现的概率相等，此时的熵值最大，为1。]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49994
Test autolink
2026-05-13T08:51:39Z
<p>Fynn7：</p>
<hr />
<div>{{#seo:<br />
|keywords=信息论,信息时代,正规科学,控制论,计算机科学<br />
|description=信息论,信息时代,正规科学,控制论,计算机科学<br />
}}<br />
'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。<br />
<br />
该领域是数学、统计学、计算机科学、物理学、神经生物学、信息工程和电气工程的交叉学科。这一理论也在其他领域得到了应用，比如推论统计学、自然语言处理、密码学、神经生物学<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、人类视觉<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref>、分子编码的进化、和功能（生物信息学）、统计学中的模型选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York)}}.</ref>、热物理学<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> 、量子计算、语言学、剽窃检测<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=Scientific American|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>、模式识别和异常检测<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=November 1, 2003|archiveurl=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archivedate=July 23, 2011|url-status=dead|accessdate=2010-06-23}}<br />
</ref>。 <br />
<br />
信息论的重要分支包括信源编码、算法复杂性理论、算法信息论、信息理论安全性、灰色系统理论和信息度量。<br />
<br />
信息论在应用领域的基本课题包括无损数据压缩（例如：ZIP压缩文件）、有损数据压缩（例如：Mp3和jpeg格式），以及频道编码（例如：DSL）。信息论在信息检索、情报收集、赌博，甚至在音乐创作中也有应用。<br />
<br />
信息论中的一个关键度量是'''[[熵]]'''。熵量化了一个随机变量的值或者一个随机过程的结果所包含的不确定性。例如，识别一次公平抛硬币的结果（有两个同样可能的结果）所提供的信息（较低的熵）少于识别抛一次骰子的结果（有六个同样可能的结果）。信息论中的其他一些重要指标有：互信息、信道容量、误差指数和相对熵。<br />
<br />
==概览==<br />
<br />
信息论主要研究信息的传递、处理、提取和利用。抽象地说，信息可以作为不确定性的解决方案。1948年，Claude Shannon在他的论文《一种通信的数学理论》中将这个抽象的概念具体化，在这篇论文中“信息”被认为是一组可能的信号，这些信号在通过带有噪声的信道发送后，接收者能在信道噪声的影响下以较低的错误概率来重构这些信号。 Shannon的主要结论，有噪信道编码定理，表明在信道使用的许多限制情况下，渐近可达到信息传输速率等于的信道容量，一个仅仅依赖于信息发送所经过的信道本身的统计量。（译注：当信道的信息传输率不超过信道容量时，采用合适的编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。）<br />
<br />
信息论与一系列纯科学和应用科学密切相关。在过去半个世纪甚至更久的时间里，在全球范围内已经有各种各样的学科理论被研究和化归为工程实践，比如在[[自适应系统]]，预期系统，人工智能，[[复杂系统]]，[[复杂性科学]]，[[控制论]]，信息学，[[机器学习]]，以及[[系统科学]]。信息论是一个广博而深遂的数学理论，也具有广泛而深入的应用，其中'''编码理论'''是至关重要的领域。<br />
<br />
编码理论与寻找明确的方法（编码）有关，用于提高效率和将有噪信道上传输的数据错误率降低到接近信道容量。这些编码可大致分为数据压缩编码（信源编码）和纠错（信道编码）技术。对于纠错技术，Shannon证明了理论极限很多年后才有人找到了真正实现了理论最优的方法。<br />
<br />
第三类信息论代码是'''密码算法'''（包括密文和密码）。编码理论和信息论的概念、方法和结果在密码学和密码分析中得到了广泛的应用。<br />
<br />
==历史背景==<br />
<br />
1948年7月和10月，[[克劳德·E·香农 Claude E. Shannon]]在《贝尔系统技术期刊》上发表了经典论文：《一种通信的数学理论》，这就是建立信息论学科并立即引起全世界关注的里程碑事件。<br />
<br />
在此之前，贝尔实验室已经提出了有限的信息论思想，所有这些理论都隐性地假设了概率均等的事件。Harry Nyquist 在1924年发表的论文《集中影响电报速率的因素 Certain Factors Affecting Telegraph Speed》中包含一个理论章节，量化了“情报”和通信系统可以传输的“线路速度”，并给出了关系式 {{math|1=''W'' = ''K'' log ''m''}} (参考玻尔兹曼常数) ，其中 ''W'' 是情报传输的速度， ''m'' 是每个时间步长可以选择的不同电压电平数，''K'' 是常数。Ralph Hartley 在1928年发表的论文《信息的传输 Transmission of Information》中，将单词信息作为一个可测量的量，以此反映接收者区分一系列符号的能力，从而将信息量化为 {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}，其中 ''S'' 是可以使用的符号的数量，''n'' 是传输中符号的数量。因此信息的单位就是十进制数字，为了表示对他的尊敬，这个单位有时被称为 Hartley，作为信息的单位、尺度或度量。1940年，图灵在二战时期破解德国的“迷”密码 Enigma ciphers的统计分析中使用了类似的思想。<br />
<br />
信息论背后的许多数学理论（包括不同概率的事件）都是由[[路德维希·玻尔兹曼 Ludwig Boltzmann]]和[[约西亚·威拉德·吉布斯 J. Willard Gibbs]]为热力学领域开发出来的。<br />
<br />
Shannon的那篇革命性的、开创性的论文，于1944年的年底便已基本在贝尔实验室完成。在这论文里， Shannon将通信看作一个统计学过程，首次提出了通信的量化模型，并以此为基础推导出了信息论。论文开篇便提出了一下论断：<br />
<br />
''<blockquote>“The basic problem of communication is the accurate or approximate representation at one point of selected information at another point.”<br><br />
“通信的基本问题是在一点上精确地或近似地再现在另一点上选择的信息。”</blockquote>''<br />
<br />
与此相关的一些想法包括：<br />
<br />
* 信息熵和信源冗余，以及'''<font color="#ff8000">信源编码定理</font>'''；<br />
<br />
* '''<font color="#ff8000">互信息，有噪信道的信道容量</font>'''，包括无损通信的证明，和'''<font color="#ff8000">有噪信道编码定理</font>'''；<br />
<br />
* '''<font color="#ff8000">香农-哈特利定律 Shannon–Hartley law</font>'''应用于高斯信道的信道容量的结果；<br />
<br />
* '''<font color="#ff8000">比特 bit</font>'''——一种新的度量信息的最基本单位。<br />
<br />
==信息的度量==<br />
<br />
信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个随机变量中信息的度量）和互信息（两个随机变量之间的信息的度量）。熵是随机变量的概率分布的一个属性，它限制了从给定分布中独立采样得到的数据的压缩率。互信息是两个随机变量的联合概率分布的一个属性，是当信道的统计量由联合分布确定时，在长块长度的限制下，通过有噪信道的可靠通信的最大速率。<br />
<br />
在下列公式中，对数底数的选择决定了信息熵的单位。信息的常见单位是比特（基于二进制对数）。其他单位包括 nat（自然对数）和十进制数字（常用对数）。<br />
<br />
下文中，按惯例将 {{math|1=''p'' = 0}} 时的表达式{{math|''p'' log ''p''}}的值视为等于零，因为<math>\lim_{p \rightarrow 0+} p \log p = 0</math>适用于任何对数底。<br />
<br />
===信源的熵===<br />
<br />
基于每个用于通信的源符号的概率质量函数，'''<font color="#ff8000">香农熵 Shannon Entropy</font>'''（以比特为单位）由下式给出：<br />
<math>H = - \sum_{i} p_i \log_2 (p_i)</math><br />
<br />
其中{{math|''p<sub>i</sub>''}}是源符号的第{{math|''i''}}个可能值出现的概率。该方程以比特（每个符号）为单位给出熵，因为它使用以2为底的对数。为表纪念，这个熵有时被称为'''香农熵'''。熵的计算也通常使用自然对数（以[[E (mathematical constant)|{{mvar|e}}]]为底数，其中{{mvar|e}}是欧拉数，其他底数也是可行的，但不常用），这样就可以测量每个符号的熵值，有时在公式中可以通过避免额外的常量来简化分析。例如以{{math|1=2<sup>8</sup> = 256}}为底的对数，得出的值就以字节（而非比特）作为单位。以10为底的对数，每个符号将产生以十进制数字(或哈特利)为单位的测量值。<br />
<br />
直观的来看，离散型随机变量{{math|''X''}}的熵{{math|''H<sub>X</sub>''}}是对不确定性的度量，当只知道其分布时，它的值与{{math|''X''}}的值相关。<br />
<br />
当一个信息源发出了一串含有{{math|''N''}}个符号的序列，且每个符号[[独立同分布]]时，其熵为{{math|''N'' ⋅ ''H''}}位(每个信息{{math|''N''}}符号)。<br />
如果源数据符号是同分布但不独立的，则长度为{{math|''N''}}的消息的熵将小于{{math|''N'' ⋅ ''H''}}。<br />
<br />
[[File:Binary entropy plot.svg|thumbnail|right|200px| 伯努利实验的熵，作为一个成功概率的函数，通常被称为二值熵函数, {{math|''H''<sub>b</sub>(''p'')}}。当使用一个无偏的硬币做实验时，两个可能结果出现的概率相等，此时的熵值最大，为1。]]<br />
<br />
如果一个人发送了1000比特（0s和1s），然而接收者在发送之前就已知这串比特序列中的每一个位的值，显然这个通信过程并没有任何信息（译注：如果你要告诉我一个我已经知到的消息，那么本次通信没有传递任何信息）。但是，如果消息未知，且每个比特独立且等可能的为0或1时，则本次通信传输了1000香农的信息（通常称为“比特”）。在这两个极端之间，信息可以按以下方式进行量化。如果𝕏是{{math|''X''}}可能在的所有消息的集合{{math|{''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}，且{{math|''p''(''x'')}}是<math>x \in \mathbb X</math>的概率，那么熵、{{math|''H''}}和{{math|''H''}}的定义如下: <ref name="Reza">{{cite book | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | origyear = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22}}</ref><br />
<br />
:<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math><br />
<br />
(其中：{{math|''I''(''x'')}}是[[自信息]]，表示单个信息的熵贡献；{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是，当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大； 也就是说，在{{math|1=''H''(''X'') = log ''n''}}这种情况下，熵是最不可预测的。<br />
<br />
对于只有两种可能取值的随机变量的信息熵，其特殊情况为二值熵函数（通常用以为底2对数，因此以香农(Sh)为单位）：<br />
<br />
:<math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p)</math><br />
<br />
<br><br />
<br />
===联合熵 Joint entropy===<br />
<br />
两个离散的随机变量{{math|''X''}}和{{math|''Y''}}的'''<font color="#ff8000">联合熵 Joint Entropy</font>'''大致是它们的配对： {{math|(''X'', ''Y'')}}。若{{math|''X''}}和{{math|''Y''}}是独立的，那么它们的联合熵就是其各自熵的总和。<br />
<br />
例如：如果{{math|(''X'', ''Y'')}}代表棋子的位置（{{math|''X''}} 表示行和{{math|''Y''}}表示列），那么棋子所在位置的熵就是棋子行、列的联合熵。<br />
<br />
:<math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math><br />
<br />
尽管符号相似，注意联合熵与交叉熵不能混淆。<br />
<br />
<br />
===条件熵（含糊度）Conditional entropy (equivocation)===<br />
<br />
在给定随机变量{{math|''Y''}}下{{math|''X''}}的'''<font color="#ff8000">条件熵 Conditional Entropy</font>'''（或条件不确定性，也可称为{{math|''X''}}关于{{math|''Y''}}的含糊度)）是{{math|''Y''}}上的平均条件熵： <ref name="Ash">{{cite book | title = Information Theory | author = Robert B. Ash | publisher = Dover Publications, Inc. | origyear = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&pg=PA16&dq=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty}}</ref><br />
<br />
:<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math><br />
<br />
由于熵能够以随机变量或该随机变量的某个值为条件，所以应注意不要混淆条件熵的这两个定义（前者更为常用）。该类条件熵的一个基本属性为：<br />
<br />
: <math> H(X|Y) = H(X,Y) - H(Y) .\,</math><br />
<br />
<br />
===互信息（转移信息） Mutual information (transinformation)===<br />
<br />
'''<font color="#ff8000">互信息 Mutual Information</font>'''度量的是某个随机变量在通过观察另一个随机变量时可以获得的信息量。在通信中可以用它来最大化发送和接收信号之间共享的信息量，这一点至关重要。{{math|''X''}}相对于{{math|''Y''}}的互信息由以下公式给出：<br />
<br />
:<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math><br />
<br />
其中{{math|SI}} (Specific mutual Information，特定互信息)是点间的互信息。<br />
<br />
互信息的一个基本属性是：<br />
<br />
: <math>I(X;Y) = H(X) - H(X|Y)\,</math><br />
<br />
也就是说，在编码''X''的过程中，知道''Y''比不知道''Y''平均节省{{math|''I''(''X''; ''Y'')}}比特。<br />
<br />
互信息是对称的：<br />
<br />
: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y)\,</math><br />
<br />
互信息可以表示为在给定''Y''值的情况下''X''的后验分布，以及''X''的先验概率分布之间的平均 Kullback-Leibler 散度（信息增益）：<br />
<br />
: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )]</math><br />
<br />
换句话说，这个指标度量：当我们给出''Y''的值，得出''X''上的概率分布将会平均变化多少。这通常用于计算边缘分布的乘积与实际联合分布的差异：<br />
<br />
: <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y))</math><br />
<br />
互信息与列联表中的似然比检验，多项分布，以及皮尔森卡方检验密切相关： 互信息可以视为评估一对变量之间独立性的统计量，并且具有明确指定的渐近分布。<br />
<br />
<br><br />
<br />
===Kullback-Leibler散度（信息增益） Kullback–Leibler divergence (information gain)===<br />
<br />
'''Kullback-Leibler 散度'''（或信息散度、相对熵、信息增益）是比较两种分布的方法： “真实的”概率分布''p(X)''和任意概率分布''q(X)''。若假设''q(X)''是基于某种方式压缩的数据的分布，而实际上''p(X)''才是真正分布，那么 Kullback-Leibler 散度是每个数据压缩所需的平均额外比特数。因此定义：<br />
<br />
:<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math><br />
<br />
尽管有时会将KL散度用作距离量度但它并不是一个真正的指标，因为它是不对称的，同时也不满足三角不等式(KL散度可以作为一个半准度量)。<br />
<br />
KL散度的另一种解释是一种先验知识引入的“不必要的惊讶”。假设将从概率分布为“ p（x）”的离散集合中随机抽取数字“ X”，如果Alice知道真实的分布“p（x）”，而Bob（因为具有先验知识）认为概率分布是“q（x）”，那么在看到抽取出来的''X''的值后，平均而言，Bob将比Alice更加惊讶。KL散度就是Bob惊讶的期望值减去Alice惊讶的期望值（如果对数以2为底，则以比特为单位），这样Bob所拥有的先验知识的“错误的”程度可以用他“不必要的惊讶”的期望值来进行量化。<br />
<br />
===其他度量===<br />
<br />
信息论中其他重要的量包括'''<font color="#ff8000">瑞丽熵 Rényi Entropy</font>'''（一种熵的推广），微分熵（信息量推广到连续分布），以及条件互信息。<br />
<br />
<br />
==编码理论==<br />
<br />
[[File:CDSCRATCHES.jpg|thumb|right|在可读CD的表面上显示划痕的图片。音乐和数据CD使用纠错编码进行编码，因此即使它们有轻微的划痕，也可以通过错误检测和纠正来对CD进行读取。]]<br />
<br />
'''<font color="#ff8000">编码理论 Coding Theory</font>'''是信息论最重要、最直接的应用之一，可以细分为'''<font color="#ff8000">信源编码理论 Source Coding Theory</font>'''和'''<font color="#ff8000">信道编码理论 Channel Coding Theory</font>'''。信息论使用统计学来量化描述数据所需的比特数，也就是源的信息熵。<br />
<br />
* 数据压缩（源编码）：压缩问题有两个相关公式；<br />
<br />
* [[无损数据压缩]]：数据必须准确重构；<br />
<br />
* [[有损数据压缩]]：由失真函数测得的在指定保真度级别内分配重构数据所需的比特数。信息论中的这个部分称为率失真理论。<br />
<br />
*纠错码（信道编码）：数据压缩会尽可能多的消除冗余，而纠错码会添加所需的冗余（即纠错），以便在嘈杂的信道上有效且保真地传输数据。<br />
<br />
信息传输定理，或着说“信源-信道分离定理”证明，编码理论应当划分为压缩和传输两部分。定理证明了在许多情况下使用比特作为信息的''通用货币''是合理的，但这只在发送用户与特定接收用户建立通信的情况下才成立。在具有多个发送器（多路访问信道），多个接收器（广播信道）或中转器（中继信道）或多个计算机网络的情况下，压缩后再进行传输可能就不再是最佳选择。[[网络信息论]]指的就是这些多主体通信模型。<br />
<br />
<br />
<br />
===信源理论===<br />
<br />
生成连续消息的任何过程都可以视为信息的通讯来源。无记忆信源是指每个消息都是独立同分布的随机变量，而遍历理论和平稳过程的性质对信源施加的限制较少。所有这些信源都可以看作随机的。在信息论领域外，这些术语也已经有很全面的相关研究。<br />
<br />
<br />
====速率====<br />
<br />
'''<font color="#ff8000">信息速率 Information Rate</font>'''（熵率）是每个符号的平均熵。对于无记忆信源，信息速率仅表示每个符号的熵，而在平稳随机过程中，它是：<br />
<br />
:<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots)</math>；<br />
<br />
也就是，给定所有之前生成的符号下，一个符号的条件熵。对于非平稳的过程的更一般情况，平均速率为：<br />
<br />
:<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n)</math>；<br />
<br />
也就是每个符号的联合熵的极限。对于平稳源，这两个表达式得出的结果相同。<ref>{{cite book | title = Digital Compression for Multimedia: Principles and Standards | author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&pg=PA56&dq=entropy-rate+conditional#PPA57,M1 | isbn = 1-55860-369-7 }}</ref><br />
<br />
<br />
在信息论中谈论一种语言的“速率”或“熵”是很常见的，也是很合适的，比如当信源是英文散文时。信息源的速率与其冗余度以及可被压缩程度有关。<br />
<br />
<br />
<br />
===信道容量===<br />
<br />
通过信道（例如，以太网电缆）进行通信是信息论的主要动机。然而，这样的信道往往不能产生信号的精确重建；静默时段内、噪声、其他形式的信号损坏往往会使得信息质量的降低。<br />
<br />
考虑离散信道上的通信过程。该过程的简单模型如下：<br />
<br />
<br />
[[File:Channel model.svg|center|800px|Channel model]]<br />
<br />
这里''X''表示要发送的信息的空间（全集），''Y''表示单位时间内通过信道接收的信息的空间。设{{math|''p''(''y''{{pipe}}''x'')}}是给定''X''的''Y''的条件概率分布函数。我们将{{math|''p''(''y''{{pipe}}''x'')}}视为通信信道的固定属性(表示信道噪声的性质)。那么''X''和''Y''的联合分布完全取决于所选用的信道和{{math|''f''(''x'')}}，以及通过信道发送的信息的边缘分布。在这些约束条件下，我们希望最大化信息速率或信号速率，可以通过信道进行通信。对此的适当度量为互信息，信道容量即为最大互信息，且由下式给出:<br />
<br />
:<math> C = \max_{f} I(X;Y).\! </math><br />
<br />
信道容量具有以下与以信息速率“R”进行通信有关的属性（其中“R”通常为每个符号的比特数）。对于任意信息速率''R < C''和编码错误ε > 0，存在足够大的长度为''N''和速率大于等于R的代码以及解码算法使得块错误的最大概率小于等于ε；即总是可以在任意小的块错误下进行传输。此外对于任何速率的“ R> C”，不可能以很小的块错误进行发送。<br />
<br />
信道编码就寻找一种接近最优的编码，它可以用于在噪声信道上以接近信道容量的速率传输数据，且编码错误很小。<br />
<br />
<br />
====特定信道容量模型====<br />
<br />
*连续时间内受高斯噪声 Gaussian noise限制的模拟通信信道（详细内容请参见[[Shannon–Hartley定理]]）。<br />
<br />
<br />
*'''二进制对称通道 binary symmetric channel（BSC）'''是交叉概率为''p''的二进制输入、二进制输出（以概率''p''翻转输入位）通道。每个通道使用的BSC容量为{{math|1 &minus; ''H''<sub>b</sub>(''p'')}}比特，其中{{math|''H''<sub>b</sub>}}是以2为底的对数的二进制熵函数：<br />
<br />
<br />
::[[File:Binary symmetric channel.svg]]<br />
<br />
*'''二进制擦除通道 binary erasure channel（BEC）'''是擦除概率为“ p”的二进制输入、三进制输出通道。可能的通道输出为0、1和擦除符号'e'。擦除表示信息输入位的完全丢失。每个通道使用的BEC容量为{{nowrap|1 &minus; ''p''}}比特。<br />
<br />
<br />
::[[File:Binary erasure channel.svg]]<br />
<br />
==在其他领域的应用==<br />
<br />
===情报使用和安全应用===<br />
<br />
信息论的概念可以应用于密码学和密码分析。在Ultra的项目中就使用了图灵的信息单位[[Ban（unit）| ban]]，破解了德国的恩尼格玛密码，加速了二战在欧洲的结束。香农定义了一个重要的概念，现在称为'''单一性距离 [[unicity distance]]'''，基于明文的冗余性尝试给出具有唯一可解密性所需的最少量的密文。<br />
<br />
信息论使我们觉得保密比最初看起来要困难得多。穷举法也可以破解基于非对称密钥算法或最常用的对称密钥算法（也称为密钥算法），如分块加密。所有这些方法的安全性都来自以下假设：在一定的的时间内没有已知的攻击方法可以破解它们。<br />
<br />
信息理论安全性指的是诸如一次性密钥之类的不易受到这种暴力攻击的方法。在这种情况下，可以确保明文和密文（以密钥为条件）之间的正条件互信息正确的传输，而明文和密文之间的无条件互信息仍为零，从而保证绝对安全的通信。换句话说，窃听者将无法通过获取密文而不是密钥的知识来改善其对原文本的猜测。但是，就像在其他任何密码系统中一样，即便时信息论中安全的方法必须小心正确的使用；之所以Venona 项目能够破解苏联的一次性密钥，就是因为苏联不当地重复使用关键材料。<br />
<br />
===伪随机数的生成===<br />
<br />
伪随机数生成器在计算机语言库和应用程序中广泛应用。由于它们没有规避现代计算机设备和软件的确定性，因此普遍不适合用在密码学中。一类改进的随机数生成器称为加密安全的伪随机数生成器，但也需要软件外部的随机种子才能正常工作，这通过提取器来获得。用来度量提取器中充分随机性的概念是最小熵，该值通过[[瑞丽熵]]与香农熵关联；瑞丽熵还用于评估密码系统中的随机性。虽然相关，但具有较高香农熵的随机变量不一定适合在提取器中使用，因此也不能用在密码学中。<br />
<br />
<br />
<br />
===地震勘探===<br />
<br />
信息论的一个早期商业应用是在地震石油勘探领域。在该领域的应用可以从期望的地震信号中剔除和分离不需要的噪声。与以前的模拟方法相比，信息论和数字信号处理大大提高了图像的分辨率和清晰度。<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=The corporation and innovation | year=1981 | journal=Strategic Management Journal | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref><br />
<br />
<br />
<br />
<br />
===符号学===<br />
<br />
符号学家Doede Nauta和Winfried Nöth都认为Charles Sanders Peirce在他的符号学著作中创造了信息论。<ref name="Nauta 1972">{{cite book |ref=harv |last1=Nauta |first1=Doede |title=The Meaning of Information |date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref><ref name="Nöth 2012">{{cite journal |ref=harv |last1=Nöth |first1=Winfried |title=Charles S. Peirce's theory of information: a theory of the growth of symbols and of knowledge |journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</ref> Nauta将符号信息论定义为研究编码、过滤和信息处理的内部过程。<ref name="Nauta 1972"/>{{rp|91}}<br />
<br />
信息论的概念（例如冗余和代码控制）已被符号学家如Umberto Eco和Ferruccio Rossi-Landi用来解释意识形态，将其作为消息传输的一种形式，占统治地位的社会阶层通过使用具有高度冗余性的标志来发出其信息，使得从符号中解码出来的消息只有一种，而不会时其他可能的消息。<ref>Nöth, Winfried (1981). "[https://kobra.uni-kassel.de/bitstream/handle/123456789/2014122246977/semi_2004_002.pdf?sequence=1&isAllowed=y Semiotics of ideology]". ''Semiotica'', Issue 148.</ref><br />
<br />
===其他应用===<br />
<br />
信息论在赌博、黑洞信息论和生物信息学中也有应用。<br />
<br />
<br />
<br />
==参见==<br />
{{div col|colwidth=20em}}<br />
* [[算法概率]]<br />
* [[贝叶斯推断]]<br />
* [[通信理论]]<br />
* [[构造器理论]] - 一种包含了量子信息的广义信息论<br />
* [[归纳概率]]<br />
* [[信息度量]]<br />
* [[最小消息长度]]<br />
* [[最小描述长度]]<br />
* [[计算机科学重要文献列表#信息论|重要文献列表]]<br />
* [[信息的哲学]]<br />
{{div col end}}<br />
<br />
===应用===<br />
<br />
{{div col|colwidth=20em}}<br />
* [[主动网络]]<br />
* [[密码分析]]<br />
* [[密码学]]<br />
* [[控制论]]<br />
* [[热力学和信息论中的熵]]<br />
* [[赌博]]<br />
* [[智能 (信息采集)]]<br />
* [[反射波勘探法|地震勘探]]<br />
<br />
{{div col end}}<br />
<br />
===理论===<br />
<br />
{{div col|colwidth=20em}} <br />
* [[编码理论]]<br />
* [[探测理论]]<br />
* [[估计理论]]<br />
* [[费舍尔理论]]<br />
* [[信息代数]]<br />
* [[信息不对称性]]<br />
* [[信息场论]]<br />
* [[信息几何]]<br />
* [[信息论于测度论]]<br />
* [[柯尔莫哥洛夫复杂度]]<br />
* [[信息论未解之谜]]<br />
* [[信息的逻辑]]<br />
* [[网络编码]]<br />
* [[信息的哲学]]<br />
* [[量子信息科学]]<br />
* [[信源编码]]<br />
<br />
{{div col end}}<br />
<br />
===概念===<br />
<br />
{{div col|colwidth=20em}}<br />
* [[Ban (单位)]] —— 以10为底的对数信息量单位<br />
* [[信道容量]]<br />
* [[信道]]<br />
* [[信源]]<br />
* [[条件熵]]<br />
* [[转换信道]]<br />
* [[数据压缩]]<br />
* 解码器<br />
* [[微分熵]]<br />
* [[可互换信息]]<br />
* [[信息波动复杂度]]<br />
* [[信息熵]]<br />
* [[联合熵]]<br />
* [[Kullback–Leibler散度]]<br />
* [[互信息]]<br />
* [[点间互信息]]（PMI）<br />
* [[接收器 (信息论)]]<br />
* [[冗余 (信息论)|冗余]]<br />
* [[瑞丽熵]]<br />
* [[子信息]]<br />
* [[单一性距离]]<br />
* [[种类 (控制论)|种类]]<br />
* [[汉明距离]]<br />
<br />
{{div col end}}<br />
<br />
==参考资料==<br />
<br />
{{Reflist}}<br />
<br />
<br />
===经典之作===<br />
<br />
* [[Claude Elwood Shannon|Shannon, C.E.]] (1948), "A Mathematical Theory of Communication", ''Bell System Technical Journal'', 27, pp.&nbsp;379–423 & 623–656, July & October, 1948. [http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.] <br />[http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html Notes and other formats.]<br />
<br />
* R.V.L. Hartley, [http://www.dotrose.com/etext/90_Miscellaneous/transmission_of_information_1928b.pdf "Transmission of Information"], ''Bell System Technical Journal'', July 1928<br />
<br />
* Andrey Kolmogorov (1968), "[https://www.tandfonline.com/doi/pdf/10.1080/00207166808803030 Three approaches to the quantitative definition of information]" in International Journal of Computer Mathematics.<br />
<br />
===其他期刊文章===<br />
<br />
* J. L. Kelly, Jr., [http://betbubbles.com/wp-content/uploads/2017/07/kelly.pdf Betbubbles.com], "A New Interpretation of Information Rate" ''Bell System Technical Journal'', Vol. 35, July 1956, pp.&nbsp;917–26.<br />
<br />
* R. Landauer, [http://ieeexplore.ieee.org/search/wrapper.jsp?arnumber=615478 IEEE.org], "Information is Physical" ''Proc. Workshop on Physics and Computation PhysComp'92'' (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp.&nbsp;1–4.<br />
<br />
* {{cite journal | last1 = Landauer | first1 = R. | year = 1961 | title = Irreversibility and Heat Generation in the Computing Process | url = http://www.research.ibm.com/journal/rd/441/landauerii.pdf | journal = IBM J. Res. Dev. | volume = 5 | issue = 3| pages = 183–191 | doi = 10.1147/rd.53.0183 }}<br />
<br />
* {{cite arXiv |last=Timme |first=Nicholas|last2=Alford |first2=Wesley|last3=Flecker |first3=Benjamin|last4=Beggs |first4=John M.|date=2012 |title=Multivariate information measures: an experimentalist's perspective |eprint=1111.6857|class=cs.IT}}<br />
<br />
===信息论教材===<br />
<br />
* Arndt, C. ''Information Measures, Information and its Description in Science and Engineering'' (Springer Series: Signals and Communication Technology), 2004,<br />
<br />
* Ash, RB. ''Information Theory''. New York: Interscience, 1965. New York: Dover 1990. <br />
<br />
* Gallager, R. ''Information Theory and Reliable Communication.'' New York: John Wiley and Sons, 1968. <br />
<br />
* Goldman, S. ''Information Theory''. New York: Prentice Hall, 1953. New York: Dover 1968, 2005.<br />
<br />
* {{cite book |last1=Cover |first1=Thomas |author-link1=Thomas M. Cover |last2=Thomas |first2=Joy A. |title=Elements of information theory |edition=2nd |location=New York |publisher=[[Wiley-Interscience]] |date=2006}}<br />
<br />
* Csiszar, I, Korner, J. ''Information Theory: Coding Theorems for Discrete Memoryless Systems'' Akademiai Kiado: 2nd edition, 1997. <br />
<br />
* David J. C. MacKay|MacKay, David J. C.. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003. <br />
<br />
* Mansuripur, M. ''Introduction to Information Theory''. New York: Prentice Hall, 1987. <br />
<br />
* Robert McEliece|McEliece, R. ''The Theory of Information and Coding". Cambridge, 2002. <br />
<br />
*Pierce, JR. "An introduction to information theory: symbols, signals and noise". Dover (2nd Edition). 1961 (reprinted by Dover 1980).<br />
<br />
* Reza, F. ''An Introduction to Information Theory''. New York: McGraw-Hill 1961. New York: Dover 1994. <br />
<br />
* {{cite book |last1=Shannon |first1=Claude |author-link1=Claude Shannon |last2=Weaver |first2=Warren |author-link2=Warren Weaver |date=1949 |title=The Mathematical Theory of Communication |url=http://monoskop.org/images/b/be/Shannon_Claude_E_Weaver_Warren_The_Mathematical_Theory_of_Communication_1963.pdf |location=[[Urbana, Illinois]] |publisher=[[University of Illinois Press]] |lccn=49-11922 }}<br />
<br />
* Stone, JV. Chapter 1 of book [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html "Information Theory: A Tutorial Introduction"], University of Sheffield, England, 2014.<br />
<br />
* Yeung, RW. ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book/ A First Course in Information Theory]'' Kluwer Academic/Plenum Publishers, 2002.<br />
<br />
* Yeung, RW. ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book2/ Information Theory and Network Coding]'' Springer 2008, 2002.<br />
<br />
===其他书籍===<br />
<br />
* Leon Brillouin, ''Science and Information Theory'', Mineola, N.Y.: Dover, [1956, 1962] 2004.<br />
<br />
* James Gleick, ''The Information: A History, a Theory, a Flood'', New York: Pantheon, 2011.<br />
<br />
* A. I. Khinchin, ''Mathematical Foundations of Information Theory'', New York: Dover, 1957.<br />
<br />
* H. S. Leff and A. F. Rex, Editors, ''Maxwell's Demon: Entropy, Information, Computing'', Princeton University Press, Princeton, New Jersey (1990). <br />
<br />
* Robert K. Logan. ''What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere'', Toronto: DEMO Publishing.<br />
<br />
* Tom Siegfried, ''The Bit and the Pendulum'', Wiley, 2000.<br />
<br />
* Charles Seife, ''Decoding the Universe'', Viking, 2006.<br />
<br />
* Jeremy Campbell, ''Grammatical Man'', Touchstone/Simon & Schuster, 1982, <br />
<br />
* Henri Theil, ''Economics and Information Theory'', Rand McNally & Company - Chicago, 1967.<br />
<br />
* Escolano, Suau, Bonev, ''[https://www.springer.com/computer/image+processing/book/978-1-84882-296-2 Information Theory in Computer Vision and Pattern Recognition]'', Springer, 2009. <br />
<br />
* Vlatko Vedral, ''Decoding Reality: The Universe as Quantum Information'', Oxford University Press 2010.<br />
<br />
===信息论大型开放式课程===<br />
<br />
* Raymond W. Yeung, "[http://www.inc.cuhk.edu.hk/InformationTheory/index.html Information Theory]" (The Chinese University of Hong Kong)<br />
<br />
==外部链接==<br />
<br />
* Lambert F. L. (1999), "[http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!]", ''Journal of Chemical Education''<br />
<br />
* [http://www.itsoc.org/ IEEE Information Theory Society] and [https://www.itsoc.org/resources/surveys ITSOC Monographs, Surveys, and Reviews]<br />
<br />
==编者推荐==<br />
[[File:Last1.png|400px|thumb|right|[https://swarma.org/?p=13364 用神经学习模型计算海量实际网络中的节点中心性度量 | 论文速递1篇|集智俱乐部]]]<br />
===集智文章推荐===<br />
====[https://swarma.org/?p=21423 计算美学前沿速递：用信息论“重新发现”风景画艺术史]====<br />
美术研究中的一个核心问题是，不同年代和流派的绘画作品，在组织架构上，是否有着相似之处？2020年10月发表在美国国家科学院院刊PNAS的论文中，研究者通过信息论和网络分析，对来自61个国家，1476名画家总计14912幅西方风景画的研究，证实了该假说。<br />
<br/><br/><br />
<br />
====[https://swarma.org/?p=20253 Science前沿：用信息论解释动植物间的军备竞赛]====<br />
在植物与植食性昆虫组成的生态系统中，不同物种在相互作用的过程中， 彼此适应，形成了一个相互影响的协同适应系统。近期Sicence的一项研究从气味信息的角度，讨论动植物协同进化中的军备竞赛，对研究生态网络内部的交流机制很有启发。同期的一篇相关评论文章对该话题进行了全新解答，本文是该评论文章的编译。<br />
<br />
<br />
<br/><br />
----<br />
本中文词条由[[用户:Pjhhh|Pjhhh]]、[[用户:Moonscar|Moonscar]]参与编译， [[用户:Qige96|Ricky]] 审校，[[用户:不是海绵宝宝|不是海绵宝宝]]、[[用户:唐糖糖|唐糖糖]]编辑，欢迎在讨论页面留言。<br />
<br />
'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''<br />
[[分类: 信息时代]] [[分类: 正规科学]] [[分类: 控制论]] [[分类: 计算机科学]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49993
Test autolink
2026-05-12T17:21:58Z
<p>Fynn7：</p>
<hr />
<div>==历史==<br />
<br />
File:Clausius.jpg|170px|thumb|鲁道夫·克劳修斯 Rudolf_Clausius （1822-1888年），熵概念的创始人<br />
<br />
法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是热力学第二定律的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。<br />
<br />
<br />
1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的热力学第一定律解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。<br />
<br />
<br />
1850年至1860年间，德国物理学家鲁道夫·克劳修斯 Rudolf Clausius反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。<br />
<br />
<br />
随后，路德维希·玻尔兹曼 Ludwig Boltzmann、 约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。<br />
<br />
<br />
<br />
足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。<br />
<br />
诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。<br />
<br />
<br />
<br />
<br />
大语言模型（LLMs）的快速发展使人们看到很多神奇的现象，比如[[神经标度律]]、[[涌现]]、[[顿悟]]等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的能力来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。<br />
<br />
=历史溯源=<br />
[[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者[[菲利普·安德森]]在一篇名为 “多者异也 (More is Different)”<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了安德森对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。<br />
<br />
这些能力包括数学推理（如多步计算与逻辑判断）、[[链式思维]]（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等。所有这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。<br />
<br />
足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。<br />
<br />
诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。<br />
<br />
[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|603x603px]]<br />
<br />
从技术发展史角度看，涌现能力的发现标志着[[自然语言处理]]研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统，而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出[[神经标度律]]和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。<br />
<br />
{| class="wikitable"<br />
|+大语言模型的涌现能力<br />
|-<br />
!模型!!发布时间!!参数量!!关键涌现能力<br />
|-<br />
|GPT-3||2020年5月||175B||上下文学习、简单推理<br />
|-<br />
|Gopher||2021年12月||280B || 复杂问答、知识整合<br />
|-<br />
|PaLM||2022年4月|| 540B ||多步推理、代码生成<br />
|-<br />
|Chinchilla||2022年7月||70B||高效知识压缩(数据优化)<br />
|-<br />
|GPT-4||2023年3月||1T+ ||多模态理解、高阶推理<br />
|}<br />
<br />
=大语言模型能力的涌现现象=<br />
<br />
模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。<br />
[[文件:Wei2023Table1.png|替代=|无|缩略图|633x633像素|各种涌现能力出现的模型规模]]<br />
<br />
<br />
<br />
为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为[[少量样本提示]](Few-Shot Prompting)和[[增强提示]](Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如[[思维链提示]]、不包括示例的任务描述、草稿本(Scratchpad)技术（模型在解决问题时需要分解并思考中间步骤，但这些思考不必呈现给用户）等，更复杂的提示能够进一步提高语言模型的能力。<br />
<br />
[[文件:Fewshotcn2.png|替代=|485x485像素]]<br />
<br />
==使用少量样本提示的任务==<br />
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。 <br />
<br />
[[文件:Fewshot.png|800px|thumb|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />|替代=|无]]<br />
<br />
* '''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10<sup>22</sup> FLOPs（约有13B参数），LaMDA达到10<sup>23</sup> FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。<br />
* '''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力<ref name="Lin2021">Lin, S., Hilton, J., & Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. URL https://arxiv.org/abs/2109.07958.</ref>，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是刻意针对GPT-3模型而策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×10<sup>23</sup> FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上<ref name="Rae2021">Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S. et al. Scaling language models: Methods, analysis and insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/<br />
2112.11446.</ref>。<br />
* '''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务<ref name="Patel2022">Patel, R. & Pavlick, E. Mapping language models to grounded conceptual spaces. ICLR, 2022. URL https://openreview.net/forum?id=gJcEM8sxHK.</ref>，这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。<br />
* '''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试<ref name="Hendrycks2021a">Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. Measuring massive multitask language understanding. ICLR, 2021a. URL https://openreview.net/<br />
forum?id=d7KBjmI3GmQ.</ref>。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10<sup>22</sup>（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10<sup>23</sup>训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结果可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。<br />
* '''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试<ref name="Pilehvar2019">Pilehvar, M. T. and Camacho-Collados, J. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. NAACL, 2019. URL https://aclanthology.org/N19-1128.</ref>。值得注意的是，即使模型规模扩大到最大（约5×10<sup>23</sup> FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10<sup>24</sup> FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。<br />
<br />
==使用增强提示策略的任务==<br />
[[增强提示]]是指通过在用户原始问题之外添加补充信息（如背景知识、具体约束或示例）来引导大模型生成更精准、高质量的回复。下面是一些会用到增强提示的任务。<br />
<br />
* '''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的[[自然语言处理]]模型来说一直具有挑战性<ref name="Rae2021" /><ref name="Bommasani2021">Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E. et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021. URL https://arxiv.org/abs/2108.07258.</ref><ref name="Nye2021">Nye, M., Andreassen, A. J., Gur-Ari, G., Michalewski, H., Austin, J., Bieber, D., Dohan, D., Lewkowycz, A., Bosma, M., Luan, D. et al. Show your work: Scratchpads for intermediate computation with language models. arXiv preprint arXiv:2112.00114, 2021. URL<br />
https://openreview.net/forum?id=iedYJm92o0a.</ref>。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题<ref name="chain-of-thought" /><ref name="Cobbe2021">Cobbe, K., Kosaraju, V., Bavarian, M., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021. URL https://arxiv.org/abs/2110.14168.</ref><ref name="Suzgun2022>Suzgun, M., Scales, N., Scharli, N., Gehrmann, S., Tay, Y., Chung, H.Y., Chowdhery, A., Le, Q.V., Chi, E.H., Zhou, D., & Wei, J. Challenging BIG-Bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022. URL https://arxiv.org/abs/2210.09261.</ref>。正如下图A所示，当规模扩大到10<sup>23</sup>训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现<ref name="Lampinen2022年">Lampinen, A.k., Dasgupta, I., Chan, S. C.Y., Matthewson, K., Tessler, M.H., Creswell, A., McClelland, J.L., Wang, J.X., & Hill, F. Can language models learn from explanations in context? Findings of EMNLP, 2022. URL https://arxiv.org/abs/2204.02329.</ref>。<br />
* '''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务，但不给出少量样本示例。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应<ref name="Finetuned" /><ref name="Ouyang2022">Ouyang,L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A. et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022. URL https://arxiv.org/abs/2203.02155.</ref><ref name="Sanh2022">Sanh, V., Webson, A., Raffel, C., Bach, S., Sutawika, L., Alyafeai, Z., Chaffin, A., Stiegler, A., Scao, T.L., Raja, A. et al. Multitask prompted training enables zero-shot task generalization. ICLR, 2022. URL https://openreview.net/forum?id=9Vrb9D0WI4.</ref><ref name="Chung2022">Chung, H.W., Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, E., Wang, X., Dehghani, M., Brahma, S. et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022. URL https://arxiv.org/abs/2210.11416.</ref>。如图B所示，这种指令微调技术对于训练FLOPs为7×10<sup>21</sup>（8B参数）或更小的模型有损害，只有当规模扩大到10<sup>23</sup>训练FLOPs（约100B参数）时，才会提高模型能力<ref name="Finetuned" />（尽管有研究者随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导<ref name="Sanh2022" />）。<br />
* '''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。有研究者展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)技术是一种令模型在输出最终答案之前将问题分解为多个中间步骤的技术，和[[思维链技术]]不同，草稿本的中间步骤可以不使用自然语言，也可以不暴露给用户，就像是打草稿。这种技术能使模型更有效地执行多步骤计算任务<ref name="Nye2021" />。研究发现，在8位数相加任务中，使用草稿本技术仅仅对训练FLOPs约为9×10<sup>19</sup>（40M参数）或更大的模型有帮助（如图C所示）。<br />
* '''模型校准（Calibration）.''' 模型校准能够衡量模型预测其回答正确率的能力，代表了模型回答问题的可靠程度。举个例子，当模型给出回答A的采样概率是90%时，说明它有九成把握自己做对了，而如果实际情况真的是10次问题中有9次做对了，说明模型有很高的校准能力。研究者使用平均校准误差（Expected Calibration Error，ECE）来度量模型校准能力的大小。有研究者比较了两种衡量校准的情境<ref name=":Kadavath2022">Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, E., Perez, E., Schiefer, N., Hatfield-Dodds Z., et al. (2022) Language Models (Mostly) Know What They Know.(arXiv:2207.05221). arXiv. https://arxiv.org/abs/2207.05221</ref>：一种是T/F判断题，在提示中会给出一段陈述，让模型给出“正确”或者“错误”的回答。另一种则是单选题，让大模型直接在多个选项中选择正确的答案。如图D所示，在二选一的情境下，模型在大约3×10<sup>23</sup>训练FLOPs（52B参数）的时候出现了涌现现象，而单选题的情境下模型校准能力一直以幂律的形式平滑增长。<br />
<br />
[[文件:Specialized_prompting_or_finetuning.png|800px|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]<br />
<br />
=基于下游任务的涌现的影响因素及争议=<br />
<br />
上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。<br />
<br />
所谓幻觉是指大模型的涌现现象来自人为的度量指标选择。非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的[[交叉熵]]随参数量增加而以幂函数的形式下降：<br />
:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math><br />
<br />
假设存在一个真实的但未知的概率分布 <math>p </math>以及一个具有N个参数的模型，它给出的预测分布为<math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v)</math>, 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到<br />
:<math>L_{CE}(N) = -\log\hat{p}_N(v^*)</math><br />
<br />
因此模型在给定输入的情况下，正确预测出单个token的概率为：<br />
:<math>p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})</math><br />
如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以得到平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：<br />
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L</math><br />
如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，我们就观察到了模型能力随模型规模增大而非线性增长的曲线，即呈现出了涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如[[token编辑距离]](Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模展现出平滑、连续和可预测的变化，即未出现涌现现象。<br />
<br />
[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]<br />
<br />
依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就不会有涌现现象<ref name=":mirage" />。<br />
<br />
总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：<br />
<br />
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；<br />
<br />
2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；<br />
<br />
3. 在较大参数范围内采样不足。<br />
<br />
但也有学者进一步发现，即使以连续性的度量指标来刻画（比如交叉熵），我们也能看到模型在某些任务上的表现有涌现式的增长<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。这说明涌现现象依然是真实存在的，而不完全是因为指标选取造成的幻觉。而且指标的连续性也不是选取合适指标的黄金标准，我们应该选取对任务适配的指标。比如以计算10+11=21为例，如果用token编辑距离作为评估指标，模型输出22时，距离等于1，输出11时，距离也等于1，但显然22比11更接近正确答案21。这时候再用token编辑距离作为评估指标就不合理了<ref name=":Percolation">Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki></ref>。鉴于此，有学者提出关于涌现现象更为完整的定义<ref name=":Percolation" />：<br />
<br />
一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件：<br />
<br />
P1: 在需要能力C的任务上，模型表现呈现非线性的明显提升；<br />
<br />
P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。<br />
<br />
P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。<br />
<br />
在这篇文章<ref name=":Percolation" />当中，作者其实已经意识到，模型展现的涌现现象和它底层的某些结构是相关的。而在这种结构的层次上做度量，比单纯地刻画下游任务上的表现对于研究大语言模型的涌现来说更为关键。<br />
<br />
=大语言模型的结构涌现=<br />
<br />
在结构上，主流大语言模型均基于[[Transformer架构]]，根据历史输入预测下一个token的概率分布。Token是自然语言处理中文本切分的最小单位（字、词或子词）。大语言模型使用token来理解和处理文本，把句子分解为token后再进行模型计算和生成。然而，人类对于语言的理解不是在token的层次上，而是在语义（semantics）的层次上。我们可以通过对多个token的排列组合来理解和表达语义。所谓对大语言模型的结构进行度量和解释，便是基于Transformer模块的行为，对模型在token和语义层次上的动力学进行量化分析。这里的动力学机制由模型的权重参数和运行方式决定。<br />
<br />
如前所述，目前大多数对于大语言模型涌现的刻画聚焦在具体下游任务的表现上，且都是定性的结论。这类涌现现象可以被看作是大语言模型的功能涌现。然而，结构决定功能。有没有可能在发生功能涌现的同时，大语言模型的内部也在发生结构上的涌现呢？这里的结构既指模型中的网络连接结构，又指模型的前向计算过程的动力学。自[[菲利普·安德森]]的《多者异也》之后，复杂性科学中对于复杂系统的涌现有了更多的认识。在观察者角度下，一个复杂系统同时具有微观和宏观尺度上的动力学，比如对于大语言模型来说，微观动力学是从已有的token生成下一个token，宏观动力学则可以是语义上的接龙和变化。作为一个对涌现定量研究的理论框架，[[因果涌现]]理论提出当宏观动力学因果效应强度大于微观动力学上的因果效应强度时，复杂系统发生涌现现象<ref name="Hoel1">E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref name="Hoel2">E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>。我们猜想，大语言模型之所以会出现任务能力上的涌现或突变，背后对应着动力学机制上的涌现。如果我们想要解释甚至调控大语言模型的涌现现象，就需要从结构或动力学的角度对大语言模型的结构涌现进行度量，以及给出相应的理论解释。这样得到的量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。<br />
<br />
==量化大语言模型的信息涌现==<br />
受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现]]理论的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。<br />
<br />
大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]， 如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为 <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。<br />
<br />
[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|NTP机制与马尔可夫过程的类比。]]<br />
<br />
在这个动力学过程中有微观变量和宏观变量。'''微观变量'''指仅受单个输入token影响的token，例如 <math>h^0</math> 满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有输入token的信息，例如<math>h^{T-1}_{l+1}</math>满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。 在这样的定义下，NTP机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程。根据《多者异也》的理论，有时候，宏观变量的行为状态无法从任何一个微观变量中推出，但这并不意味着宏观变量可以无中生有。文中除了马尔可夫假设以外，还提出了随附性假设<ref name="IE" />，即当一个系统的微观动力学机制确定时，它的宏观动力学机制也就随之确定了。<br />
<br />
基于以上两个假设，文章中对大语言模型的信息涌现做了如下定义<ref name="IE" />： <br />
<br />
对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l</math> 表示宏观变量， <math>h^{mi}_l</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的IE强度定义为：<br />
<br />
:<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math><br />
<br />
给定一个序列和Transformer模块，我们如何得到宏微观变量？假设给定的输入序列是“large language model”，那么为了得到每一个token作为微观变量时的输入输出表征，我们需要把每一个token作为当前输入的首个token。比如输入是“large language model”时，我们可以得到“large”作为微观输入表征时的输出表征；把输入序列改成“language model”，就可以得到“language”作为微观输入表征时的输出表征；把输入序列改成“model”，就可以得到“model”作为微观输入表征时的输出表征。而对于宏观变量，则是全序列“large language model”输入时最后一个token（“model”）对应的输入和输出表征。这样做保证了微观变量状态只取决于单个的token，而宏观变量状态则取决于整个序列的信息。<br />
<br />
计算[[互信息]]需要知道变量的概率分布。为了在大语言模型的高维状态空间上估计概率分布，作者使用了[[互信息神经估计算法]]（Mutual information neural estimation，MINE）<ref>M. I. Belghazi, A. Baratin, S. Rajeshwar, S. Ozair, Y. Bengio, A. Courville, and D. Hjelm. Mutual information neural estimation. In International conference on machine learning, pages531–540. PMLR, 2018.</ref>来得到宏微观变量的概率分布。<br />
<br />
下图展示了IE更加体现语义忠实度（Semantics Faithfulness），即一个指标能否真实反映语言模型理解句子含义的能力。该实验使用了OpenOrca数据集中的例子，计算随着输入变长，大语言模型对语义把握的能力是否一直增长。传统的度量指标包括准确率、模型的损失等等。而从下图中可以看出，随着输入变长，这些指标并不总是单调增长的，而且波动很大。与之相比，IE总是在增长（即图中曲线总为正值），而且结果非常稳定。<br />
<br />
[[文件:IE token.png|替代=|无|缩略图|714x714px|IE和其他指标随着token数量增加的增长幅度的变化。纵轴度量的计算方式是(value(t) − value(t − 1))/value(t)。]]<br />
<br />
IE可以用来直接指示大模型能力的提升。研究中评估了8个算术任务（一位数和两位数的加减乘除）的表现与IE值之间的关联关系（如下图所示）。当参数量达到<math>10^9</math> 至 <math>10^{10}</math>时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围内，平均IE值也显著增加。<br />
<br />
[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|767x767px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]<br />
<br />
==基于大语言模型结构的多尺度解释==<br />
<br />
根据前文提及的[[因果涌现]]理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？<br />
<br />
近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 <ref>Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.</ref><ref>Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.</ref>，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。<br />
<br />
[[文件:Claude CLT.png|无|缩略图|434x434px|CLT的示意图]]<br />
<br />
根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的[[因果图]]，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？<br />
<br />
[[文件:Claude bilang.png|无|缩略图|602x602px|面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。]]<br />
<br />
上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。<br />
<br />
第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。[[因果图]]的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成[[干预]]的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。<br />
<br />
[[文件:Claude poem.png|无|缩略图|608x608px|图中浅蓝色部分是提示词，橙红色部分是输出。]]<br />
<br />
如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。<br />
<br />
第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。<br />
<br />
[[文件:Claude math.png|无|缩略图|608x608px|计算的36+59的内部思考过程。]]<br />
<br />
一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。<br />
<br />
=大语言模型涌现的机制解释=<br />
<br />
大语言模型为什么会出现涌现现象？通过上文的讨论我们知道，有些涌现现象可能来自幻觉（度量指标的选取），但有很多涌现现象即使是用连续的指标度量也会被观测到。对于这些真实的涌现现象，我们能否预测什么时候大语言模型会发生涌现，甚至干预和调控这个过程？许多研究者致力于为大语言模型的涌现提出理论解释。首先，我们可以粗浅地从观察到的现象中归纳出一些结论。<br />
<br />
涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的[[神经标度律]]。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作。对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang" />。<br />
<br />
==知识量子理论==<br />
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时，就是在学一个个知识量子。下表给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。<br />
<br />
{| class="wikitable"<br />
|+自动发现的大语言模型知识量子<br />
|-<br />
! Cluster 50: 递增数列片段 !! Cluster 100: 换行预测片段<br />
|-<br />
| <br />
01-Mi Querencia (Simón Díaz)\n<br><br />
02-Tonada De Luna Llena (Simón Díaz)\n<br><br />
03-Sabana (José Salazar/Simón Díaz)\n<br><br />
04-Caballo Viejo (Simón Díaz)\n<br><br />
05-Todo Este Campo Es Mío (Simón Díaz)\n<br><br />
06-La Pena Del Becerrero (Simón Díaz)\n<br><br />
'''07'''<br />
| <br />
Pursuant to 5TH CIR. R. 47.5, the court has determined\n that this opinion should not be published and is not precedent\n except under the limited circumstances set forth in 5TH CIR.'''\n'''<br />
|-<br />
| <br />
...from opening a through road or street for public use across said public park in the Park of The City of Riverton." (Emphasis supplied.)\n<br><br />
Appealing from that order, the city asserts (1) plaintiffs have no standing or right to maintain the action; (2) that the proposed road was in an undedicated part of the park; (3) that the proposed road was an access road and not a through street or part of the city's street system.('''4'''<br />
| <br />
TO PERFORM QUADRATIC REGRESSION\n<br><br />
ON THE TI84 GRAPHING CALCULATOR.\n<br><br />
DETERMINE HOW WELL THE REGRESSION MODEL FITS THE DATA.\n<br><br />
AND THEN MAKE PREDICTIONS USING THE REGRESSION EQUATION.\n<br><br />
IN STATISTICS, REGRESSION ANALYSIS INCLUDES\n<br><br />
ANY TECHNIQUES USED FOR MODELING '''\n'''<br />
|-<br />
| <br />
4. Introduction\n<br><br />
5. Chapter 1: What Is Trust?\n<br><br />
6. Chapter 2: Trust Brings Rest\n<br><br />
7. Chapter 3: Who Can I Trust?\n<br><br />
8. Chapter 4: The Folly of Self-Reliance\n<br><br />
9. Chapter 5: Trust God and Do Good (Part 1)\n<br><br />
10. Chapter 6: Trust God and Do Good (Part 2)\n<br><br />
11. Chapter 7: At All Times\n<br><br />
12. Chapter '''8'''<br />
| <br />
creddump is free software: you can redistribute it and/or modify\n<br><br />
it under the terms of the GNU General Public License as published by\n<br><br />
the Free Software Foundation, either version 3 of the License, or\n<br><br />
(at your option) any later version.\n<br><br />
\n<br><br />
creddump is distributed in the hope that it will be useful.'''\n'''<br />
|-<br />
| <br />
The chosen sites were recorded as:0 = sound (n = 13);1 = first visible sign of noncavitated lesion seen only when the tooth is dried;2 = visible noncavitated lesion seen when wet and dry;3 = microcavitation in enamel;4 = noncavitated lesion extending into dentine seen as an undermining shadow;5 = small cavitated lesion with visible dentine (less than 50% of surface);'''6'''<br />
| <br />
/**\n<br><br />
Copyright (c) 2019. The Android Open Source Project\n<br><br />
\n<br><br />
Licensed under the Apache License, Version 2.0 (the "License");\n<br><br />
you may not use this file except in compliance with the License.'''\n'''<br />
|-<br />
| <br />
QCBlock List Msg = 0x0a \n<br><br />
Get Latest Status Msg = 0x0b \n<br><br />
Latest Status Msg = 0x0c \n<br><br />
Prepare Block HashMsg = 0x0d \n<br><br />
Get View Change Msg = 0x0e \n<br><br />
Ping Msg = 0x0'''f'''<br />
| <br />
children have a lack of maturity and an underdeveloped\n sense of responsibility, leading to recklessness, impul-\nsivity, and heedless risk-taking... Second, children\n are more vulnerable to negative influences and\n outside pressures, including from their family and\n peers; they have limited control over their own envi-'''\n'''<br />
|}<br />
<br />
比如上表中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识（每个例子最后的粗体标注内容是该知识量子所涵盖的）。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。<br />
<br />
那么，知识量子理论能否用来解释[[涌现]]，以及建立起涌现和[[神经标度律]]之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值时损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是[[神经标度律]]。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。<br />
<br />
[[文件:Quanta emerg.png|无|缩略图|646x646px|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]<br />
<br />
==渗流模型==<br />
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释[[神经网络]]，特别是大语言模型中的涌现现象。<br />
<br />
[[涌现]]是自然科学中的一个特征现象，它与[[相变]]的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化(例如，学习一种语言的句法会影响所有下游的能力)。<br />
<br />
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]<br />
<br />
如前文所述，该研究对能力的涌现现象做出如下定义：<br />
<br />
若模型在某一相关维度（如数据量、计算量、参数量）上扩展时，能力<math>C</math>满足以下三个条件，则称其为“涌现”：<br />
<br />
P1（非线性性能提升）：该能力相关任务的性能表现出现非线性跃升；<br />
<br />
P2（多任务共现）：多个不同任务同时表现出非线性性能提升；<br />
<br />
P3（结构性学习）：模型学习了数据生成过程中的某种结构，这一结构对于学习能力<math>C</math>至关重要，且能力<math>C</math>的非线性增长与该结构的学习过程直接相关。<br />
<br />
该定义赋予“涌现”比“在某个任务上性能突增”更广的含义：它要求模型学习到对多个能力都有下游影响的结构性知识，并因此在多个任务上表现出突然的性能提升。从这个角度看，“涌现”的其实是结构，而观察到的是模型能力的变化，如果能通过分析那些同时出现性能跃升的任务，推测出它们之间所共享的结构，并据此设计评估指标，那么就有可能预测在一次独立训练中能力何时会突然出现。<br />
<br />
该研究提出一个基于[[渗流模型]]的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为[[二分图]]（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“[[连通子图]]”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“[[临界阈值]]”概念相似，表示模型从局部学习到全局能力的跃升。<br />
<br />
=== 基本定义 ===<br />
<br />
'''实体（entities）：'''“主语”和“宾语”统称为实体，所有实体组成集合<math>E</math>。<br />
<br />
'''属性（properties）：'''描述性和关系性的词语统称为属性，所有属性构成集合<math>K</math>。<br />
<br />
'''概念类（concept class）：'''一个概念类被定义为一个属性子集<math>K_C \subseteq K</math>，表示属于该类的实体所具备的属性。从一个概念类中随机采样的两个实体，往往共享部分属性——这为训练模型提供了判断它们是否属于同一类的信号。<br />
<br />
'''类型约束图：'''类型约束图<math>G=\left ( E,K,I \right ) </math>是一个二分图（bipartite graph），其中节点为实体集<math>E</math>与属性集<math>K</math>，边集<math>I</math>表示实体是否具备某一属性（即是否连接）。<br />
<br />
[[文件:概念类二分图.png|无|缩略图|800x800px|各类实体与描述词、动词之间的连接关系]]<br />
<br />
<br />
=== 形式语言学习中的涌现能力 ===<br />
<br />
Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。<br />
<br />
实验中训练模型执行如下三种任务：<br />
<br />
* 自由生成（Free generation）：模型需生成一个完全合法的句子，即同时符合语法规则与类型约束。<br />
<br />
* 打乱复原（Unscrambling）：给定一个被随机打乱的句子 token 集合，模型需将其复原为一个合法句子。<br />
<br />
* 条件生成（Conditional Generation）：给定一组包含实体或属性的 token，模型需在生成句子时正确地使用这些 token 并保持合法性。<br />
<br />
{| class="wikitable"<br />
|+ 任务示例<br />
|-<br />
! 任务类型 !! 输入样例 !! 输出样例<br />
|-<br />
| 自由生成（Free） || [null] || tall man slowly walked to small library.<br />
|-<br />
| 条件生成（Cond） || [man, walked] || tall man slowly walked to small library.<br />
|-<br />
| 打乱复原（Unscr） || [library, walked, ..., to, slowly] || tall man slowly walked to small library.<br />
|}<br />
<br />
设模型输入为<math>x</math>，输出为<math>f\left ( x \right ) </math>，定义如下评估指标。<br />
<br />
* 语法性/类型检查（Grammaticality / Type Check）：用于自由生成任务<br />
* 完全匹配 / Token 准确率（Exact Match / Per Token Accuracy）：用于打乱复原任务<br />
* 条件满足率（Conditions Satisfied）：用于条件生成任务<br />
* 合法 token 的平均概率（Avg. Probability of Valid Tokens）：用于描述型句子的自由生成与打乱复原任务<br />
<br />
Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。<br />
<br />
[[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现：(a)语法性与类型检查准确率随训练迭代变化：语法习得阶段（灰）、关系约束习得阶段（粉）、描述约束习得阶段（绿）；(b)打乱复原的表现：在阶段边界附近，这个任务出现明显性能跃迁；(c)条件生成的表现：在阶段边界附近，这个任务出现明显性能跃迁；(d)训练损失随时间变化：每个结构被学会的时点伴随一次损失下降；(e)描述性/相关性句子的表现：打乱复原任务在描述句子上的提升，主要由描述约束习得驱动。]]<br />
<br />
<br />
'''阶段1：语法获取'''<br />
<br />
最初阶段，模型迅速学习生成符合语法规则的句子（该过程可由“语法性准确率”指标衡量），在大约 100 次迭代内，模型就能生成高度语法正确的句子。但在这一阶段，打乱复原（unscrambling）和条件生成（conditional generation）等任务的表现仍然很差。不过，正当语法性显著提升时，token 准确率开始提升，表明模型对一种广义结构（即语法）的掌握，正在对其他能力的学习产生影响。<br />
<br />
'''阶段2：关系性类型约束的获取'''<br />
<br />
在大约第 1000 次迭代时，模型在“关系型类型检查”上的表现突然从几乎为零跳跃至近乎完美。这一跃迁正好伴随着所有任务（尤其是自由生成任务）的损失突降。<br />
这一涌现恰好发生在模型首次达到最高语法性准确率的时间点。这表明，一旦模型学会了数据的第一个结构（语法），它很快就会学习第二个结构（关系型类型约束）。<br />
描述型约束（descriptive constraints）的表现也有所提升（因而“整体类型检查”准确率上升），但仍徘徊在略高于 0.1 的水平。<br />
因此，模型在此阶段主要依赖其语法知识，并未真正掌握描述型类型约束。<br />
在该阶段中，可以观察到打乱复原与条件生成任务的表现也突然跃升，所有评估指标均显著改善。尤其是这些任务的损失曲线也显示出再次下降的趋势（图d）。<br />
图e显示，这些性能提升主要来源于无需依赖描述约束的句子（即只需语法与关系型知识即可完成的任务）。<br />
<br />
'''阶段3：描述性类型约束的学习'''<br />
<br />
在第二阶段中，模型在描述类型检查上的表现几乎无增长。<br />
然而，随着训练继续推进，模型进入第三阶段。此阶段以表现增长率的斜率突变为边界特征，表现为描述型类型检查的准确率从饱和区突然转为与 log(数据量/迭代数) 成正比的增长。<br />
随后不久，可以观察到打乱复原与条件生成任务也出现类似增长趋势。这说明在本阶段，模型终于开始学习并利用描述性约束来提升更复杂任务的性能。<br />
通过放大图中的曲线，可以观察到在这些任务上仍存在一个微小但清晰的损失跳跃。<br />
考虑到此时模型仅接受了约 10⁴ 次迭代训练，而实体-属性组合的训练样本只覆盖了 15% 左右（即 p=0.15），那么模型最高只能获得约 15% 的表现（这与实际观察相符），理论最大也不超过 20%。<br />
然而我们观察到该任务最终可达到 30–35% 的准确率，说明模型已经超越记忆性学习，开始泛化出新的实体-属性配对。<br />
若模型仅靠记忆，它无法在未见过的配对上表现良好。因此可以说明模型正在根据类型约束图的结构，隐式地推理哪些实体和属性可以共同出现。<br />
这表明第二阶段主要以“记忆”为主，而第三阶段标志着从记忆式解决方案向泛化式解决方案的过渡。<br />
<br />
以上现象在广泛实验设置下高度稳定：<br />
* 模型始终先学会语法和类型约束两种结构；<br />
* 然后在多个狭义任务上表现出突发性跃升；<br />
* 从物理类比角度看，“语法性”和“类型检查”可视为序参量（order parameters）；<br />
* 它们大致决定了模型在何时可能会对某任务表现出“涌现”特征。<br />
<br />
=== 涌现的渗流模型 ===<br />
<br />
该研究提出一种理论框架，用于建模那些需要模型组合未曾见过的实体与描述属性的能力的涌现过程，例如“描述型类型约束”的学习。这些能力除了能让模型在自由生成中更准确地构造句子，还可提升更狭义的任务，如条件生成与打乱复原。如果模型能够理解哪些实体和属性属于同一“概念类”，那么即使它们在训练数据中从未同时出现过，它仍然可以判定这种组合是“合理”的。因此，可以将概念类（concept classes）抽象为二分图（bipartite graph），并将模型对其学习过程类比为图上的渗流（percolation）过程。<br />
<br />
'''数据的矩阵表示'''<br />
<br />
概念密度矩阵用于表示概念类的数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。<br />
<br />
概率密度矩阵：设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。<br />
<br />
以实体{Man, Lawyer, Telephone}和属性{Walk, Stoic, Ring}为例，矩阵<math>D</math>可为：<math>\begin{bmatrix} 1 & 1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 1\end{bmatrix}</math>，表示“Man–Walk”和“Man–Stoic”经常同时出现，“Telephone–Ring”也存在，但“Lawyer–Ring”未曾出现。<br />
<br />
'''组合学习过程'''<br />
<br />
概念传播矩阵可以建模从非完整数据中推断新组合的过程：<br />
<br />
概念传播矩阵：第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。<br />
通过<math>n</math>次传播，模型能从原始矩阵<math>D</math>中推断出哪些组合是合理的。<br />
<br />
将<math>D</math>映射为一个二分图，其中左侧节点表示实体，右侧节点表示属性，边表示它们在训练中被共同观察。在这个图中若两个节点（实体和属性）之间存在最短路径长度为<math>2k+1</math>，则只有在传播步数<math>n>k</math> 时，传播矩阵<math>T_{e,k}^{\left ( n \right ) } </math> 才为非零。若两个节点处于完全不连通的子图中，那么无论传播多少次，该组合都永远无法被学习（即<math>T_{e,k}^{\left ( n \right ) } =0</math>，对任意<math>n</math>成立）。<br />
<br />
例如，“Man–Walk”可能可达，“Lawyer–Ring”永远不可达，意味着后者不能合理组合。<br />
<br />
'''描述性约束的渗流转变'''<br />
<br />
在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例（代表模型能泛化出多少“未见过但合理”的实体–属性组合）。这种情况恰好对应于二分图上的键渗流（bond percolation）问题。<br />
<br />
在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型连通簇。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着节点数的增加，这一转变会愈发陡峭。<br />
<br />
[[文件:Percolation-二分图.png|无|缩略图|600x600px|将构成看不见的概念(例如,实体和属性)的能力投射为二分图上的渗流：(a)若概念类仅部分出现在训练集中，或实体-属性连接稀疏，图中节点将形成多个“孤立簇”（见左图，颜色不同表示不同连通区域）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）。(b)我们的理论将这种转变建立为二阶相变，其中最大团簇的大小随着连接节点对的比例非线性地增加。]]<br />
<br />
在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的连通簇会出现质变。对于<math>p>p_c</math>，最大簇的节点数迅速增长，任取一对实体–属性，其在同一簇中的概率趋近于常数。<br />
<br />
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即观察更多实体–属性配对），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。<br />
<br />
=== 实验验证 ===<br />
基于[[图论]]的理论框架可以预测结构学习过程的“渗流相变”行为，尤其是在模型试图泛化出未见过但合理的实体–属性组合时。实证检验设置如下：<br />
实体数固定，属性数取不同值，模型架构、学习率、数据分布等保持一致，记录每次训练的描述型类型检查准确率随训练迭代数的变化曲线，并从中估计“涌现点”——即描述类型检查准确率开始显著上升的训练迭代<math>t</math>。<br />
<br />
[[文件:涌现点实证.png|无|缩略图|800x800px|描述结构涌现点的理论与实证对比]]<br />
<br />
实验结果如上图所示，模型对描述性结构的学习，确实存在一个清晰的“转折点”，这个转折点的位置正比于<math>\sqrt{\left | K \right | } </math>，该现象符合渗流理论中的临界点预测。<br />
<br />
=总结=<br />
<br />
在大语言模型百花齐放的今天，我们很容易观察到大语言模型在特定能力上表现出的非线性跃迁特征：当模型规模较小时，这些能力完全不存在；但当参数规模突破某一临界点后，模型会突然展现出如复杂推理、上下文学习等新能力。这便是涌现现象。如果说平滑增长的神经标度律承诺我们，只要投入足够的资源，大模型的能力一定会持续增长。那么涌现现象便是在说，我们有可能四两拨千斤，在有些时候，只要让投入资源的规模再扩大一点，就可以获得出乎意料的超额回报。于是对于大模型涌现的描述、解释和预测是值得关注的重要课题。<br />
<br />
但目前，学者们对于大模型涌现的描述更多停留在定性层面，而且受到下游任务设计、度量指标选取等诸多因素的影响。本词条综述了部分对于大模型涌现的代表性研究，而对于大模型涌现的机制解释，对于涌现、顿悟、神经标度律的统一理论解释，还有很大的领域空白，尤其是在如何借鉴复杂系统研究中的涌现相关理论上。未来随着可解释性人工智能技术的进一步发展，我们将对大模型涌现现象有更加深刻的理解。<br />
<br />
=参考文献=<br />
<references /><br />
<br />
<br />
相关读书会：<br />
<br />
https://pattern.swarma.org/study_group_issue/446</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49992
Test autolink
2026-05-12T17:21:13Z
<p>Fynn7：</p>
<hr />
<div>==历史==<br />
<br />
File:Clausius.jpg|170px|thumb|鲁道夫·克劳修斯 Rudolf_Clausius （1822-1888年），熵概念的创始人<br />
<br />
法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是热力学第二定律的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。<br />
<br />
<br />
1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的热力学第一定律解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。<br />
<br />
<br />
1850年至1860年间，德国物理学家鲁道夫·克劳修斯 Rudolf Clausius反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。<br />
<br />
<br />
随后，路德维希·玻尔兹曼 Ludwig Boltzmann、 约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。<br />
<br />
<br />
<br />
足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。<br />
<br />
诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49773
Test autolink
2026-04-22T10:41:28Z
<p>Fynn7：</p>
<hr />
<div>==历史==<br />
<br />
File:Clausius.jpg|170px|thumb|鲁道夫·克劳修斯 Rudolf_Clausius （1822-1888年），熵概念的创始人<br />
<br />
法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是热力学第二定律的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。<br />
<br />
<br />
1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的热力学第一定律解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。<br />
<br />
<br />
1850年至1860年间，德国物理学家鲁道夫·克劳修斯 Rudolf Clausius反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。<br />
<br />
<br />
随后，路德维希·玻尔兹曼 Ludwig Boltzmann、 约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49772
Test autolink
2026-04-22T10:40:30Z
<p>Fynn7：</p>
<hr />
<div>==历史==<br />
<br />
[[File:Clausius.jpg|170px|thumb|[[鲁道夫·克劳修斯 Rudolf_Clausius]] （1822-1888年），熵概念的创始人]]<br />
<br />
法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是[[热力学第二定律]]的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。<br />
<br />
<br />
1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的[[热力学第一定律]]解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。<br />
<br />
<br />
1850年至1860年间，德国物理学家[[鲁道夫·克劳修斯 Rudolf Clausius]]反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。<br />
<br />
<br />
随后，[[路德维希·玻尔兹曼 Ludwig Boltzmann]]、[[ 约西亚·威拉德·吉布斯 Josiah Willard Gibbs]]和[[詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell]]等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49764
Test autolink
2026-04-17T16:01:25Z
<p>Fynn7：</p>
<hr />
<div><br />
其中，<br />
是密度矩阵，<br />
是迹，log是矩阵对数。这种密度矩阵公式不需要在热平衡的情况下才成立，只要选择基态为能量本征态即可。 对于大多数实际目的，这可以作为熵的基本定义，因为<br />
的所有其他公式都可以从中数学推导出，反之则不能。<br />
<br />
<br />
在所谓的统计热力学的基本假设或统计力学的基本假设中，假定任何微观状态的发生都是等可能的（即<br />
<br />
，其中<br />
是微状态数）; 这个假设通常对于平衡的孤立系统是合理的。[23]<br />
<br />
<br />
所以，上一个公式简化为：<br />
<br />
<br />
在热力学中，这种系统是体积固定，分子数和内部能量守恒的系统（微正则系综 microcanonical ensemble）。<br />
<br />
<br />
熵的最一般的解释是度量我们对系统的不确定性。 系统的平衡状态使熵最大化，因为除了守恒变量之外，我们已经失去了所有有关初始条件的信息。 最大化熵会使我们对系统细节的忽视最大化。[24] 这种不确定性不是日常主观的，而是实验方法和解释模型固有的不确定性。<br />
<br />
<br />
解释模型在确定熵方面具有核心作用。 上面的“对于给定的一组宏观变量”的限定词具有深远的含义：如果两个观察者使用不同的宏观变量，他们将看到不同的熵。 例如，如果观察者A使用变量<br />
，<br />
和<br />
，观察者B使用<br />
，<br />
，<br />
，<br />
，B通过更改<br />
，可能会导致观察者A看到像违反热力学第二定律的现象。 换句话说，观察者所选择的一组宏观变量必须包括实验中可能变化的所有事物，否则，熵可能会减少！[25]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49763
Test autolink
2026-04-17T15:09:51Z
<p>Fynn7：</p>
<hr />
<div>熵的概念来自Clausius对卡诺循环的研究。[12]在卡诺循环中，热量<br />
在温度<br />
下从“热”库中被等温吸收，并作为热量<br />
被等温地释放到<br />
处的“冷”库中。 根据卡诺原理 Carnot Theory，只有在存在温差的情况下，系统才能产生功，并且功应该是温差和热量<br />
的某种函数。 卡诺没有区分<br />
和<br />
，因为他使用了一个错误的假设，即热量理论是有效的，因此，当<br />
大于<br />
时，热量就得以保存（错误的假设，<br />
和<br />
相等）[13][14] 通过Clausius和开尔文Kelvin的努力，现在知道，热机可以产生的最大功是卡诺效率和从热库吸收的热量的乘积：</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=49733
Test autolink
2026-04-15T17:05:09Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
动力学模式分解 (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在流体动力学领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取时空相干结构的数据分析方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===<br />
<br />
/ <br />
//<br />
\<br />
\\\<br />
]\\<br />
[']g<br />
\<br />
[math]A \proptoL^2[/math],体积[math]v \pro[/math]<br />
<br />
]]]\\\ \ \\ \\\ \\\\ \\\\\ \\\\\<br />
规模<br />
复杂<br />
系统<br />
度<br />
图<br />
网络<br />
环<br />
核<br />
层次<br />
近似<br />
del<br />
类似</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48852
Test autolink
2026-01-16T23:23:21Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===<br />
<br />
/ <br />
//<br />
\<br />
\\\<br />
]\\<br />
[']g<br />
\<br />
[math]A \proptoL^2[/math],体积[math]v \pro[/math]<br />
<br />
]]]\\\ \ \\ \\\ \\\\ \\\\\ \\\\\<br />
规模<br />
复杂<br />
系统<br />
度<br />
图<br />
网络<br />
环<br />
核<br />
层次<br />
近似<br />
del<br />
类似</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48851
Test autolink
2026-01-16T21:49:34Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===<br />
<br />
/ <br />
//<br />
\<br />
\\\<br />
]\\<br />
[']g<br />
\<br />
[math]A \proptoL^2[/math],体积[math]v \pro[/math]<br />
<br />
]]]\\\ \ \\ \\\ \\\\ \\\\\ \\\\\<br />
规模<br />
复杂<br />
系统<br />
度<br />
图<br />
网络<br />
环<br />
核<br />
层次<br />
近似<br />
del</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48609
Test autolink
2026-01-04T11:54:29Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===<br />
<br />
/ <br />
//<br />
\<br />
\\\<br />
]\\<br />
[']g<br />
\<br />
[math]A \proptoL^2[/math],体积[math]v \pro[/math]<br />
<br />
]]]\\\ \ \\ \\\ \\\\ \\\\\ \\\\\</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48608
Test autolink
2026-01-04T11:41:27Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===<br />
<br />
/ <br />
//<br />
\<br />
\\\<br />
]\\<br />
[']g<br />
\<br />
<br />
]]]\\\ \ \\ \\\ \\\\ \\\\\ \\\\\</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48184
Test autolink
2025-12-18T16:17:48Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维[[时间序列]]数据中识别空相干结构而开发的，这些结构在[[流体动力学]]中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的[[降维]]。[[SVD]]根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 [[SVD]] 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率[[振荡]]并伴随增长或衰减。因此，DMD 可以被视为空间上的 [[SVD]]/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48183
Test autolink
2025-12-18T15:57:03Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman [[算子]]的首次联系。DMD算法最初是为了从高维[[时间序列]]数据中识别空相干结构而开发的，这些结构在[[流体动力学]]中非常常见。DMD的计算可以基于数据上的[[奇异值分解]] ([[SVD]])，因此它为高维数据提供了可扩展的[[降维]]。[[SVD]]根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 [[SVD]] 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定[[频率]][[振荡]]并伴随增长或衰减。因此，DMD 可以被视为空间上的 [[SVD]]/POD 与时间上的[[傅里叶变换]]的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=48182
Test autolink
2025-12-18T14:38:22Z
<p>Fynn7：</p>
<hr />
<div>== 动力学模式分解 (DMD) ==<br />
<br />
[[动力学模式分解]] (DMD, Dynamic Mode Decomposition) 最初由 Schmid <br />
<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在[[流体动力学]]领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取[[时空相干结构]]的[[数据分析]]方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。<br />
<br />
2009年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 ([[SVD]])，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。<br />
<br />
=== 算法的详细步骤 ===</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47816
Test autolink
2025-11-30T10:35:51Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,[[复杂系统]],[[人工智能]],[[复杂性科学]],[[复杂科学]]社区,[[复杂科学]]<br />
|description=[[集智俱乐部]]是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
[[复杂科学]]<br />
[[涌现]]<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
[[整合信息理论]]<br />
[[整合信息论]]<br />
<br />
链接度|链接|度<br />
链接度、链接、度<br />
<br />
应力强度、强度、度<br />
增长速度、速度、度<br />
度和尺度</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47739
Test autolink
2025-11-23T09:49:44Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,[[复杂系统]],[[人工智能]],[[复杂性科学]],[[复杂科学]]社区,[[复杂科学]]<br />
|description=[[集智俱乐部]]是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
[[复杂科学]]<br />
[[涌现]]<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
[[整合信息理论]]<br />
[[整合信息论]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47728
Test autolink
2025-11-22T18:07:15Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
[[整合信息理论]]<br />
[[整合信息论]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47727
Test autolink
2025-11-22T17:48:41Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
整合信息理论<br />
整合信息论</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47722
Test autolink
2025-11-22T16:28:03Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
[[整合信息理论]]<br />
[[整合信息论]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47721
Test autolink
2025-11-22T16:27:51Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
整合信息理论<br />
整合信息论</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47720
Test autolink
2025-11-22T16:13:47Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
[[整合信息理论]]<br />
[[整合信息论]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47719
Test autolink
2025-11-22T16:12:48Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK<br />
<br />
整合信息理论<br />
整合信息论</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47595
Test autolink
2025-11-11T09:14:15Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink<br />
Test_autolink<br />
<br />
Test autolink<br />
<br />
Test-autolink<br />
<br />
tEsT autOlInK</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47594
Test autolink
2025-11-11T08:56:25Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：<ref>{{cite book|title=复杂科学导论}}</ref><br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
复杂科学<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现<br />
{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} <br />
复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47593
Test autolink
2025-11-11T08:51:26Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} 复杂科学</ref>.<br />
<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47592
Test autolink
2025-11-11T08:50:50Z
<p>Fynn7：</p>
<hr />
<div>[[复杂系统]]的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
<br />
<ref name=tononi_edelman_1998>复杂科学 涌现{{cite journal |last1=Tononi |first1=G. |last2=Edelman |first2=G.M. 核 |title=Consciousness and complexity |journal=Science |volume=282 |issue=5395 |pages=1846–1851 |year=1998 |url=https://doi.org/10.1126/science.282.5395.1846}} 复杂科学</ref>.<br />
<br />
[[涌现]]现象<br />
<br />
Test_autolink<br />
<br />
[[Test autolink]]</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47591
Test autolink
2025-11-11T08:47:02Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
涌现现象<br />
<br />
Test_autolink<br />
<br />
Test autolink</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47590
Test autolink
2025-11-11T08:19:34Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
{{#seo:<br />
|keywords=首页,集智百科，集智俱乐部,复杂系统,人工智能,复杂性科学,复杂科学社区,复杂科学<br />
|description=集智俱乐部是致力于复杂系统跨学科交流合作学习的网络社区，其使命是”营造跨学科探索小生境"，愿景是:"催化复杂性科学新理论"<br />
<br />
复杂科学<br />
涌现<br />
核心<br />
}}<br />
涌现现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47589
Test autolink
2025-11-11T08:13:16Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
<br />
[[涌现]]现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47588
Test autolink
2025-11-11T07:59:48Z
<p>Fynn7：</p>
<hr />
<div>[[复杂系统]]的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
<br />
[[涌现]]现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47475
Test autolink
2025-11-07T21:27:28Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
<br />
涌现现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47474
Test autolink
2025-11-07T21:11:08Z
<p>Fynn7：</p>
<hr />
<div>[[复杂系统]]的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
<br />
[[涌现]]现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47473
Test autolink
2025-11-07T21:10:43Z
<p>Fynn7：</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
<br />
涌现现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47147
Test autolink
2025-10-23T09:35:30Z
<p>Fynn7：</p>
<hr />
<div>[[复杂系统]]的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。<br />
<br />
涌现现象</div>
Fynn7
https://wiki.swarma.org/index.php?title=Test_autolink&diff=47146
Test autolink
2025-10-22T09:22:34Z
<p>Fynn7：建立内容为“复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}} 外部链接：https://wiki.swarma.org/复杂网络 HTML标签：<…”的新页面</p>
<hr />
<div>复杂系统的研究涉及多个领域。参考模板：{{cite book|title=复杂科学导论}}<br />
外部链接：https://wiki.swarma.org/复杂网络<br />
HTML标签：<span class="complex">涌现现象</span>很重要。</div>
Fynn7
https://wiki.swarma.org/index.php?title=Graph.v20251021.html&diff=47143
Graph.v20251021.html
2025-10-21T12:12:24Z
<p>Fynn7：建立内容为“<!DOCTYPE html> <!-- saved from url=(0044)https://wiki.swarma.org/graph.v20250715.html --> <html><head><meta http-equiv="Content-Type" content="text/html; charset…”的新页面</p>
<hr />
<div><!DOCTYPE html><br />
<!-- saved from url=(0044)https://wiki.swarma.org/graph.v20250715.html --><br />
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><br />
<br />
<meta name="viewport" content="width=device-width, initial-scale=1.0"><br />
<title>集智百科概览</title><br />
<link rel="icon" href="./集智百科概览_files/logo.jpg"><br />
<style><br />
html,<br />
body {<br />
margin: 0;<br />
padding: 0;<br />
width: 100%;<br />
height: 100%;<br />
}<br />
<br />
body {<br />
display: flex;<br />
justify-content: center;<br />
align-items: center;<br />
}<br />
<br />
.m-graph {<br />
position: relative;<br />
width: 100%;<br />
height: 100%;<br />
box-sizing: border-box;<br />
}<br />
<br />
.m-loading {<br />
position: fixed;<br />
top: 0;<br />
left: 0;<br />
width: 100%;<br />
height: 100%;<br />
background: #fff;<br />
z-index: 999;<br />
transition: opacity 1s ease-in-out;<br />
}<br />
.m-loading .m-animation {<br />
position: absolute;<br />
top: 50%;<br />
left: 50%;<br />
transform: translate(-50%, -50%);<br />
text-align: center;<br />
opacity: 0;<br />
transition: opacity 1s ease-in-out;<br />
}<br />
.m-loading .m-logo {<br />
display: flex;<br />
align-items: center;<br />
}<br />
.m-loading .m-logo .u-image {<br />
margin-right: 16px;<br />
width: 80px;<br />
height: 80px;<br />
}<br />
.m-loading .m-logo .u-text {<br />
font-size: 28px;<br />
}<br />
.m-loading .u-slogan {<br />
margin-top: 24px;<br />
font-size: 20px;<br />
}<br />
</style><br />
</head><br />
<br />
<body><br />
<div id="loadingEl" class="m-loading" style="opacity: 0; display: none;"><br />
<div id="animationEl" class="m-animation" style="opacity: 1;"><br />
<div class="m-logo"><br />
<img class="u-image" src="./集智百科概览_files/logo.jpg" alt="logo"><br />
<div class="u-text">欢迎来到 <b>集智百科</b></div><br />
</div><br />
<div class="u-slogan"><i>知识从我而来，问题到我为止</i></div><br />
</div><br />
</div><br />
<div id="container" class="m-graph" style="user-select: none; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); position: relative;" _echarts_instance_="ec_1761038362008"><div style="position: relative; width: 2388px; height: 1188px; padding: 0px; margin: 0px; border-width: 0px; cursor: default;"><canvas data-zr-dom-id="zr_0" width="3820" height="1900" style="position: absolute; left: 0px; top: 0px; width: 2388px; height: 1188px; user-select: none; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); padding: 0px; margin: 0px; border-width: 0px;"></canvas></div><div class=""></div></div><br />
<script defer="" src="./集智百科概览_files/vcd15cbe7772f49c399c6a5babf22c1241717689176015" integrity="sha512-ZpsOmlRQV6y907TI0dKBHq9Md29nnaEIPlkf84rnaERnq6zvWvPUqr2ft8M1aS28oN72PdrCzSjY4U6VaAw1EQ==" data-cf-beacon="{&quot;version&quot;:&quot;2024.11.0&quot;,&quot;token&quot;:&quot;39cdf464f765499c8a52a31cda5e385e&quot;,&quot;r&quot;:1,&quot;server_timing&quot;:{&quot;name&quot;:{&quot;cfCacheStatus&quot;:true,&quot;cfEdge&quot;:true,&quot;cfExtPri&quot;:true,&quot;cfL4&quot;:true,&quot;cfOrigin&quot;:true,&quot;cfSpeedBrain&quot;:true},&quot;location_startswith&quot;:null}}" crossorigin="anonymous"></script><br />
<br />
<br />
<script type="text/javascript" src="./集智百科概览_files/echarts.min.js.下载"></script><br />
<script src="./集智百科概览_files/nodes.js.下载"></script><br />
<script src="./集智百科概览_files/edges.js.下载"></script><br />
<br />
<script type="text/javascript"><br />
var nodes = window.nodes;<br />
var edges = window.edges;<br />
<br />
console.log(nodes);<br />
console.log(edges);<br />
<br />
const loadingEl = document.getElementById('loadingEl')<br />
const animationEl = document.getElementById('animationEl')<br />
animationEl.style.opacity = 1<br />
setTimeout(() => {<br />
loadingEl.style.opacity = 0<br />
setTimeout(() => {<br />
loadingEl.style.display = 'none'<br />
}, 1000)<br />
}, 3000)<br />
<br />
var dom = document.getElementById("container");<br />
var myChart = echarts.init(dom);<br />
<br />
// 获取节点、连边数据<br />
// Promise.all([<br />
// 'https://api.swarma.org/api/science_nodes/list',<br />
// 'https://api.swarma.org/api/science_edges/list'<br />
// ].map(url => fetch(url, {<br />
// headers: {<br />
// 'X-Requested-With': 'XMLHttpRequest',<br />
// 'Content-Type': 'application/json'<br />
// }<br />
// })<br />
<br />
Promise.resolve([nodes, edges]).then(res => {<br />
const linkCount = new Map()<br />
const links = res[1].map(item => {<br />
linkCount.set(item.source_id, (linkCount.get(item.source_id) || 0) + 1)<br />
linkCount.set(item.target_id, (linkCount.get(item.target_id) || 0) + 1)<br />
<br />
return {<br />
source: 'node_' + item.source_id,<br />
target: 'node_' + item.target_id<br />
}<br />
})<br />
<br />
const now = Date.now()<br />
const RECENT_DAYS = 7<br />
const recentUpdatedThreshold = RECENT_DAYS * 24 * 60 * 60 * 1000<br />
<br />
const nodes = res[0].map(item => {<br />
const count = linkCount.get(item.id) || 1<br />
const isRecentlyUpdated = item.updated_at && (now - new Date(item.updated_at)) < recentUpdatedThreshold<br />
<br />
const node = {<br />
id: 'node_' + item.id,<br />
name: item.name,<br />
value: item.id,<br />
symbolSize: count >= 15 ? count / 1.5 : 5,<br />
category: 'type-' + item.type,<br />
tooltip: { formatter: '{b}' },<br />
emphasis: { label: { show: true } },<br />
url: item.url,<br />
updated_at: item.updated_at,<br />
}<br />
<br />
if (count < 10 && !isRecentlyUpdated) {<br />
node.label = { show: false }<br />
}<br />
<br />
if (isRecentlyUpdated) {<br />
node.itemStyle = {<br />
// color: '#ff6666',<br />
borderColor: '#FFCC00',<br />
borderWidth: 3<br />
}<br />
node.label = {<br />
show: true,<br />
fontWeight: 'bold',<br />
fontSize: 14<br />
}<br />
}<br />
<br />
return node<br />
})<br />
<br />
const categories = Array.from(new Set(res[0].map(node => node.type)))<br />
.map(type => ({ name: 'type-' + type }))<br />
<br />
const data = { nodes, links, categories }<br />
<br />
const option = {<br />
title: {<br />
text: '集智百科概览',<br />
subtext: '点击节点前往wiki页面',<br />
},<br />
tooltip: { show: true },<br />
series: [<br />
{<br />
type: 'graph',<br />
layout: 'force',<br />
draggable: true,<br />
data: data.nodes,<br />
links: data.links,<br />
categories: data.categories,<br />
roam: true,<br />
label: {<br />
show: true,<br />
position: 'bottom'<br />
},<br />
force: {<br />
initLayout: 'circular',<br />
repulsion: 200,<br />
edgeLength: 100,<br />
gravity: 0.05<br />
},<br />
lineStyle: { opacity: 0.3 },<br />
emphasis: { focus: 'adjacency' }<br />
}<br />
]<br />
}<br />
<br />
myChart.setOption(option)<br />
<br />
myChart.dispatchAction({<br />
type: 'graphRoam',<br />
zoom: 0.15 // 缩小为50%，可以根据需要调整，如0.3、0.7等<br />
})<br />
<br />
// 添加点击跳转功能<br />
myChart.on('click', function (event) {<br />
if (event.dataType === 'node' && event.data.url) {<br />
window.open(event.data.url, undefined, 'noopener')<br />
}<br />
})<br />
<br />
// 添加 effectScatter 闪烁层（在图渲染后添加）<br />
myChart.on('finished', function () {<br />
const graphSeries = myChart.getOption().series.find(s => s.type === 'graph')<br />
const recentEffectPoints = []<br />
<br />
for (let i = 0; i < graphSeries.data.length; i++) {<br />
const node = graphSeries.data[i]<br />
if (node.itemStyle && node.itemStyle.borderColor === '#ff0000' && node.x != null && node.y != null) {<br />
recentEffectPoints.push({<br />
name: node.name,<br />
value: [node.x, node.y],<br />
symbolSize: node.symbolSize + 10<br />
})<br />
}<br />
}<br />
<br />
if (recentEffectPoints.length > 0) {<br />
myChart.setOption({<br />
series: [<br />
...myChart.getOption().series,<br />
{<br />
type: 'effectScatter',<br />
coordinateSystem: null,<br />
data: recentEffectPoints,<br />
rippleEffect: {<br />
scale: 2.5,<br />
brushType: 'stroke'<br />
},<br />
itemStyle: {<br />
color: '#ff0000'<br />
},<br />
z: 100<br />
}<br />
]<br />
})<br />
}<br />
})<br />
<br />
window.addEventListener('resize', function () {<br />
myChart.resize()<br />
})<br />
})<br />
<br />
<br />
window.addEventListener('resize', function () {<br />
myChart.resize()<br />
})<br />
</script><br />
<br />
<br />
</body></html></div>
Fynn7
https://wiki.swarma.org/index.php?title=%E7%94%A8%E6%88%B7:Fynn7/test&diff=47004
用户:Fynn7/test
2025-10-15T12:15:08Z
<p>Fynn7：API自动创建测试页面</p>
<hr />
<div>这是通过API创建的测试页面内容!</div>
Fynn7
https://wiki.swarma.org/index.php?title=%E7%94%A8%E6%88%B7:Fynn7/test&diff=47003
用户:Fynn7/test
2025-10-15T11:57:43Z
<p>Fynn7：API自动创建测试页面</p>
<hr />
<div>这是通过API创建的测试页面内容。</div>
Fynn7
https://wiki.swarma.org/index.php?title=%E7%94%A8%E6%88%B7:Fynn7/test&diff=47002
用户:Fynn7/test
2025-10-15T11:53:34Z
<p>Fynn7：建立内容为“this is a test for automation tools”的新页面</p>
<hr />
<div>this is a test for automation tools</div>
Fynn7
https://wiki.swarma.org/index.php?title=%E7%94%A8%E6%88%B7:Fynn7/common.js&diff=47001
用户:Fynn7/common.js
2025-10-15T11:43:06Z
<p>Fynn7：</p>
<hr />
<div>console.log("TEST");</div>
Fynn7
https://wiki.swarma.org/index.php?title=%E7%94%A8%E6%88%B7:Fynn7/common.js&diff=47000
用户:Fynn7/common.js
2025-10-15T11:43:00Z
<p>Fynn7：清空全部内容</p>
<hr />
<div></div>
Fynn7
https://wiki.swarma.org/index.php?title=%E7%94%A8%E6%88%B7:Fynn7/vector.js&diff=46999
用户:Fynn7/vector.js
2025-10-15T11:37:21Z
<p>Fynn7：清空全部内容</p>
<hr />
<div></div>
Fynn7