Test autolink - 版本历史

Fynn7：页面内容被替换为“==信息的度量== 信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个…”

2026-05-19T22:42:11Z

页面内容被替换为“==信息的度量== 信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个…”

显示更改

2026年5月13日 (三) 08:51 Fynn7

2026-05-13T08:51:39Z

显示更改

2026年5月12日 (二) 17:21 Fynn7

2026-05-12T17:21:58Z

显示更改

2026年5月12日 (二) 17:21 Fynn7

2026-05-12T17:21:13Z

2026年4月22日 (三) 10:41 Fynn7

2026-04-22T10:41:28Z

2026年4月22日 (三) 10:40 Fynn7

2026-04-22T10:40:30Z

2026年4月17日 (五) 16:01 Fynn7

2026-04-17T16:01:25Z

2026年4月17日 (五) 15:09 Fynn7

2026-04-17T15:09:51Z

2026年4月15日 (三) 17:05 Fynn7

2026-04-15T17:05:09Z

2026年1月16日 (五) 23:23 Fynn7

2026-01-16T23:23:21Z

←上一版本		2026年5月12日 (二) 17:21的版本
第13行：		第13行：

	随后，路德维希·玻尔兹曼 Ludwig Boltzmann、约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。		随后，路德维希·玻尔兹曼 Ludwig Boltzmann、约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。
		+
		+
		+
		+	足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。
		+
		+	诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837\|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

@@ 第1行： / 第1行： @@
 ==历史==
-[[File:Clausius.jpg|170px|thumb|[[鲁道夫·克劳修斯 Rudolf_Clausius]] （1822-1888年），熵概念的创始人]]
+File:Clausius.jpg|170px|thumb|鲁道夫·克劳修斯 Rudolf_Clausius （1822-1888年），熵概念的创始人
-法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是[[热力学第二定律]]的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。
+法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是热力学第二定律的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。
-年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的[[热力学第一定律]]解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。
+年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的热力学第一定律解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。
-年至1860年间，德国物理学家[[鲁道夫·克劳修斯 Rudolf Clausius]]反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。
+年至1860年间，德国物理学家鲁道夫·克劳修斯 Rudolf Clausius反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。
-随后，[[路德维希·玻尔兹曼 Ludwig Boltzmann]]、[[ 约西亚·威拉德·吉布斯 Josiah Willard Gibbs]]和[[詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell]]等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。
+随后，路德维希·玻尔兹曼 Ludwig Boltzmann、 约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。

←上一版本		2026年4月22日 (三) 10:40的版本
第1行：		第1行：
		+	==历史==

−	~~其中，~~	+	[[File:Clausius.jpg\|170px\|thumb\|[[鲁道夫·克劳修斯 Rudolf_Clausius]] （1822-1888年），熵概念的创始人]]
−	~~是密度矩阵，~~
−	是迹，log是矩阵对数。这种密度矩阵公式不需要在热平衡的情况下才成立，只要选择基态为能量本征态即可。对于大多数实际目的，这可以作为熵的基本定义，因为
−	~~的所有其他公式都可以从中数学推导出，反之则不能。~~

		+	法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是[[热力学第二定律]]的早期理解。<ref>{{cite web\|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html\|title=Carnot, Sadi (1796–1832)\|accessdate=2010-02-24\|publisher=Wolfram Research\|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book\|last=McCulloch\|first=Richard, S.\|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.\|publisher=D. Van Nostrand\|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。

−	~~在所谓的统计热力学的基本假设或统计力学的基本假设中，假定任何微观状态的发生都是等可能的（即~~
−
−	~~，其中~~
−	~~是微状态数）; 这个假设通常对于平衡的孤立系统是合理的。[23]~~

		+	1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的[[热力学第一定律]]解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。

−	~~所以，上一个公式简化为：~~

		+	1850年至1860年间，德国物理学家[[鲁道夫·克劳修斯 Rudolf Clausius]]反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal\|last=Clausius\|first=Rudolf\|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen\|year=1850\|doi=10.1002/andp.18501550306\|journal=Annalen der Physik\|volume=155\|issue=3\|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。

−	~~在热力学中，这种系统是体积固定，分子数和内部能量守恒的系统（微正则系综 microcanonical ensemble）。~~

−		+	随后，[[路德维希·玻尔兹曼 Ludwig Boltzmann]]、[[ 约西亚·威拉德·吉布斯 Josiah Willard Gibbs]]和[[詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell]]等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。
−	熵的最一般的解释是度量我们对系统的不确定性。系统的平衡状态使熵最大化，因为除了守恒变量之外，我们已经失去了所有有关初始条件的信息。最大化熵会使我们对系统细节的忽视最大化。[24] ~~这种不确定性不是日常主观的，而是实验方法和解释模型固有的不确定性。~~
−
−
−	解释模型在确定熵方面具有核心作用。上面的“对于给定的一组宏观变量”的限定词具有深远的含义：如果两个观察者使用不同的宏观变量，他们将看到不同的熵。例如，如果观察者A使用变量
−	，
−	和
−	~~，观察者B使用~~
−	，
−	，
−	，
−	~~，B通过更改~~
−	，可能会导致观察者A看到像违反热力学第二定律的现象。换句话说，观察者所选择的一组宏观变量必须包括实验中可能变化的所有事物，否则，熵可能会减少！[25]

@@ 第1行： / 第1行： @@
-熵的概念来自Clausius对卡诺循环的研究。[12]在卡诺循环中，热量
-在温度
+其中，
-下从“热”库中被等温吸收，并作为热量
+是密度矩阵，
-被等温地释放到
+是迹，log是矩阵对数。这种密度矩阵公式不需要在热平衡的情况下才成立，只要选择基态为能量本征态即可。 对于大多数实际目的，这可以作为熵的基本定义，因为
-处的“冷”库中。 根据卡诺原理 Carnot Theory，只有在存在温差的情况下，系统才能产生功，并且功应该是温差和热量
+的所有其他公式都可以从中数学推导出，反之则不能。
-的某种函数。 卡诺没有区分
 和
-，因为他使用了一个错误的假设，即热量理论是有效的，因此，当
+，观察者B使用
-大于
+，
-时，热量就得以保存（错误的假设，
+，
-和
+，
-相等）[13][14] 通过Clausius和开尔文Kelvin的努力，现在知道，热机可以产生的最大功是卡诺效率和从热库吸收的热量的乘积：
+，B通过更改

@@ 第1行： / 第1行： @@
-== 动力学模式分解 (DMD) ==
+熵的概念来自Clausius对卡诺循环的研究。[12]在卡诺循环中，热量
+在温度
-动力学模式分解 (DMD, Dynamic Mode Decomposition) 最初由 Schmid
+下从“热”库中被等温吸收，并作为热量
-<ref name=Schmid_2008>P. J. Schmid and J. Sesterhenn, Dynamic mode decomposition of numerical and experimental data, in 61st Annual Meeting of the APS Division of Fluid Dynamics, American Physical Society, 2008. (Cited on pp. 249, 258)</ref><ref name=Schmid_2010>P. J. Schmid, Dynamic mode decomposition of numerical and experimental data, J. Fluid Mech., 656 (2010), pp. 5--28. (Cited on pp. 231, 237, 238, 249, 250, 255, 258, 284, 292)</ref>在流体动力学领域引入，已迅速成为从数据中近似 Koopman [[算子]]的标准算法。它是一种能够从数值[[模拟]]或实验测量的[[时间序列]]中直接提取时空相干结构的数据分析方法。该方法不依赖于流动的系统矩阵，而是基于切片数据之间存在线性演化[[算子]]的假设。通过近似该[[算子]]的[[特征值]]，我们可以将复杂的流场分解为具有单一特定[[频率]]和增长/衰减率的“动态模态”<ref name=Rowley_2009>C. W. Rowley, I. Mezi\' c, S. Bagheri, P. Schlatter, and D. Henningson, Spectral analysis of nonlinear flows, J. Fluid Mech., 645 (2009), pp. 115--127. (Cited on pp. 231, 237, 238, 246, 249, 255, 256, 258, 259, 284, 292)</ref><ref name=Tu_2014>J. H. Tu, C. W. Rowley, D. M. Luchtenburg, S. L. Brunton, and J. N. Kutz, On dynamic mode decomposition: Theory and applications, J. Comput. Dynam., 1 (2014), pp. 391--421. </ref>。其结果本质上可视为了[[线性系统]]的线性切向近似。
+被等温地释放到
+处的“冷”库中。 根据卡诺原理 Carnot Theory，只有在存在温差的情况下，系统才能产生功，并且功应该是温差和热量
-年Rowley 等人<ref name=Rowley_2009 />首次建立了 DMD 与 Koopman 算子的首次联系。DMD算法最初是为了从高维时间序列数据中识别空相干结构而开发的，这些结构在流体动力学中非常常见。DMD的计算可以基于数据上的奇异值分解 (SVD)，因此它为高维数据提供了可扩展的降维。SVD根据每个模式捕获原始数据方差的程度对模式进行分层排序；这些模式即使在数据的时间顺序被打乱时也保持不变。相比之下，DMD 模式是 SVD 模式的线性组合，这些组合被专门选择以提取在时间上具有相同相干线性行为的空间相关结构，表现为以固定频率振荡并伴随增长或衰减。因此，DMD 可以被视为空间上的 SVD/POD 与时间上的傅里叶变换的结合，结合了每种方法的优点 <ref name=Chen_2012>K. K. Chen, J. H. Tu, and C. W. Rowley, Variants of dynamic mode decomposition: Boundary condition, Koopman, and Fourier analyses, J. Nonlinear Sci., 22 (2012), pp. 887--915. (Cited on pp. 249, 253, 258, 282, 292)</ref><ref name=Kutz_2016>J. N. Kutz, S. L. Brunton, B. W. Brunton, and J. L. Proctor, Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems, SIAM, Philadelphia, 2016, https://doi.org/10.1137/1.9781611974508. (Cited on pp. 231, 249, 251, 252, 256, 278, 284)</ref>。
+的某种函数。 卡诺没有区分
+和
-=== 算法的详细步骤 ===
+，因为他使用了一个错误的假设，即热量理论是有效的，因此，当
+大于
+时，热量就得以保存（错误的假设，
-//
+和
+相等）[13][14] 通过Clausius和开尔文Kelvin的努力，现在知道，热机可以产生的最大功是卡诺效率和从热库吸收的热量的乘积：

←上一版本		2026年1月16日 (五) 23:23的版本
第29行：		第29行：
	近似		近似
	del		del
		+	类似