Test autolink
历史
File:Clausius.jpg|170px|thumb|鲁道夫·克劳修斯 Rudolf_Clausius （1822-1888年），熵概念的创始人
法国数学家拉扎尔·卡诺 Lazare Carnot在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子 萨迪·卡诺 Sandi Carnot发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是热力学第二定律的早期理解。[1] Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。[2] Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。
1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的热力学第一定律解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。
1850年至1860年间，德国物理学家鲁道夫·克劳修斯 Rudolf Clausius反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。[3]Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。[3]这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。
随后，路德维希·玻尔兹曼 Ludwig Boltzmann、 约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量[math]\displaystyle{ E }[/math]，确定[math]\displaystyle{ N }[/math]个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。
足够复杂的大语言模型除了具有涌现现象，还会出现神经标度律（Neural Scaling Laws）、顿悟（Grokking）、双下降（Double Descent）等现象。神经标度律是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 [4]。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 [5]。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 [6]。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释[7]。
诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一[8]。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现[9]。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力[10]。
- ↑ "Carnot, Sadi (1796–1832)". Wolfram Research. 2007. Retrieved 2010-02-24.
- ↑ McCulloch, Richard, S. (1876). Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.. D. Van Nostrand.
- ↑ 3.0 3.1 Clausius, Rudolf (1850). "Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen". Annalen der Physik. 155 (3). doi:10.1002/andp.18501550306. hdl:2027/uc1.$b242250. [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's Annalen der Physik und Chemie
- ↑ Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020
- ↑ Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022
- ↑ Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019
- ↑ Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. https://doi.org/10.48550/arXiv.2402.15175
- ↑ Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[1]].
- ↑ Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).
- ↑ Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).