56
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − + + + + + − File:Clausius.jpg|170px|thumb|鲁道夫·克劳修斯 Rudolf_Clausius （1822-1888年），熵概念的创始人+ + − 法国数学家'''拉扎尔·卡诺 Lazare Carnot'''在1803年发表的“Fundamental Principles of Equilibrium and Movement”一文提出，在任何机器中，加速运动和碰撞代表着动能的损失；任何自然过程都倾向于耗散有用的能量。在这份工作的基础上，1824年他的儿子''' 萨迪·卡诺 Sandi Carnot'''发表“Reflection on the Motive Power of Fire”，文中提出，所有的热机，热量从高温体到低温体的热传递可以做功或者转化为动能，并与“水如何从水车落下”做类比。这是热力学第二定律的早期理解。<ref>{{cite web|url=http://scienceworld.wolfram.com/biography/CarnotSadi.html|title=Carnot, Sadi (1796–1832)|accessdate=2010-02-24|publisher=Wolfram Research|year=2007}}</ref> Carnot对热能的观点部分建立在18世纪早期‘牛顿的假说’：热和光都是不能被销毁的物质形式，只能被其他物质相互吸引或排斥；另一部分建立在当时Benjamin Thompson提出的摩擦可以产生热，比如炮弹的原理。<ref>{{Cite book|last=McCulloch|first=Richard, S.|title=Treatise on the Mechanical Theory of Heat and its Applications to the Steam-Engine, etc.|publisher=D. Van Nostrand|year=1876}}</ref> Carnot认为，如果工作物质，比如蒸汽，完成一个完整的机械循环后会回到初始状态，那么“工作体没有发生变化”。+ + − 1842年，詹姆斯·焦耳 James Joule从热摩擦实验中总结的热力学第一定律解释了能量的概念以及在所有过程中的能量转化。但是第一定律无法量化解释摩擦和耗散效应。+ + − 1850年至1860年间，德国物理学家鲁道夫·克劳修斯 Rudolf Clausius反对（热机的）工作体没有发生变化的推测，并通过质疑做功完成时有用热的内在损失，比如摩擦生热，给出了此“变化”的数学解释。<ref name="Clausius">{{Cite journal|last=Clausius|first=Rudolf|title=Über die bewegende Kraft der Wärme und die Gesetze, welche sich daraus für die Wärmelehre selbst ableiten lassen|year=1850|doi=10.1002/andp.18501550306|journal=Annalen der Physik|volume=155|issue=3|hdl=2027/uc1.$b242250}} [On the Motive Power of Heat, and on the Laws which can be deduced from it for the Theory of Heat] : Poggendorff's ''Annalen der Physik und Chemie''</ref>Clausius把热力学系统的熵（比如耗散的能量）或化学物质状态改变时的工作体描述为物质转化物质。<ref name="Clausius" />这与艾萨克·牛顿 Isaac Newton的“热是有质量的不可摧毁的粒子”的理论相反。+ + − 随后，路德维希·玻尔兹曼 Ludwig Boltzmann、 约西亚·威拉德·吉布斯 Josiah Willard Gibbs和詹姆斯·克莱克·麦克斯韦 James Clerk Maxwell等科学家建立熵的统计学基础。1877年，Boltzman将测量理想气体粒子系统的熵可视化，这个框架下熵与理想气体所占微观态数目的自然对数成正比。至此，统计热力学中关键的问题是给定能量<math>E</math>，确定<math>N</math>个全同系统的分布状态。Carathéodory通过路径和可积性把熵与过程不可逆的数学定义联系起来。+ + + − 足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。+ − 诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。+ + + + + − 大语言模型（LLMs）的快速发展使人们看到很多神奇的现象，比如[[神经标度律]]、[[涌现]]、[[顿悟]]等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的能力来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。+ − =历史溯源=+ − [[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者[[菲利普·安德森]]在一篇名为 “多者异也 (More is Different)”<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了安德森对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。 − 这些能力包括数学推理（如多步计算与逻辑判断）、[[链式思维]]（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等。所有这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。+ − 足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。+ − 诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。+ − [[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|603x603px]]+ − 从技术发展史角度看，涌现能力的发现标志着[[自然语言处理]]研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统，而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出[[神经标度律]]和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。+ − {| class="wikitable"+ − |+大语言模型的涌现能力 − |- − !模型!!发布时间!!参数量!!关键涌现能力 − |- − |GPT-3||2020年5月||175B||上下文学习、简单推理 − |- − |Gopher||2021年12月||280B || 复杂问答、知识整合 − |- − |PaLM||2022年4月|| 540B ||多步推理、代码生成 − |- − |Chinchilla||2022年7月||70B||高效知识压缩(数据优化) − |- − |GPT-4||2023年3月||1T+ ||多模态理解、高阶推理 − |} − + − 模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。+ − [[文件:Wei2023Table1.png|替代=|无|缩略图|633x633像素|各种涌现能力出现的模型规模]] + + + − 为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为[[少量样本提示]](Few-Shot Prompting)和[[增强提示]](Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如[[思维链提示]]、不包括示例的任务描述、草稿本(Scratchpad)技术（模型在解决问题时需要分解并思考中间步骤，但这些思考不必呈现给用户）等，更复杂的提示能够进一步提高语言模型的能力。+ − + + − ==使用少量样本提示的任务==+ − 在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。 − [[文件:Fewshot.png|800px|thumb|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />|替代=|无]]+ − * '''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10<sup>22</sup> FLOPs（约有13B参数），LaMDA达到10<sup>23</sup> FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。+ − * '''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力<ref name="Lin2021">Lin, S., Hilton, J., & Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. URL https://arxiv.org/abs/2109.07958.</ref>，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是刻意针对GPT-3模型而策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×10<sup>23</sup> FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上<ref name="Rae2021">Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S. et al. Scaling language models: Methods, analysis and insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/ − 2112.11446.</ref>。 − * '''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务<ref name="Patel2022">Patel, R. & Pavlick, E. Mapping language models to grounded conceptual spaces. ICLR, 2022. URL https://openreview.net/forum?id=gJcEM8sxHK.</ref>，这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。 − * '''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试<ref name="Hendrycks2021a">Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. Measuring massive multitask language understanding. ICLR, 2021a. URL https://openreview.net/ − forum?id=d7KBjmI3GmQ.</ref>。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10<sup>22</sup>（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10<sup>23</sup>训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结果可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。 − * '''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试<ref name="Pilehvar2019">Pilehvar, M. T. and Camacho-Collados, J. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. NAACL, 2019. URL https://aclanthology.org/N19-1128.</ref>。值得注意的是，即使模型规模扩大到最大（约5×10<sup>23</sup> FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10<sup>24</sup> FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。 − + − [[增强提示]]是指通过在用户原始问题之外添加补充信息（如背景知识、具体约束或示例）来引导大模型生成更精准、高质量的回复。下面是一些会用到增强提示的任务。 − * '''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的[[自然语言处理]]模型来说一直具有挑战性<ref name="Rae2021" /><ref name="Bommasani2021">Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E. et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021. URL https://arxiv.org/abs/2108.07258.</ref><ref name="Nye2021">Nye, M., Andreassen, A. J., Gur-Ari, G., Michalewski, H., Austin, J., Bieber, D., Dohan, D., Lewkowycz, A., Bosma, M., Luan, D. et al. Show your work: Scratchpads for intermediate computation with language models. arXiv preprint arXiv:2112.00114, 2021. URL+ − https://openreview.net/forum?id=iedYJm92o0a.</ref>。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题<ref name="chain-of-thought" /><ref name="Cobbe2021">Cobbe, K., Kosaraju, V., Bavarian, M., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021. URL https://arxiv.org/abs/2110.14168.</ref><ref name="Suzgun2022>Suzgun, M., Scales, N., Scharli, N., Gehrmann, S., Tay, Y., Chung, H.Y., Chowdhery, A., Le, Q.V., Chi, E.H., Zhou, D., & Wei, J. Challenging BIG-Bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022. URL https://arxiv.org/abs/2210.09261.</ref>。正如下图A所示，当规模扩大到10<sup>23</sup>训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现<ref name="Lampinen2022年">Lampinen, A.k., Dasgupta, I., Chan, S. C.Y., Matthewson, K., Tessler, M.H., Creswell, A., McClelland, J.L., Wang, J.X., & Hill, F. Can language models learn from explanations in context? Findings of EMNLP, 2022. URL https://arxiv.org/abs/2204.02329.</ref>。 − * '''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务，但不给出少量样本示例。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应<ref name="Finetuned" /><ref name="Ouyang2022">Ouyang,L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A. et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022. URL https://arxiv.org/abs/2203.02155.</ref><ref name="Sanh2022">Sanh, V., Webson, A., Raffel, C., Bach, S., Sutawika, L., Alyafeai, Z., Chaffin, A., Stiegler, A., Scao, T.L., Raja, A. et al. Multitask prompted training enables zero-shot task generalization. ICLR, 2022. URL https://openreview.net/forum?id=9Vrb9D0WI4.</ref><ref name="Chung2022">Chung, H.W., Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, E., Wang, X., Dehghani, M., Brahma, S. et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022. URL https://arxiv.org/abs/2210.11416.</ref>。如图B所示，这种指令微调技术对于训练FLOPs为7×10<sup>21</sup>（8B参数）或更小的模型有损害，只有当规模扩大到10<sup>23</sup>训练FLOPs（约100B参数）时，才会提高模型能力<ref name="Finetuned" />（尽管有研究者随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导<ref name="Sanh2022" />）。 − * '''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。有研究者展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)技术是一种令模型在输出最终答案之前将问题分解为多个中间步骤的技术，和[[思维链技术]]不同，草稿本的中间步骤可以不使用自然语言，也可以不暴露给用户，就像是打草稿。这种技术能使模型更有效地执行多步骤计算任务<ref name="Nye2021" />。研究发现，在8位数相加任务中，使用草稿本技术仅仅对训练FLOPs约为9×10<sup>19</sup>（40M参数）或更大的模型有帮助（如图C所示）。 − * '''模型校准（Calibration）.''' 模型校准能够衡量模型预测其回答正确率的能力，代表了模型回答问题的可靠程度。举个例子，当模型给出回答A的采样概率是90%时，说明它有九成把握自己做对了，而如果实际情况真的是10次问题中有9次做对了，说明模型有很高的校准能力。研究者使用平均校准误差（Expected Calibration Error，ECE）来度量模型校准能力的大小。有研究者比较了两种衡量校准的情境<ref name=":Kadavath2022">Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, E., Perez, E., Schiefer, N., Hatfield-Dodds Z., et al. (2022) Language Models (Mostly) Know What They Know.(arXiv:2207.05221). arXiv. https://arxiv.org/abs/2207.05221</ref>：一种是T/F判断题，在提示中会给出一段陈述，让模型给出“正确”或者“错误”的回答。另一种则是单选题，让大模型直接在多个选项中选择正确的答案。如图D所示，在二选一的情境下，模型在大约3×10<sup>23</sup>训练FLOPs（52B参数）的时候出现了涌现现象，而单选题的情境下模型校准能力一直以幂律的形式平滑增长。 − [[文件:Specialized_prompting_or_finetuning.png|800px|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]+ − =基于下游任务的涌现的影响因素及争议=+ − 上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。+ − 所谓幻觉是指大模型的涌现现象来自人为的度量指标选择。非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的[[交叉熵]]随参数量增加而以幂函数的形式下降：+ − :<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math> − 假设存在一个真实的但未知的概率分布 <math>p </math>以及一个具有N个参数的模型，它给出的预测分布为<math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v)</math>, 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到+ − :<math>L_{CE}(N) = -\log\hat{p}_N(v^*)</math> − 因此模型在给定输入的情况下，正确预测出单个token的概率为：+ − − 如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以得到平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为： − :<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L</math> − 如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，我们就观察到了模型能力随模型规模增大而非线性增长的曲线，即呈现出了涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如[[token编辑距离]](Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模展现出平滑、连续和可预测的变化，即未出现涌现现象。 − [[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]+ − 依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就不会有涌现现象<ref name=":mirage" />。 − 总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：+ − 1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；+ − 2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；+ − 3. 在较大参数范围内采样不足。+ − 但也有学者进一步发现，即使以连续性的度量指标来刻画（比如交叉熵），我们也能看到模型在某些任务上的表现有涌现式的增长<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。这说明涌现现象依然是真实存在的，而不完全是因为指标选取造成的幻觉。而且指标的连续性也不是选取合适指标的黄金标准，我们应该选取对任务适配的指标。比如以计算10+11=21为例，如果用token编辑距离作为评估指标，模型输出22时，距离等于1，输出11时，距离也等于1，但显然22比11更接近正确答案21。这时候再用token编辑距离作为评估指标就不合理了<ref name=":Percolation">Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki></ref>。鉴于此，有学者提出关于涌现现象更为完整的定义<ref name=":Percolation" />：+ − 一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件： − P1: 在需要能力C的任务上，模型表现呈现非线性的明显提升；+ − P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。+ − P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。+ − 在这篇文章<ref name=":Percolation" />当中，作者其实已经意识到，模型展现的涌现现象和它底层的某些结构是相关的。而在这种结构的层次上做度量，比单纯地刻画下游任务上的表现对于研究大语言模型的涌现来说更为关键。+ − =大语言模型的结构涌现=+ − 在结构上，主流大语言模型均基于[[Transformer架构]]，根据历史输入预测下一个token的概率分布。Token是自然语言处理中文本切分的最小单位（字、词或子词）。大语言模型使用token来理解和处理文本，把句子分解为token后再进行模型计算和生成。然而，人类对于语言的理解不是在token的层次上，而是在语义（semantics）的层次上。我们可以通过对多个token的排列组合来理解和表达语义。所谓对大语言模型的结构进行度量和解释，便是基于Transformer模块的行为，对模型在token和语义层次上的动力学进行量化分析。这里的动力学机制由模型的权重参数和运行方式决定。+ − 如前所述，目前大多数对于大语言模型涌现的刻画聚焦在具体下游任务的表现上，且都是定性的结论。这类涌现现象可以被看作是大语言模型的功能涌现。然而，结构决定功能。有没有可能在发生功能涌现的同时，大语言模型的内部也在发生结构上的涌现呢？这里的结构既指模型中的网络连接结构，又指模型的前向计算过程的动力学。自[[菲利普·安德森]]的《多者异也》之后，复杂性科学中对于复杂系统的涌现有了更多的认识。在观察者角度下，一个复杂系统同时具有微观和宏观尺度上的动力学，比如对于大语言模型来说，微观动力学是从已有的token生成下一个token，宏观动力学则可以是语义上的接龙和变化。作为一个对涌现定量研究的理论框架，[[因果涌现]]理论提出当宏观动力学因果效应强度大于微观动力学上的因果效应强度时，复杂系统发生涌现现象<ref name="Hoel1">E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref name="Hoel2">E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>。我们猜想，大语言模型之所以会出现任务能力上的涌现或突变，背后对应着动力学机制上的涌现。如果我们想要解释甚至调控大语言模型的涌现现象，就需要从结构或动力学的角度对大语言模型的结构涌现进行度量，以及给出相应的理论解释。这样得到的量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。+ − ==量化大语言模型的信息涌现==+ − 受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现]]理论的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。 − 大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]， 如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为 <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。+ − [[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|NTP机制与马尔可夫过程的类比。]]+ − 在这个动力学过程中有微观变量和宏观变量。'''微观变量'''指仅受单个输入token影响的token，例如 <math>h^0</math> 满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有输入token的信息，例如<math>h^{T-1}_{l+1}</math>满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。 在这样的定义下，NTP机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程。根据《多者异也》的理论，有时候，宏观变量的行为状态无法从任何一个微观变量中推出，但这并不意味着宏观变量可以无中生有。文中除了马尔可夫假设以外，还提出了随附性假设<ref name="IE" />，即当一个系统的微观动力学机制确定时，它的宏观动力学机制也就随之确定了。+ − 基于以上两个假设，文章中对大语言模型的信息涌现做了如下定义<ref name="IE" />： + − 对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l</math> 表示宏观变量， <math>h^{mi}_l</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的IE强度定义为：+ − :<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>+ − 给定一个序列和Transformer模块，我们如何得到宏微观变量？假设给定的输入序列是“large language model”，那么为了得到每一个token作为微观变量时的输入输出表征，我们需要把每一个token作为当前输入的首个token。比如输入是“large language model”时，我们可以得到“large”作为微观输入表征时的输出表征；把输入序列改成“language model”，就可以得到“language”作为微观输入表征时的输出表征；把输入序列改成“model”，就可以得到“model”作为微观输入表征时的输出表征。而对于宏观变量，则是全序列“large language model”输入时最后一个token（“model”）对应的输入和输出表征。这样做保证了微观变量状态只取决于单个的token，而宏观变量状态则取决于整个序列的信息。+ − 计算[[互信息]]需要知道变量的概率分布。为了在大语言模型的高维状态空间上估计概率分布，作者使用了[[互信息神经估计算法]]（Mutual information neural estimation，MINE）<ref>M. I. Belghazi, A. Baratin, S. Rajeshwar, S. Ozair, Y. Bengio, A. Courville, and D. Hjelm. Mutual information neural estimation. In International conference on machine learning, pages531–540. PMLR, 2018.</ref>来得到宏微观变量的概率分布。+ − 下图展示了IE更加体现语义忠实度（Semantics Faithfulness），即一个指标能否真实反映语言模型理解句子含义的能力。该实验使用了OpenOrca数据集中的例子，计算随着输入变长，大语言模型对语义把握的能力是否一直增长。传统的度量指标包括准确率、模型的损失等等。而从下图中可以看出，随着输入变长，这些指标并不总是单调增长的，而且波动很大。与之相比，IE总是在增长（即图中曲线总为正值），而且结果非常稳定。+ − [[文件:IE token.png|替代=|无|缩略图|714x714px|IE和其他指标随着token数量增加的增长幅度的变化。纵轴度量的计算方式是(value(t) − value(t − 1))/value(t)。]]+ − IE可以用来直接指示大模型能力的提升。研究中评估了8个算术任务（一位数和两位数的加减乘除）的表现与IE值之间的关联关系（如下图所示）。当参数量达到<math>10^9</math> 至 <math>10^{10}</math>时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围内，平均IE值也显著增加。+ − [[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|767x767px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]+ − + − 根据前文提及的[[因果涌现]]理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？+ − 近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 <ref>Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.</ref><ref>Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.</ref>，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。 − [[文件:Claude CLT.png|无|缩略图|434x434px|CLT的示意图]]+ − 根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的[[因果图]]，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？+ − [[文件:Claude bilang.png|无|缩略图|602x602px|面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。]]+ − 上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。+ − 第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。[[因果图]]的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成[[干预]]的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。+ − + − 如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。+ − 第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。+ − [[文件:Claude math.png|无|缩略图|608x608px|计算的36+59的内部思考过程。]] − 一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。 − + − 大语言模型为什么会出现涌现现象？通过上文的讨论我们知道，有些涌现现象可能来自幻觉（度量指标的选取），但有很多涌现现象即使是用连续的指标度量也会被观测到。对于这些真实的涌现现象，我们能否预测什么时候大语言模型会发生涌现，甚至干预和调控这个过程？许多研究者致力于为大语言模型的涌现提出理论解释。首先，我们可以粗浅地从观察到的现象中归纳出一些结论。+ − 涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的[[神经标度律]]。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作。对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang" />。 − + − 2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时，就是在学一个个知识量子。下表给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。 − {| class="wikitable"+ − |+自动发现的大语言模型知识量子 − |- − ! Cluster 50: 递增数列片段 !! Cluster 100: 换行预测片段 − |- − | − 01-Mi Querencia (Simón Díaz)\n<br> − 02-Tonada De Luna Llena (Simón Díaz)\n<br> − 03-Sabana (José Salazar/Simón Díaz)\n<br> − 04-Caballo Viejo (Simón Díaz)\n<br> − 05-Todo Este Campo Es Mío (Simón Díaz)\n<br> − 06-La Pena Del Becerrero (Simón Díaz)\n<br> − '''07''' − | − Pursuant to 5TH CIR. R. 47.5, the court has determined\n that this opinion should not be published and is not precedent\n except under the limited circumstances set forth in 5TH CIR.'''\n''' − |- − | − ...from opening a through road or street for public use across said public park in the Park of The City of Riverton." (Emphasis supplied.)\n<br> − Appealing from that order, the city asserts (1) plaintiffs have no standing or right to maintain the action; (2) that the proposed road was in an undedicated part of the park; (3) that the proposed road was an access road and not a through street or part of the city's street system.('''4''' − | − TO PERFORM QUADRATIC REGRESSION\n<br> − ON THE TI84 GRAPHING CALCULATOR.\n<br> − DETERMINE HOW WELL THE REGRESSION MODEL FITS THE DATA.\n<br> − AND THEN MAKE PREDICTIONS USING THE REGRESSION EQUATION.\n<br> − IN STATISTICS, REGRESSION ANALYSIS INCLUDES\n<br> − ANY TECHNIQUES USED FOR MODELING '''\n''' − |- − | − 4. Introduction\n<br> − 5. Chapter 1: What Is Trust?\n<br> − 6. Chapter 2: Trust Brings Rest\n<br> − 7. Chapter 3: Who Can I Trust?\n<br> − 8. Chapter 4: The Folly of Self-Reliance\n<br> − 9. Chapter 5: Trust God and Do Good (Part 1)\n<br> − 10. Chapter 6: Trust God and Do Good (Part 2)\n<br> − 11. Chapter 7: At All Times\n<br> − 12. Chapter '''8''' − | − creddump is free software: you can redistribute it and/or modify\n<br> − it under the terms of the GNU General Public License as published by\n<br> − the Free Software Foundation, either version 3 of the License, or\n<br> − (at your option) any later version.\n<br> − \n<br> − creddump is distributed in the hope that it will be useful.'''\n''' − |- − | − The chosen sites were recorded as:0 = sound (n = 13);1 = first visible sign of noncavitated lesion seen only when the tooth is dried;2 = visible noncavitated lesion seen when wet and dry;3 = microcavitation in enamel;4 = noncavitated lesion extending into dentine seen as an undermining shadow;5 = small cavitated lesion with visible dentine (less than 50% of surface);'''6''' − | − /**\n<br> − Copyright (c) 2019. The Android Open Source Project\n<br> − \n<br> − Licensed under the Apache License, Version 2.0 (the "License");\n<br> − you may not use this file except in compliance with the License.'''\n''' − |- − | − QCBlock List Msg = 0x0a \n<br> − Get Latest Status Msg = 0x0b \n<br> − Latest Status Msg = 0x0c \n<br> − Prepare Block HashMsg = 0x0d \n<br> − Get View Change Msg = 0x0e \n<br> − Ping Msg = 0x0'''f''' − | − children have a lack of maturity and an underdeveloped\n sense of responsibility, leading to recklessness, impul-\nsivity, and heedless risk-taking... Second, children\n are more vulnerable to negative influences and\n outside pressures, including from their family and\n peers; they have limited control over their own envi-'''\n''' − |} − 比如上表中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识（每个例子最后的粗体标注内容是该知识量子所涵盖的）。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。+ − 那么，知识量子理论能否用来解释[[涌现]]，以及建立起涌现和[[神经标度律]]之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值时损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是[[神经标度律]]。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。+ − [[文件:Quanta emerg.png|无|缩略图|646x646px|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]+ − + − [[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释[[神经网络]]，特别是大语言模型中的涌现现象。 − [[涌现]]是自然科学中的一个特征现象，它与[[相变]]的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化(例如，学习一种语言的句法会影响所有下游的能力)。 − [[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]+ − 如前文所述，该研究对能力的涌现现象做出如下定义： − 若模型在某一相关维度（如数据量、计算量、参数量）上扩展时，能力<math>C</math>满足以下三个条件，则称其为“涌现”： − P1（非线性性能提升）：该能力相关任务的性能表现出现非线性跃升；+ − P2（多任务共现）：多个不同任务同时表现出非线性性能提升；+ − P3（结构性学习）：模型学习了数据生成过程中的某种结构，这一结构对于学习能力<math>C</math>至关重要，且能力<math>C</math>的非线性增长与该结构的学习过程直接相关。+ − 该定义赋予“涌现”比“在某个任务上性能突增”更广的含义：它要求模型学习到对多个能力都有下游影响的结构性知识，并因此在多个任务上表现出突然的性能提升。从这个角度看，“涌现”的其实是结构，而观察到的是模型能力的变化，如果能通过分析那些同时出现性能跃升的任务，推测出它们之间所共享的结构，并据此设计评估指标，那么就有可能预测在一次独立训练中能力何时会突然出现。 − 该研究提出一个基于[[渗流模型]]的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为[[二分图]]（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“[[连通子图]]”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“[[临界阈值]]”概念相似，表示模型从局部学习到全局能力的跃升。+ − === 基本定义 ===+ − '''实体（entities）：'''“主语”和“宾语”统称为实体，所有实体组成集合<math>E</math>。+ − + − '''概念类（concept class）：'''一个概念类被定义为一个属性子集<math>K_C \subseteq K</math>，表示属于该类的实体所具备的属性。从一个概念类中随机采样的两个实体，往往共享部分属性——这为训练模型提供了判断它们是否属于同一类的信号。+ − '''类型约束图：'''类型约束图<math>G=\left ( E,K,I \right ) </math>是一个二分图（bipartite graph），其中节点为实体集<math>E</math>与属性集<math>K</math>，边集<math>I</math>表示实体是否具备某一属性（即是否连接）。 − [[文件:概念类二分图.png|无|缩略图|800x800px|各类实体与描述词、动词之间的连接关系]]+ + − === 形式语言学习中的涌现能力 === − Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。+ − 实验中训练模型执行如下三种任务： − * 自由生成（Free generation）：模型需生成一个完全合法的句子，即同时符合语法规则与类型约束。+ − + − * 条件生成（Conditional Generation）：给定一组包含实体或属性的 token，模型需在生成句子时正确地使用这些 token 并保持合法性。 − {| class="wikitable"+ − |+ 任务示例 − |- − ! 任务类型 !! 输入样例 !! 输出样例 − |- − | 自由生成（Free） || [null] || tall man slowly walked to small library. − |- − | 条件生成（Cond） || [man, walked] || tall man slowly walked to small library. − |- − | 打乱复原（Unscr） || [library, walked, ..., to, slowly] || tall man slowly walked to small library. − |} − 设模型输入为<math>x</math>，输出为<math>f\left ( x \right ) </math>，定义如下评估指标。+ − * 语法性/类型检查（Grammaticality / Type Check）：用于自由生成任务+ − * 完全匹配 / Token 准确率（Exact Match / Per Token Accuracy）：用于打乱复原任务 − * 条件满足率（Conditions Satisfied）：用于条件生成任务 − * 合法 token 的平均概率（Avg. Probability of Valid Tokens）：用于描述型句子的自由生成与打乱复原任务 − Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。+ − [[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现：(a)语法性与类型检查准确率随训练迭代变化：语法习得阶段（灰）、关系约束习得阶段（粉）、描述约束习得阶段（绿）；(b)打乱复原的表现：在阶段边界附近，这个任务出现明显性能跃迁；(c)条件生成的表现：在阶段边界附近，这个任务出现明显性能跃迁；(d)训练损失随时间变化：每个结构被学会的时点伴随一次损失下降；(e)描述性/相关性句子的表现：打乱复原任务在描述句子上的提升，主要由描述约束习得驱动。]]+ + − '''阶段1：语法获取'''+ − 最初阶段，模型迅速学习生成符合语法规则的句子（该过程可由“语法性准确率”指标衡量），在大约 100 次迭代内，模型就能生成高度语法正确的句子。但在这一阶段，打乱复原（unscrambling）和条件生成（conditional generation）等任务的表现仍然很差。不过，正当语法性显著提升时，token 准确率开始提升，表明模型对一种广义结构（即语法）的掌握，正在对其他能力的学习产生影响。+ − '''阶段2：关系性类型约束的获取''' − 在大约第 1000 次迭代时，模型在“关系型类型检查”上的表现突然从几乎为零跳跃至近乎完美。这一跃迁正好伴随着所有任务（尤其是自由生成任务）的损失突降。 − 这一涌现恰好发生在模型首次达到最高语法性准确率的时间点。这表明，一旦模型学会了数据的第一个结构（语法），它很快就会学习第二个结构（关系型类型约束）。 − 描述型约束（descriptive constraints）的表现也有所提升（因而“整体类型检查”准确率上升），但仍徘徊在略高于 0.1 的水平。 − 因此，模型在此阶段主要依赖其语法知识，并未真正掌握描述型类型约束。 − 在该阶段中，可以观察到打乱复原与条件生成任务的表现也突然跃升，所有评估指标均显著改善。尤其是这些任务的损失曲线也显示出再次下降的趋势（图d）。 − 图e显示，这些性能提升主要来源于无需依赖描述约束的句子（即只需语法与关系型知识即可完成的任务）。 − '''阶段3：描述性类型约束的学习'''+ − 在第二阶段中，模型在描述类型检查上的表现几乎无增长。+ − 然而，随着训练继续推进，模型进入第三阶段。此阶段以表现增长率的斜率突变为边界特征，表现为描述型类型检查的准确率从饱和区突然转为与 log(数据量/迭代数) 成正比的增长。 − 随后不久，可以观察到打乱复原与条件生成任务也出现类似增长趋势。这说明在本阶段，模型终于开始学习并利用描述性约束来提升更复杂任务的性能。 − 通过放大图中的曲线，可以观察到在这些任务上仍存在一个微小但清晰的损失跳跃。 − 考虑到此时模型仅接受了约 10⁴ 次迭代训练，而实体-属性组合的训练样本只覆盖了 15% 左右（即 p=0.15），那么模型最高只能获得约 15% 的表现（这与实际观察相符），理论最大也不超过 20%。 − 然而我们观察到该任务最终可达到 30–35% 的准确率，说明模型已经超越记忆性学习，开始泛化出新的实体-属性配对。 − 若模型仅靠记忆，它无法在未见过的配对上表现良好。因此可以说明模型正在根据类型约束图的结构，隐式地推理哪些实体和属性可以共同出现。 − 这表明第二阶段主要以“记忆”为主，而第三阶段标志着从记忆式解决方案向泛化式解决方案的过渡。 − 以上现象在广泛实验设置下高度稳定： − * 模型始终先学会语法和类型约束两种结构； − * 然后在多个狭义任务上表现出突发性跃升； − * 从物理类比角度看，“语法性”和“类型检查”可视为序参量（order parameters）； − * 它们大致决定了模型在何时可能会对某任务表现出“涌现”特征。 − === 涌现的渗流模型 === − 该研究提出一种理论框架，用于建模那些需要模型组合未曾见过的实体与描述属性的能力的涌现过程，例如“描述型类型约束”的学习。这些能力除了能让模型在自由生成中更准确地构造句子，还可提升更狭义的任务，如条件生成与打乱复原。如果模型能够理解哪些实体和属性属于同一“概念类”，那么即使它们在训练数据中从未同时出现过，它仍然可以判定这种组合是“合理”的。因此，可以将概念类（concept classes）抽象为二分图（bipartite graph），并将模型对其学习过程类比为图上的渗流（percolation）过程。 − '''数据的矩阵表示'''+ − 概念密度矩阵用于表示概念类的数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。+ − 概率密度矩阵：设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。+ − 以实体{Man, Lawyer, Telephone}和属性{Walk, Stoic, Ring}为例，矩阵<math>D</math>可为：<math>\begin{bmatrix} 1 & 1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 1\end{bmatrix}</math>，表示“Man–Walk”和“Man–Stoic”经常同时出现，“Telephone–Ring”也存在，但“Lawyer–Ring”未曾出现。+ − '''组合学习过程'''+ − 概念传播矩阵可以建模从非完整数据中推断新组合的过程： − 概念传播矩阵：第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。 − 通过<math>n</math>次传播，模型能从原始矩阵<math>D</math>中推断出哪些组合是合理的。 − 将<math>D</math>映射为一个二分图，其中左侧节点表示实体，右侧节点表示属性，边表示它们在训练中被共同观察。在这个图中若两个节点（实体和属性）之间存在最短路径长度为<math>2k+1</math>，则只有在传播步数<math>n>k</math> 时，传播矩阵<math>T_{e,k}^{\left ( n \right ) } </math> 才为非零。若两个节点处于完全不连通的子图中，那么无论传播多少次，该组合都永远无法被学习（即<math>T_{e,k}^{\left ( n \right ) } =0</math>，对任意<math>n</math>成立）。+ + + + + + + + + + + + + − 例如，“Man–Walk”可能可达，“Lawyer–Ring”永远不可达，意味着后者不能合理组合。+ − '''描述性约束的渗流转变'''+ + + + + + + + + − 在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例（代表模型能泛化出多少“未见过但合理”的实体–属性组合）。这种情况恰好对应于二分图上的键渗流（bond percolation）问题。+ − 在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型连通簇。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着节点数的增加，这一转变会愈发陡峭。+ − + + + + + + + + + + + + + + + + + − 在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的连通簇会出现质变。对于<math>p>p_c</math>，最大簇的节点数迅速增长，任取一对实体–属性，其在同一簇中的概率趋近于常数。+ − 渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即观察更多实体–属性配对），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。+ − + − 基于[[图论]]的理论框架可以预测结构学习过程的“渗流相变”行为，尤其是在模型试图泛化出未见过但合理的实体–属性组合时。实证检验设置如下：+ − 实体数固定，属性数取不同值，模型架构、学习率、数据分布等保持一致，记录每次训练的描述型类型检查准确率随训练迭代数的变化曲线，并从中估计“涌现点”——即描述类型检查准确率开始显著上升的训练迭代<math>t</math>。+ + + + + + + + + + + + + + + + + + + + + + − [[文件:涌现点实证.png|无|缩略图|800x800px|描述结构涌现点的理论与实证对比]]+ − 实验结果如上图所示，模型对描述性结构的学习，确实存在一个清晰的“转折点”，这个转折点的位置正比于<math>\sqrt{\left | K \right | } </math>，该现象符合渗流理论中的临界点预测。+ − =总结=+ − 在大语言模型百花齐放的今天，我们很容易观察到大语言模型在特定能力上表现出的非线性跃迁特征：当模型规模较小时，这些能力完全不存在；但当参数规模突破某一临界点后，模型会突然展现出如复杂推理、上下文学习等新能力。这便是涌现现象。如果说平滑增长的神经标度律承诺我们，只要投入足够的资源，大模型的能力一定会持续增长。那么涌现现象便是在说，我们有可能四两拨千斤，在有些时候，只要让投入资源的规模再扩大一点，就可以获得出乎意料的超额回报。于是对于大模型涌现的描述、解释和预测是值得关注的重要课题。 − 但目前，学者们对于大模型涌现的描述更多停留在定性层面，而且受到下游任务设计、度量指标选取等诸多因素的影响。本词条综述了部分对于大模型涌现的代表性研究，而对于大模型涌现的机制解释，对于涌现、顿悟、神经标度律的统一理论解释，还有很大的领域空白，尤其是在如何借鉴复杂系统研究中的涌现相关理论上。未来随着可解释性人工智能技术的进一步发展，我们将对大模型涌现现象有更加深刻的理解。+ − =参考文献=+ − + − 相关读书会：+ − + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
==历史==
{{#seo:
|keywords=信息论,信息时代,正规科学,控制论,计算机科学
|description=信息论,信息时代,正规科学,控制论,计算机科学
}}
'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
该领域是数学、统计学、计算机科学、物理学、神经生物学、信息工程和电气工程的交叉学科。这一理论也在其他领域得到了应用，比如推论统计学、自然语言处理、密码学、神经生物学<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、人类视觉<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref>、分子编码的进化、和功能（生物信息学）、统计学中的模型选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York)}}.</ref>、热物理学<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> 、量子计算、语言学、剽窃检测<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=Scientific American|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>、模式识别和异常检测<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=November 1, 2003|archiveurl=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archivedate=July 23, 2011|url-status=dead|accessdate=2010-06-23}}
</ref>。
信息论的重要分支包括信源编码、算法复杂性理论、算法信息论、信息理论安全性、灰色系统理论和信息度量。
信息论在应用领域的基本课题包括无损数据压缩（例如：ZIP压缩文件）、有损数据压缩（例如：Mp3和jpeg格式），以及频道编码（例如：DSL）。信息论在信息检索、情报收集、赌博，甚至在音乐创作中也有应用。
信息论中的一个关键度量是'''[[熵]]'''。熵量化了一个随机变量的值或者一个随机过程的结果所包含的不确定性。例如，识别一次公平抛硬币的结果（有两个同样可能的结果）所提供的信息（较低的熵）少于识别抛一次骰子的结果（有六个同样可能的结果）。信息论中的其他一些重要指标有：互信息、信道容量、误差指数和相对熵。
==概览==
信息论主要研究信息的传递、处理、提取和利用。抽象地说，信息可以作为不确定性的解决方案。1948年，Claude Shannon在他的论文《一种通信的数学理论》中将这个抽象的概念具体化，在这篇论文中“信息”被认为是一组可能的信号，这些信号在通过带有噪声的信道发送后，接收者能在信道噪声的影响下以较低的错误概率来重构这些信号。 Shannon的主要结论，有噪信道编码定理，表明在信道使用的许多限制情况下，渐近可达到信息传输速率等于的信道容量，一个仅仅依赖于信息发送所经过的信道本身的统计量。（译注：当信道的信息传输率不超过信道容量时，采用合适的编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。）
信息论与一系列纯科学和应用科学密切相关。在过去半个世纪甚至更久的时间里，在全球范围内已经有各种各样的学科理论被研究和化归为工程实践，比如在[[自适应系统]]，预期系统，人工智能，[[复杂系统]]，[[复杂性科学]]，[[控制论]]，信息学，[[机器学习]]，以及[[系统科学]]。信息论是一个广博而深遂的数学理论，也具有广泛而深入的应用，其中'''编码理论'''是至关重要的领域。
编码理论与寻找明确的方法（编码）有关，用于提高效率和将有噪信道上传输的数据错误率降低到接近信道容量。这些编码可大致分为数据压缩编码（信源编码）和纠错（信道编码）技术。对于纠错技术，Shannon证明了理论极限很多年后才有人找到了真正实现了理论最优的方法。
第三类信息论代码是'''密码算法'''（包括密文和密码）。编码理论和信息论的概念、方法和结果在密码学和密码分析中得到了广泛的应用。
==历史背景==
1948年7月和10月，[[克劳德·E·香农 Claude E. Shannon]]在《贝尔系统技术期刊》上发表了经典论文：《一种通信的数学理论》，这就是建立信息论学科并立即引起全世界关注的里程碑事件。
在此之前，贝尔实验室已经提出了有限的信息论思想，所有这些理论都隐性地假设了概率均等的事件。Harry Nyquist 在1924年发表的论文《集中影响电报速率的因素 Certain Factors Affecting Telegraph Speed》中包含一个理论章节，量化了“情报”和通信系统可以传输的“线路速度”，并给出了关系式 {{math|1=''W'' = ''K'' log ''m''}} (参考玻尔兹曼常数) ，其中 ''W'' 是情报传输的速度， ''m'' 是每个时间步长可以选择的不同电压电平数，''K'' 是常数。Ralph Hartley 在1928年发表的论文《信息的传输 Transmission of Information》中，将单词信息作为一个可测量的量，以此反映接收者区分一系列符号的能力，从而将信息量化为 {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}，其中 ''S'' 是可以使用的符号的数量，''n'' 是传输中符号的数量。因此信息的单位就是十进制数字，为了表示对他的尊敬，这个单位有时被称为 Hartley，作为信息的单位、尺度或度量。1940年，图灵在二战时期破解德国的“迷”密码 Enigma ciphers的统计分析中使用了类似的思想。
信息论背后的许多数学理论（包括不同概率的事件）都是由[[路德维希·玻尔兹曼 Ludwig Boltzmann]]和[[约西亚·威拉德·吉布斯 J. Willard Gibbs]]为热力学领域开发出来的。
Shannon的那篇革命性的、开创性的论文，于1944年的年底便已基本在贝尔实验室完成。在这论文里， Shannon将通信看作一个统计学过程，首次提出了通信的量化模型，并以此为基础推导出了信息论。论文开篇便提出了一下论断：
''<blockquote>“The basic problem of communication is the accurate or approximate representation at one point of selected information at another point.”<br>
“通信的基本问题是在一点上精确地或近似地再现在另一点上选择的信息。”</blockquote>''
与此相关的一些想法包括：
* 信息熵和信源冗余，以及'''<font color="#ff8000">信源编码定理</font>'''；
* '''<font color="#ff8000">互信息，有噪信道的信道容量</font>'''，包括无损通信的证明，和'''<font color="#ff8000">有噪信道编码定理</font>'''；
* '''<font color="#ff8000">香农-哈特利定律 Shannon–Hartley law</font>'''应用于高斯信道的信道容量的结果；
* '''<font color="#ff8000">比特 bit</font>'''——一种新的度量信息的最基本单位。
==信息的度量==
信息论基于概率论和统计学，其中经常涉及衡量随机变量的分布的信息。信息论中重要的信息量有：熵（单个随机变量中信息的度量）和互信息（两个随机变量之间的信息的度量）。熵是随机变量的概率分布的一个属性，它限制了从给定分布中独立采样得到的数据的压缩率。互信息是两个随机变量的联合概率分布的一个属性，是当信道的统计量由联合分布确定时，在长块长度的限制下，通过有噪信道的可靠通信的最大速率。
在下列公式中，对数底数的选择决定了信息熵的单位。信息的常见单位是比特（基于二进制对数）。其他单位包括 nat（自然对数）和十进制数字（常用对数）。
=大语言模型能力的涌现现象=
下文中，按惯例将 {{math|1=''p'' = 0}} 时的表达式{{math|''p'' log ''p''}}的值视为等于零，因为<math>\lim_{p \rightarrow 0+} p \log p = 0</math>适用于任何对数底。
===信源的熵===
基于每个用于通信的源符号的概率质量函数，'''<font color="#ff8000">香农熵 Shannon Entropy</font>'''（以比特为单位）由下式给出：
<math>H = - \sum_{i} p_i \log_2 (p_i)</math>
其中{{math|''p<sub>i</sub>''}}是源符号的第{{math|''i''}}个可能值出现的概率。该方程以比特（每个符号）为单位给出熵，因为它使用以2为底的对数。为表纪念，这个熵有时被称为'''香农熵'''。熵的计算也通常使用自然对数（以[[E (mathematical constant)|{{mvar|e}}]]为底数，其中{{mvar|e}}是欧拉数，其他底数也是可行的，但不常用），这样就可以测量每个符号的熵值，有时在公式中可以通过避免额外的常量来简化分析。例如以{{math|1=2<sup>8</sup> = 256}}为底的对数，得出的值就以字节（而非比特）作为单位。以10为底的对数，每个符号将产生以十进制数字(或哈特利)为单位的测量值。
直观的来看，离散型随机变量{{math|''X''}}的熵{{math|''H<sub>X</sub>''}}是对不确定性的度量，当只知道其分布时，它的值与{{math|''X''}}的值相关。
[[文件:Fewshotcn2.png|替代=|485x485像素]]
当一个信息源发出了一串含有{{math|''N''}}个符号的序列，且每个符号[[独立同分布]]时，其熵为{{math|''N'' ⋅ ''H''}}位(每个信息{{math|''N''}}符号)。
如果源数据符号是同分布但不独立的，则长度为{{math|''N''}}的消息的熵将小于{{math|''N'' ⋅ ''H''}}。
[[File:Binary entropy plot.svg|thumbnail|right|200px| 伯努利实验的熵，作为一个成功概率的函数，通常被称为二值熵函数, {{math|''H''<sub>b</sub>(''p'')}}。当使用一个无偏的硬币做实验时，两个可能结果出现的概率相等，此时的熵值最大，为1。]]
如果一个人发送了1000比特（0s和1s），然而接收者在发送之前就已知这串比特序列中的每一个位的值，显然这个通信过程并没有任何信息（译注：如果你要告诉我一个我已经知到的消息，那么本次通信没有传递任何信息）。但是，如果消息未知，且每个比特独立且等可能的为0或1时，则本次通信传输了1000香农的信息（通常称为“比特”）。在这两个极端之间，信息可以按以下方式进行量化。如果𝕏是{{math|''X''}}可能在的所有消息的集合{{math|{''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}，且{{math|''p''(''x'')}}是<math>x \in \mathbb X</math>的概率，那么熵、{{math|''H''}}和{{math|''H''}}的定义如下: <ref name="Reza">{{cite book | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | origyear = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22}}</ref>
:<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math>
==使用增强提示策略的任务==
(其中：{{math|''I''(''x'')}}是[[自信息]]，表示单个信息的熵贡献；{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是，当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大； 也就是说，在{{math|1=''H''(''X'') = log ''n''}}这种情况下，熵是最不可预测的。
对于只有两种可能取值的随机变量的信息熵，其特殊情况为二值熵函数（通常用以为底2对数，因此以香农(Sh)为单位）：
:<math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p)</math>
<br>
===联合熵 Joint entropy===
两个离散的随机变量{{math|''X''}}和{{math|''Y''}}的'''<font color="#ff8000">联合熵 Joint Entropy</font>'''大致是它们的配对： {{math|(''X'', ''Y'')}}。若{{math|''X''}}和{{math|''Y''}}是独立的，那么它们的联合熵就是其各自熵的总和。
例如：如果{{math|(''X'', ''Y'')}}代表棋子的位置（{{math|''X''}} 表示行和{{math|''Y''}}表示列），那么棋子所在位置的熵就是棋子行、列的联合熵。
:<math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math>
:<math>p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})</math>
尽管符号相似，注意联合熵与交叉熵不能混淆。
===条件熵（含糊度）Conditional entropy (equivocation)===
在给定随机变量{{math|''Y''}}下{{math|''X''}}的'''<font color="#ff8000">条件熵 Conditional Entropy</font>'''（或条件不确定性，也可称为{{math|''X''}}关于{{math|''Y''}}的含糊度)）是{{math|''Y''}}上的平均条件熵： <ref name="Ash">{{cite book | title = Information Theory | author = Robert B. Ash | publisher = Dover Publications, Inc. | origyear = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&pg=PA16&dq=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty}}</ref>
:<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math>
由于熵能够以随机变量或该随机变量的某个值为条件，所以应注意不要混淆条件熵的这两个定义（前者更为常用）。该类条件熵的一个基本属性为：
: <math> H(X|Y) = H(X,Y) - H(Y) .\,</math>
===互信息（转移信息） Mutual information (transinformation)===
'''<font color="#ff8000">互信息 Mutual Information</font>'''度量的是某个随机变量在通过观察另一个随机变量时可以获得的信息量。在通信中可以用它来最大化发送和接收信号之间共享的信息量，这一点至关重要。{{math|''X''}}相对于{{math|''Y''}}的互信息由以下公式给出：
:<math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
其中{{math|SI}} (Specific mutual Information，特定互信息)是点间的互信息。
互信息的一个基本属性是：
: <math>I(X;Y) = H(X) - H(X|Y)\,</math>
也就是说，在编码''X''的过程中，知道''Y''比不知道''Y''平均节省{{math|''I''(''X''; ''Y'')}}比特。
互信息是对称的：
: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y)\,</math>
互信息可以表示为在给定''Y''值的情况下''X''的后验分布，以及''X''的先验概率分布之间的平均 Kullback-Leibler 散度（信息增益）：
: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )]</math>
换句话说，这个指标度量：当我们给出''Y''的值，得出''X''上的概率分布将会平均变化多少。这通常用于计算边缘分布的乘积与实际联合分布的差异：
: <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y))</math>
互信息与列联表中的似然比检验，多项分布，以及皮尔森卡方检验密切相关： 互信息可以视为评估一对变量之间独立性的统计量，并且具有明确指定的渐近分布。
<br>
===Kullback-Leibler散度（信息增益） Kullback–Leibler divergence (information gain)===
'''Kullback-Leibler 散度'''（或信息散度、相对熵、信息增益）是比较两种分布的方法： “真实的”概率分布''p(X)''和任意概率分布''q(X)''。若假设''q(X)''是基于某种方式压缩的数据的分布，而实际上''p(X)''才是真正分布，那么 Kullback-Leibler 散度是每个数据压缩所需的平均额外比特数。因此定义：
:<math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>
尽管有时会将KL散度用作距离量度但它并不是一个真正的指标，因为它是不对称的，同时也不满足三角不等式(KL散度可以作为一个半准度量)。
KL散度的另一种解释是一种先验知识引入的“不必要的惊讶”。假设将从概率分布为“ p（x）”的离散集合中随机抽取数字“ X”，如果Alice知道真实的分布“p（x）”，而Bob（因为具有先验知识）认为概率分布是“q（x）”，那么在看到抽取出来的''X''的值后，平均而言，Bob将比Alice更加惊讶。KL散度就是Bob惊讶的期望值减去Alice惊讶的期望值（如果对数以2为底，则以比特为单位），这样Bob所拥有的先验知识的“错误的”程度可以用他“不必要的惊讶”的期望值来进行量化。
==基于大语言模型结构的多尺度解释==
===其他度量===
信息论中其他重要的量包括'''<font color="#ff8000">瑞丽熵 Rényi Entropy</font>'''（一种熵的推广），微分熵（信息量推广到连续分布），以及条件互信息。
==编码理论==
[[File:CDSCRATCHES.jpg|thumb|right|在可读CD的表面上显示划痕的图片。音乐和数据CD使用纠错编码进行编码，因此即使它们有轻微的划痕，也可以通过错误检测和纠正来对CD进行读取。]]
'''<font color="#ff8000">编码理论 Coding Theory</font>'''是信息论最重要、最直接的应用之一，可以细分为'''<font color="#ff8000">信源编码理论 Source Coding Theory</font>'''和'''<font color="#ff8000">信道编码理论 Channel Coding Theory</font>'''。信息论使用统计学来量化描述数据所需的比特数，也就是源的信息熵。
* 数据压缩（源编码）：压缩问题有两个相关公式；
* [[无损数据压缩]]：数据必须准确重构；
[[文件:Claude poem.png|无|缩略图|608x608px|图中浅蓝色部分是提示词，橙红色部分是输出。]]
* [[有损数据压缩]]：由失真函数测得的在指定保真度级别内分配重构数据所需的比特数。信息论中的这个部分称为率失真理论。
*纠错码（信道编码）：数据压缩会尽可能多的消除冗余，而纠错码会添加所需的冗余（即纠错），以便在嘈杂的信道上有效且保真地传输数据。
信息传输定理，或着说“信源-信道分离定理”证明，编码理论应当划分为压缩和传输两部分。定理证明了在许多情况下使用比特作为信息的''通用货币''是合理的，但这只在发送用户与特定接收用户建立通信的情况下才成立。在具有多个发送器（多路访问信道），多个接收器（广播信道）或中转器（中继信道）或多个计算机网络的情况下，压缩后再进行传输可能就不再是最佳选择。[[网络信息论]]指的就是这些多主体通信模型。
=大语言模型涌现的机制解释=
===信源理论===
生成连续消息的任何过程都可以视为信息的通讯来源。无记忆信源是指每个消息都是独立同分布的随机变量，而遍历理论和平稳过程的性质对信源施加的限制较少。所有这些信源都可以看作随机的。在信息论领域外，这些术语也已经有很全面的相关研究。
==知识量子理论==
====速率====
'''<font color="#ff8000">信息速率 Information Rate</font>'''（熵率）是每个符号的平均熵。对于无记忆信源，信息速率仅表示每个符号的熵，而在平稳随机过程中，它是：
:<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots)</math>；
也就是，给定所有之前生成的符号下，一个符号的条件熵。对于非平稳的过程的更一般情况，平均速率为：
:<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n)</math>；
==渗流模型==
也就是每个符号的联合熵的极限。对于平稳源，这两个表达式得出的结果相同。<ref>{{cite book | title = Digital Compression for Multimedia: Principles and Standards | author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&pg=PA56&dq=entropy-rate+conditional#PPA57,M1 | isbn = 1-55860-369-7 }}</ref>
在信息论中谈论一种语言的“速率”或“熵”是很常见的，也是很合适的，比如当信源是英文散文时。信息源的速率与其冗余度以及可被压缩程度有关。
===信道容量===
通过信道（例如，以太网电缆）进行通信是信息论的主要动机。然而，这样的信道往往不能产生信号的精确重建；静默时段内、噪声、其他形式的信号损坏往往会使得信息质量的降低。
考虑离散信道上的通信过程。该过程的简单模型如下：
[[File:Channel model.svg|center|800px|Channel model]]
这里''X''表示要发送的信息的空间（全集），''Y''表示单位时间内通过信道接收的信息的空间。设{{math|''p''(''y''{{pipe}}''x'')}}是给定''X''的''Y''的条件概率分布函数。我们将{{math|''p''(''y''{{pipe}}''x'')}}视为通信信道的固定属性(表示信道噪声的性质)。那么''X''和''Y''的联合分布完全取决于所选用的信道和{{math|''f''(''x'')}}，以及通过信道发送的信息的边缘分布。在这些约束条件下，我们希望最大化信息速率或信号速率，可以通过信道进行通信。对此的适当度量为互信息，信道容量即为最大互信息，且由下式给出:
:<math> C = \max_{f} I(X;Y).\! </math>
'''属性（properties）：'''描述性和关系性的词语统称为属性，所有属性构成集合<math>K</math>。
信道容量具有以下与以信息速率“R”进行通信有关的属性（其中“R”通常为每个符号的比特数）。对于任意信息速率''R < C''和编码错误ε > 0，存在足够大的长度为''N''和速率大于等于R的代码以及解码算法使得块错误的最大概率小于等于ε；即总是可以在任意小的块错误下进行传输。此外对于任何速率的“ R> C”，不可能以很小的块错误进行发送。
信道编码就寻找一种接近最优的编码，它可以用于在噪声信道上以接近信道容量的速率传输数据，且编码错误很小。
====特定信道容量模型====
*连续时间内受高斯噪声 Gaussian noise限制的模拟通信信道（详细内容请参见[[Shannon–Hartley定理]]）。
*'''二进制对称通道 binary symmetric channel（BSC）'''是交叉概率为''p''的二进制输入、二进制输出（以概率''p''翻转输入位）通道。每个通道使用的BSC容量为{{math|1 − ''H''<sub>b</sub>(''p'')}}比特，其中{{math|''H''<sub>b</sub>}}是以2为底的对数的二进制熵函数：
::[[File:Binary symmetric channel.svg]]
* 打乱复原（Unscrambling）：给定一个被随机打乱的句子 token 集合，模型需将其复原为一个合法句子。
*'''二进制擦除通道 binary erasure channel（BEC）'''是擦除概率为“ p”的二进制输入、三进制输出通道。可能的通道输出为0、1和擦除符号'e'。擦除表示信息输入位的完全丢失。每个通道使用的BEC容量为{{nowrap|1 − ''p''}}比特。
::[[File:Binary erasure channel.svg]]
==在其他领域的应用==
===情报使用和安全应用===
信息论的概念可以应用于密码学和密码分析。在Ultra的项目中就使用了图灵的信息单位[[Ban（unit）| ban]]，破解了德国的恩尼格玛密码，加速了二战在欧洲的结束。香农定义了一个重要的概念，现在称为'''单一性距离 [[unicity distance]]'''，基于明文的冗余性尝试给出具有唯一可解密性所需的最少量的密文。
信息论使我们觉得保密比最初看起来要困难得多。穷举法也可以破解基于非对称密钥算法或最常用的对称密钥算法（也称为密钥算法），如分块加密。所有这些方法的安全性都来自以下假设：在一定的的时间内没有已知的攻击方法可以破解它们。
信息理论安全性指的是诸如一次性密钥之类的不易受到这种暴力攻击的方法。在这种情况下，可以确保明文和密文（以密钥为条件）之间的正条件互信息正确的传输，而明文和密文之间的无条件互信息仍为零，从而保证绝对安全的通信。换句话说，窃听者将无法通过获取密文而不是密钥的知识来改善其对原文本的猜测。但是，就像在其他任何密码系统中一样，即便时信息论中安全的方法必须小心正确的使用；之所以Venona 项目能够破解苏联的一次性密钥，就是因为苏联不当地重复使用关键材料。
===伪随机数的生成===
伪随机数生成器在计算机语言库和应用程序中广泛应用。由于它们没有规避现代计算机设备和软件的确定性，因此普遍不适合用在密码学中。一类改进的随机数生成器称为加密安全的伪随机数生成器，但也需要软件外部的随机种子才能正常工作，这通过提取器来获得。用来度量提取器中充分随机性的概念是最小熵，该值通过[[瑞丽熵]]与香农熵关联；瑞丽熵还用于评估密码系统中的随机性。虽然相关，但具有较高香农熵的随机变量不一定适合在提取器中使用，因此也不能用在密码学中。
===地震勘探===
信息论的一个早期商业应用是在地震石油勘探领域。在该领域的应用可以从期望的地震信号中剔除和分离不需要的噪声。与以前的模拟方法相比，信息论和数字信号处理大大提高了图像的分辨率和清晰度。<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=The corporation and innovation | year=1981 | journal=Strategic Management Journal | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref>
===符号学===
符号学家Doede Nauta和Winfried Nöth都认为Charles Sanders Peirce在他的符号学著作中创造了信息论。<ref name="Nauta 1972">{{cite book |ref=harv |last1=Nauta |first1=Doede |title=The Meaning of Information |date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref><ref name="Nöth 2012">{{cite journal |ref=harv |last1=Nöth |first1=Winfried |title=Charles S. Peirce's theory of information: a theory of the growth of symbols and of knowledge |journal=Cybernetics and Human Knowing |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</ref> Nauta将符号信息论定义为研究编码、过滤和信息处理的内部过程。<ref name="Nauta 1972"/>{{rp|91}}
信息论的概念（例如冗余和代码控制）已被符号学家如Umberto Eco和Ferruccio Rossi-Landi用来解释意识形态，将其作为消息传输的一种形式，占统治地位的社会阶层通过使用具有高度冗余性的标志来发出其信息，使得从符号中解码出来的消息只有一种，而不会时其他可能的消息。<ref>Nöth, Winfried (1981). "[https://kobra.uni-kassel.de/bitstream/handle/123456789/2014122246977/semi_2004_002.pdf?sequence=1&isAllowed=y Semiotics of ideology]". ''Semiotica'', Issue 148.</ref>
===其他应用===
信息论在赌博、黑洞信息论和生物信息学中也有应用。
==参见==
{{div col|colwidth=20em}}
* [[算法概率]]
* [[贝叶斯推断]]
* [[通信理论]]
* [[构造器理论]] - 一种包含了量子信息的广义信息论
* [[归纳概率]]
* [[信息度量]]
* [[最小消息长度]]
* [[最小描述长度]]
* [[计算机科学重要文献列表#信息论|重要文献列表]]
* [[信息的哲学]]
{{div col end}}
===应用===
{{div col|colwidth=20em}}
* [[主动网络]]
* [[密码分析]]
* [[密码学]]
* [[控制论]]
* [[热力学和信息论中的熵]]
* [[赌博]]
* [[智能 (信息采集)]]
* [[反射波勘探法|地震勘探]]
{{div col end}}
===理论===
[[文件:Percolation-二分图.png|无|缩略图|600x600px|将构成看不见的概念(例如,实体和属性)的能力投射为二分图上的渗流：(a)若概念类仅部分出现在训练集中，或实体-属性连接稀疏，图中节点将形成多个“孤立簇”（见左图，颜色不同表示不同连通区域）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）。(b)我们的理论将这种转变建立为二阶相变，其中最大团簇的大小随着连接节点对的比例非线性地增加。]]
{{div col|colwidth=20em}}
* [[编码理论]]
* [[探测理论]]
* [[估计理论]]
* [[费舍尔理论]]
* [[信息代数]]
* [[信息不对称性]]
* [[信息场论]]
* [[信息几何]]
* [[信息论于测度论]]
* [[柯尔莫哥洛夫复杂度]]
* [[信息论未解之谜]]
* [[信息的逻辑]]
* [[网络编码]]
* [[信息的哲学]]
* [[量子信息科学]]
* [[信源编码]]
{{div col end}}
===概念===
=== 实验验证 ===
{{div col|colwidth=20em}}
* [[Ban (单位)]] —— 以10为底的对数信息量单位
* [[信道容量]]
* [[信道]]
* [[信源]]
* [[条件熵]]
* [[转换信道]]
* [[数据压缩]]
* 解码器
* [[微分熵]]
* [[可互换信息]]
* [[信息波动复杂度]]
* [[信息熵]]
* [[联合熵]]
* [[Kullback–Leibler散度]]
* [[互信息]]
* [[点间互信息]]（PMI）
* [[接收器 (信息论)]]
* [[冗余 (信息论)|冗余]]
* [[瑞丽熵]]
* [[子信息]]
* [[单一性距离]]
* [[种类 (控制论)|种类]]
* [[汉明距离]]
{{div col end}}
==参考资料==
{{Reflist}}
===经典之作===
* [[Claude Elwood Shannon|Shannon, C.E.]] (1948), "A Mathematical Theory of Communication", ''Bell System Technical Journal'', 27, pp. 379–423 & 623–656, July & October, 1948. [http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.] <br />[http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html Notes and other formats.]
<references />
* R.V.L. Hartley, [http://www.dotrose.com/etext/90_Miscellaneous/transmission_of_information_1928b.pdf "Transmission of Information"], ''Bell System Technical Journal'', July 1928
* Andrey Kolmogorov (1968), "[https://www.tandfonline.com/doi/pdf/10.1080/00207166808803030 Three approaches to the quantitative definition of information]" in International Journal of Computer Mathematics.
https://pattern.swarma.org/study_group_issue/446
===其他期刊文章===
* J. L. Kelly, Jr., [http://betbubbles.com/wp-content/uploads/2017/07/kelly.pdf Betbubbles.com], "A New Interpretation of Information Rate" ''Bell System Technical Journal'', Vol. 35, July 1956, pp. 917–26.
* R. Landauer, [http://ieeexplore.ieee.org/search/wrapper.jsp?arnumber=615478 IEEE.org], "Information is Physical" ''Proc. Workshop on Physics and Computation PhysComp'92'' (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1–4.
* {{cite journal | last1 = Landauer | first1 = R. | year = 1961 | title = Irreversibility and Heat Generation in the Computing Process | url = http://www.research.ibm.com/journal/rd/441/landauerii.pdf | journal = IBM J. Res. Dev. | volume = 5 | issue = 3| pages = 183–191 | doi = 10.1147/rd.53.0183 }}
* {{cite arXiv |last=Timme |first=Nicholas|last2=Alford |first2=Wesley|last3=Flecker |first3=Benjamin|last4=Beggs |first4=John M.|date=2012 |title=Multivariate information measures: an experimentalist's perspective |eprint=1111.6857|class=cs.IT}}
===信息论教材===
* Arndt, C. ''Information Measures, Information and its Description in Science and Engineering'' (Springer Series: Signals and Communication Technology), 2004,
* Ash, RB. ''Information Theory''. New York: Interscience, 1965. New York: Dover 1990.
* Gallager, R. ''Information Theory and Reliable Communication.'' New York: John Wiley and Sons, 1968.
* Goldman, S. ''Information Theory''. New York: Prentice Hall, 1953. New York: Dover 1968, 2005.
* {{cite book |last1=Cover |first1=Thomas |author-link1=Thomas M. Cover |last2=Thomas |first2=Joy A. |title=Elements of information theory |edition=2nd |location=New York |publisher=[[Wiley-Interscience]] |date=2006}}
* Csiszar, I, Korner, J. ''Information Theory: Coding Theorems for Discrete Memoryless Systems'' Akademiai Kiado: 2nd edition, 1997.
* David J. C. MacKay|MacKay, David J. C.. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003.
* Mansuripur, M. ''Introduction to Information Theory''. New York: Prentice Hall, 1987.
* Robert McEliece|McEliece, R. ''The Theory of Information and Coding". Cambridge, 2002.
*Pierce, JR. "An introduction to information theory: symbols, signals and noise". Dover (2nd Edition). 1961 (reprinted by Dover 1980).
* Reza, F. ''An Introduction to Information Theory''. New York: McGraw-Hill 1961. New York: Dover 1994.
* {{cite book |last1=Shannon |first1=Claude |author-link1=Claude Shannon |last2=Weaver |first2=Warren |author-link2=Warren Weaver |date=1949 |title=The Mathematical Theory of Communication |url=http://monoskop.org/images/b/be/Shannon_Claude_E_Weaver_Warren_The_Mathematical_Theory_of_Communication_1963.pdf |location=[[Urbana, Illinois]] |publisher=[[University of Illinois Press]] |lccn=49-11922 }}
* Stone, JV. Chapter 1 of book [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html "Information Theory: A Tutorial Introduction"], University of Sheffield, England, 2014.
* Yeung, RW. ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book/ A First Course in Information Theory]'' Kluwer Academic/Plenum Publishers, 2002.
* Yeung, RW. ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book2/ Information Theory and Network Coding]'' Springer 2008, 2002.
===其他书籍===
* Leon Brillouin, ''Science and Information Theory'', Mineola, N.Y.: Dover, [1956, 1962] 2004.
* James Gleick, ''The Information: A History, a Theory, a Flood'', New York: Pantheon, 2011.
* A. I. Khinchin, ''Mathematical Foundations of Information Theory'', New York: Dover, 1957.
* H. S. Leff and A. F. Rex, Editors, ''Maxwell's Demon: Entropy, Information, Computing'', Princeton University Press, Princeton, New Jersey (1990).
* Robert K. Logan. ''What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere'', Toronto: DEMO Publishing.
* Tom Siegfried, ''The Bit and the Pendulum'', Wiley, 2000.
* Charles Seife, ''Decoding the Universe'', Viking, 2006.
* Jeremy Campbell, ''Grammatical Man'', Touchstone/Simon & Schuster, 1982,
* Henri Theil, ''Economics and Information Theory'', Rand McNally & Company - Chicago, 1967.
* Escolano, Suau, Bonev, ''[https://www.springer.com/computer/image+processing/book/978-1-84882-296-2 Information Theory in Computer Vision and Pattern Recognition]'', Springer, 2009.
* Vlatko Vedral, ''Decoding Reality: The Universe as Quantum Information'', Oxford University Press 2010.
===信息论大型开放式课程===
* Raymond W. Yeung, "[http://www.inc.cuhk.edu.hk/InformationTheory/index.html Information Theory]" (The Chinese University of Hong Kong)
==外部链接==
* Lambert F. L. (1999), "[http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!]", ''Journal of Chemical Education''
* [http://www.itsoc.org/ IEEE Information Theory Society] and [https://www.itsoc.org/resources/surveys ITSOC Monographs, Surveys, and Reviews]
==编者推荐==
[[File:Last1.png|400px|thumb|right|[https://swarma.org/?p=13364 用神经学习模型计算海量实际网络中的节点中心性度量 | 论文速递1篇|集智俱乐部]]]
===集智文章推荐===
====[https://swarma.org/?p=21423 计算美学前沿速递：用信息论“重新发现”风景画艺术史]====
美术研究中的一个核心问题是，不同年代和流派的绘画作品，在组织架构上，是否有着相似之处？2020年10月发表在美国国家科学院院刊PNAS的论文中，研究者通过信息论和网络分析，对来自61个国家，1476名画家总计14912幅西方风景画的研究，证实了该假说。
<br/><br/>
====[https://swarma.org/?p=20253 Science前沿：用信息论解释动植物间的军备竞赛]====
在植物与植食性昆虫组成的生态系统中，不同物种在相互作用的过程中， 彼此适应，形成了一个相互影响的协同适应系统。近期Sicence的一项研究从气味信息的角度，讨论动植物协同进化中的军备竞赛，对研究生态网络内部的交流机制很有启发。同期的一篇相关评论文章对该话题进行了全新解答，本文是该评论文章的编译。
<br/>
----
本中文词条由[[用户:Pjhhh|Pjhhh]]、[[用户:Moonscar|Moonscar]]参与编译， [[用户:Qige96|Ricky]] 审校，[[用户:不是海绵宝宝|不是海绵宝宝]]、[[用户:唐糖糖|唐糖糖]]编辑，欢迎在讨论页面留言。
'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''
[[分类: 信息时代]] [[分类: 正规科学]] [[分类: 控制论]] [[分类: 计算机科学]]