更改

=== 信息几何与参数流 ===

=== 信息几何与参数流 ===

给定任意数据集，可构建由假设模型生成的似然函数来描述该数据集。最大似然估计即为识别使该似然函数最大化的参数集，并将其作为对底层模型的最佳推断。对数似然相对于参数的二阶导数自然形成度量参数空间距离的度量结构，能够捕捉似然偏离最大值的变化方式。这种推断的几何化（称为信息几何[162]）使得在参数流的统一框架下重构统计（贝叶斯）推断与重整化成为可能[163]。

给定任意数据集，可构建由假设模型生成的似然函数来描述该数据集。最大似然估计即为识别使该似然函数最大化的参数集，并将其作为对底层模型的最佳推断。对数似然相对于参数的二阶导数自然形成度量参数空间距离的度量结构，能够捕捉似然偏离最大值的变化方式。这种推断的几何化（称为信息几何<ref name="Amari_geometry">{{cite journal|author1=Amari S.-i.|title=Information Geometry and Its Applications|journal=Springer|year=2016}}</ref>）使得在参数流的统一框架下重构统计（贝叶斯）推断与重整化成为可能<ref name="Berman_Bayesian">{{cite journal|author1=Berman D. S|author2=Klinger M. S|author3=Stapleton A. G.|title=Bayesian renormalization|journal=Mach. Learn. Sci. Tech.|year=2023|volume=4}}</ref>。

基于给定数据集构建的似然对应的 Fisher 信息度量具有显著的特征值层级结构。该层级意味着：最大特征值对应参数的微小变化对观测结果影响最大（图4），其意义直接映射至重整化群意义上的参数相关性概念——最相关参数对应最大特征值[164]。这解释了为何在系统信息有限时，简单模型常能异常有效地捕捉大部分相关特征。在训练用于手写数字识别的神经网络中（图4）， Fisher 信息的最大特征值对应的集体权重几乎完全决定训练网络的测试精度，其余参数与权重组合基本无关。轻量化的模型框架[165]也能够通过 Fisher 信息特征值的层级结构识别这些参数。

基于给定数据集构建的似然对应的 Fisher 信息度量具有显著的特征值层级结构。该层级意味着：最大特征值对应参数的微小变化对观测结果影响最大（图4），其意义直接映射至重整化群意义上的参数相关性概念——最相关参数对应最大特征值<ref name="Raju_information">{{cite journal|author1=Raju A|author2=Machta B. B|author3=Sethna J. P.|title=Information loss under coarse graining: a geometric approach|journal=Phys. Rev. E|year=2018|volume=98}}</ref>。这解释了为何在系统信息有限时，简单模型常能异常有效地捕捉大部分相关特征。在训练用于手写数字识别的神经网络中（图4）， Fisher 信息的最大特征值对应的集体权重几乎完全决定训练网络的测试精度，其余参数与权重组合基本无关。轻量化的模型框架<ref name="Machta_compression">{{cite journal|author1=Machta B. B|author2=Chachra R|author3=Transtrum M. K|author4=Sethna J. P.|title=Parameter space compression underlies emergent theories and predictive models|journal=Science|year=2013|volume=342}}</ref>也能够通过 Fisher 信息特征值的层级结构识别这些参数。

当对网络数据集或模型嵌入的模拟的实现进行不断的粗粒化后，粗粒化的似然函数产生的部分特征值相关性增强而另一部分的相关性减弱，此过程与重整化群相关性精确对应。基于此，仅通过研究数据不断粗粒化下的参数流，即可系统推断不同相与控制参数的存在，此处唯一的假设是粗粒化方案选择、底层的几何/系综随机性的参数化方式及其先验分布的设定。该方法已用于识别异质性化学系统的不同相[166]，在复杂网络背景下亦具研究前景。

当对网络数据集或模型嵌入的模拟的实现进行不断的粗粒化后，粗粒化的似然函数产生的部分特征值相关性增强而另一部分的相关性减弱，此过程与重整化群相关性精确对应。基于此，仅通过研究数据不断粗粒化下的参数流，即可系统推断不同相与控制参数的存在，此处唯一的假设是粗粒化方案选择、底层的几何/系综随机性的参数化方式及其先验分布的设定。该方法已用于识别异质性化学系统的不同相<ref name="Har-Shemesh_phase">{{cite journal|author1=Har-Shemesh O|author2=Quax R|author3=Hoekstra A. G|author4=Sloot P. M. A.|title=Information geometric analysis of phase transitions in complex patterns: the case of the Gray-Scott reaction--diffusion model|journal=J. Stat. Mech.|year=2016|volume=4}}</ref>，在复杂网络背景下亦具研究前景。

== 参考文献 ==

== 参考文献 ==