91
个编辑
更改
跳到导航
跳到搜索
第165行：
第165行： − +
无编辑摘要
==== 度量指标假说 ====
==== 度量指标假说 ====
度量指标假说对涌现能力的存在性提出挑战，认为所谓"涌现"可能是评估方式人为造成的假象。斯坦福大学的Schaeffer等人系统论证了这一观点，指出92%的涌现现象出现在非线性或不连续的指标下，如Multiple Choice Grade(多选评分)和Exact String Match(精确字符串匹配)<ref>Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。
度量指标假说对涌现能力的存在性提出挑战，认为所谓"涌现"可能是评估方式人为造成的假象。斯坦福大学的Schaeffer等人系统论证了这一观点，指出92%的涌现现象出现在非线性或不连续的指标下，如Multiple Choice Grade(多选评分)和Exact String Match(精确字符串匹配<ref name=":mirage"/>。
该假说的数学基础在于指标对错误的放大效应。假设模型单标记错误率随规模平滑下降(遵循幂律)，但准确率要求所有标记完全正确，其概率随序列长度几何级数下降。这种非线性转换可使性能曲线在特定规模下呈现突变。例如，在L位加法任务中，当使用精确匹配指标时，模型表现出明显的"涌现"能力，而改用token编辑距离等线性指标后，性能提升变得平滑连续。
该假说的数学基础在于指标对错误的放大效应。假设模型单标记错误率随规模平滑下降(遵循幂律)，但准确率要求所有标记完全正确，其概率随序列长度几何级数下降。这种非线性转换可使性能曲线在特定规模下呈现突变。例如，在L位加法任务中，当使用精确匹配指标时，模型表现出明显的"涌现"能力，而改用token编辑距离等线性指标后，性能提升变得平滑连续。