打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
大语言模型的涌现
(查看源代码)
2025年3月28日 (五) 20:16的版本
添加1字节
、
2025年3月28日 (五) 20:16
→基于下游任务的涌现的影响因素及争议
第92行:
第92行:
[[文件:LLM-EMERGENCE-mirage-fig2c.png|边框|无框]]
[[文件:LLM-EMERGENCE-mirage-fig2c.png|边框|无框]]
−
而如果我们把上面的正确率指标换成线性的指标,比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化(如下图所示),即,未能观察到涌现现象。
+
而如果我们把上面的正确率指标换成线性的指标,比如token编辑距离(Token Edit Distance),则会得到模型能力随模型规模平滑、连续和可预测的变化(如下图所示),即,未能观察到涌现现象。
[[文件:LLM-EMERGENCE-mirage-fig2e.png|缩略图|替代=|无]]同样地,如果研究者选择非连续的度量,就会发现涌现现象;如果换用连续度量,就又会清除涌现现象。
−
同样地,如果研究者选择非连续的度量,就会发现涌现现象;如果换用连续度量,就又会清除涌现现象。总之,有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释
<ref name=":mirage" />:
+
总之,有研究者认为突变且不可预测的模型能力提升可以被如下因素所解释
<ref name=":mirage" />:
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标,导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下,新指标呈现出突变和不可预测的曲线;
1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标,导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下,新指标呈现出突变和不可预测的曲线;
第100行:
第100行:
2. 在较小的参数范围内,由于分辨率(Resolution,在此被定义为可测的最小区间)不足,无法估计模型性能;
2. 在较小的参数范围内,由于分辨率(Resolution,在此被定义为可测的最小区间)不足,无法估计模型性能;
−
3. 在较大参数范围内采样不足。
[[文件:LLM-EMERGENCE-mirage-fig2e.png|缩略图|替代=|无]]
+
3. 在较大参数范围内采样不足。
+
嘉树
336
个编辑