91
个编辑
更改
→实验验证
Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。
Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。
实验中训练模型执行如下三种任务：
* 自由生成（Free generation）：模型需生成一个完全合法的句子，即同时符合语法规则与类型约束。
* 自由生成（Free generation）：模型需生成一个完全合法的句子，即同时符合语法规则与类型约束。
| 打乱复原（Unscr） || [library, walked, ..., to, slowly] || tall man slowly walked to small library.
| 打乱复原（Unscr） || [library, walked, ..., to, slowly] || tall man slowly walked to small library.
|}
|}
设模型输入为
Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。
Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。