91
个编辑
更改
→渗流模型
|}
|}
设模型输入为
设模型输入为<math>x</math>，输出为<math>f\left ( x \right ) </math>，定义如下评估指标。
* 语法性/类型检查（Grammaticality / Type Check）：用于自由生成任务
* 完全匹配 / Token 准确率（Exact Match / Per Token Accuracy）：用于打乱复原任务
* 条件满足率（Conditions Satisfied）：用于条件生成任务
* 合法 token 的平均概率（Avg. Probability of Valid Tokens）：用于描述型句子的自由生成与打乱复原任务
Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。
Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。
'''阶段1：语法获取'''
'''阶段1：语法获取'''
最初阶段，模型迅速学习生成符合语法规则的句子（该过程可由“语法性准确率”指标衡量），在大约 100 次迭代内，模型就能生成高度语法正确的句子。但在这一阶段，打乱复原（unscrambling）和条件生成（conditional generation）等任务的表现仍然很差。不过，正当语法性显著提升时，逐 token 准确率开始提升，表明模型对一种广义结构（即语法）的掌握，正在对其他能力的学习产生影响。
最初阶段，模型迅速学习生成符合语法规则的句子（该过程可由“语法性准确率”指标衡量），在大约 100 次迭代内，模型就能生成高度语法正确的句子。但在这一阶段，打乱复原（unscrambling）和条件生成（conditional generation）等任务的表现仍然很差。不过，正当语法性显著提升时，token 准确率开始提升，表明模型对一种广义结构（即语法）的掌握，正在对其他能力的学习产生影响。
'''阶段2：关系性类型约束的获取'''
'''阶段2：关系性类型约束的获取'''