275
个编辑
更改
跳到导航
跳到搜索
第38行：
第38行： − 在构建和优化模型的过程中，由于计算资源的限制，我们无法无限制地增加模型的大小。因此需要一个能够量化模型复杂度的指标，以便监控和调整模型的大小，确保模型能匹配已有的计算资源。+ 第54行：
第54行： − +
→模型复杂度的量化指标
== 模型复杂度的量化指标 ==
== 模型复杂度的量化指标 ==
智能体在构建和优化内部模型的过程中，由于计算资源的限制，不能无限制地增加模型的大小。因此我们需要一个能够量化模型复杂度的指标，以便监控和调整模型的大小，确保模型能匹配已有的计算资源。
=== 柯氏复杂度 ===
=== 柯氏复杂度 ===
其中<math> \Pr(s^L)</math>是[math]\displaystyle{ s^L }[/math]的边际分布，[math]\displaystyle{ H }[/math]是[[Shannon熵]]，也就是[[自信息]]的平均值，在建模框架中，[math]\displaystyle{ h_μ }[/math]是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大，在这里可以解释为智能体在预测序列[math]\displaystyle{ s^L }[/math]的后续符号时的误差率。
其中<math> \Pr(s^L)</math>是[math]\displaystyle{ s^L }[/math]的边际分布，[math]\displaystyle{ H }[/math]是[[Shannon熵]]，也就是[[自信息]]的平均值，在建模框架中，[math]\displaystyle{ h_μ }[/math]是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大，在这里可以解释为智能体在预测序列[math]\displaystyle{ s^L }[/math]的后续符号时的误差率。我们可以用香农熵率来监测智能体对外部环境的适应能力，智能体的香农熵率越接近外部环境的香农熵率，说明它的适应能力就越强。
=== '''统计复杂度''' ===
=== '''统计复杂度''' ===