− | 智能体在构建和优化内部模型的过程中,由于计算资源的限制,不能无限制地增加模型的大小。因此我们需要一个能够量化模型复杂度的指标,以便监控和调整模型的大小,确保模型能匹配已有的计算资源。同时我们可以用香农熵率来监测智能体对外部环境的适应能力,智能体的香农熵率越接近外部环境的香农熵率,说明它的适应能力就越强,但也会消耗更多的计算资源。建模的过程就是不断平衡复杂度和香农熵率的过程。
| + | 智能体在构建和优化内部模型的过程中,由于计算资源的限制,不能无限制地增加模型的大小。因此我们需要一个能够量化模型复杂度的指标,以便监控和调整模型的大小,确保模型能匹配已有的计算资源。 |
− | 香农熵率(Shannon Entropy Rate)是信息论中的一个概念,通常用来衡量一个[[信源]]或[[随机过程]]在单位时间内传输的[[信息量]],或者说是该信源的不确定性和复杂性的度量。它是香农熵的扩展,主要用于描述时间序列(如随机过程)的平均信息量。在计算力学中用香农熵率来监测智能体对外部环境的适应能力,智能体的香农熵率越接近外部环境的香农熵率,说明它的适应能力就越强。如果待测对象是由信源(例如[[马尔可夫链]])生成的离散符号序列[math]\displaystyle{ s^L }[/math] ,[math]\displaystyle{ L }[/math]为序列的长度,柯式复杂度与香农熵率[math]\displaystyle{ h_μ }[/math]的关系为: | + | 香农熵率(Shannon Entropy Rate)是信息论中的一个概念,通常用来衡量一个[[信源]]或[[随机过程]]在单位时间内传输的[[信息量]],或者说是该信源的不确定性和复杂性的度量。它是香农熵的扩展,主要用于描述时间序列(如随机过程)的平均信息量。如果待测对象是由信源(例如[[马尔可夫链]])生成的离散符号序列[math]\displaystyle{ s^L }[/math] ,[math]\displaystyle{ L }[/math]为序列的长度,柯式复杂度与香农熵率[math]\displaystyle{ h_μ }[/math]的关系为: |