697
个编辑
更改
→香农熵率
=== 香农熵率 ===
=== 香农熵率 ===
上文中提到的随机性可以用香农熵率（Shannon Entropy Rate）来度量，香农熵率是信息论中的一个概念，它是[[香农信源编码定理|香农熵]]的扩展，主要用于描述时间序列（如[[随机过程]]）的平均信息量。香农熵率是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大。如果环境信息生成的离散符号序列记作[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，香农熵率记作[math]\displaystyle{ h_μ }[/math]，它与柯式复杂度[math]\displaystyle{ K(x) }[/math]的关系为：
上文中提到的随机性可以用香农熵率（Shannon Entropy Rate）来度量，香农熵率是信息论中的一个概念，它是[[香农熵]]的扩展，主要用于描述时间序列（如[[随机过程]]）的平均信息量。香农熵率是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大。如果环境信息生成的离散符号序列记作[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，香农熵率记作[math]\displaystyle{ h_μ }[/math]，它与柯式复杂度[math]\displaystyle{ K(x) }[/math]的关系为：
<math>
<math>
如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h_μ L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h_μ }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。
如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h_μ L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h_μ }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。
=== 因果态的主要性质 ===
=== 因果态的主要性质 ===
上图（a）为逻辑斯谛映射中统计复杂度<math>C_μ </math>与香农熵率<math>H(L)/L </math>的关系，三角形表示<math>(C_μ ,H(L)/L) </math>的大概位置，对应非线性参数<math>r</math>的 193 个取值，其中子序列长度<math>L=16 </math>，覆盖部分实验数据的粗实线是<math>C_μ =0 </math>时对<math>H(L)/L </math>得出的分析曲线。本图表现两个重要特征。第一个特征是熵的极值导致零复杂度，也就是说在<math>H(L)/L=0 </math>处最简单的周期过程和在<math>H(L)/L=1 </math>处最随机的过程在统计上都是简单的，它们都具有零复杂度，因为它们是由具有单一状态的斑图重构机器描述的。第二个特征是在两个极端情况之间，过程明显更为复杂，在临界熵值<math>H_c </math>附近出现明显峰值（此处<math>r=3.5699...</math>），<math>H(L)/L </math>小于<math>H_c </math>时数据集在呈周期性（包括在混沌区域也呈周期性的参数）的参数下产生，大于<math>H_c </math>时数据集在混沌的参数下产生。本图可以对照统计复杂度小节中的图（b）理解。
上图（a）为逻辑斯谛映射中统计复杂度<math>C_μ </math>与香农熵率<math>H(L)/L </math>的关系，三角形表示<math>(C_μ ,H(L)/L) </math>的大概位置，对应非线性参数<math>r</math>的 193 个取值，其中子序列长度<math>L=16 </math>，覆盖部分实验数据的粗实线是<math>C_μ =0 </math>时对<math>H(L)/L </math>得出的分析曲线。本图表现两个重要特征。第一个特征是熵的极值导致零复杂度，也就是说在<math>H(L)/L=0 </math>处最简单的周期过程和在<math>H(L)/L=1 </math>处最随机的过程在统计上都是简单的，它们都具有零复杂度，因为它们是由具有单一状态的斑图重构机器描述的。第二个特征是在两个极端情况之间，过程明显更为复杂，在临界熵值<math>H_c </math>附近出现明显峰值（此处<math>r=3.5699...</math>），<math>H(L)/L </math>小于<math>H_c </math>时数据集在呈周期性（包括在混沌区域也呈周期性的参数）的参数下产生，大于<math>H_c </math>时数据集在混沌的参数下产生。本图可以对照统计复杂度小节中的图（b）理解。
上图（b）为逻辑斯谛映射中在<math>r=3.5699...</math>处，<math>L </math>与隐状态数量<math>\left|\mathbf{V}\right| </math>的关系，序列的长度<math>L=64 </math>时，<math>\left|\mathbf{V}\right|=196 </math>，从图中可以看出，随着<math>L </math>的增长，<math>\left|\mathbf{V}\right| </math>的值是发散的，若要用有限的<math>L </math>来描述<math>\left|\mathbf{V}\right| </math>，就需要将模型进行重构，升级为描述能力更强的模型。
上图（b）为逻辑斯谛映射中在<math>H_c </math>（<math>r=3.5699...</math>）处，<math>L </math>与隐状态数量<math>\left|\mathbf{V}\right| </math>的关系，序列的长度<math>L=64 </math>时，<math>\left|\mathbf{V}\right|=196 </math>，从图中可以看出，随着<math>L </math>的增长，<math>\left|\mathbf{V}\right| </math>的值是发散的，若要用有限的<math>L </math>来描述<math>\left|\mathbf{V}\right| </math>，就需要将模型进行重构，升级为描述能力更强的模型。
=== 模型升级 ===
=== 模型升级 ===