697
个编辑
更改
→转移熵
[[转移熵]]（Transfer Entropy，TE）量化过程<math>J</math>对系统<math>I</math>的转移概率的影响<ref name=schreiber_2000>{{cite journal |last1=Schreiber|first1=Thomas|title=Measuring information transfer|journal=Physical Review Letters|volume=85|issue=2|pages=461|year=2000|url=https://doi.org/10.1103/PhysRevLett.85.461}}</ref>。它衡量，假设变量<math>I</math>的当前状态<math>i_{n + 1}</math>与变量<math>J</math>的过去状态<math>j_{n}^{(l)}</math>独立时（即假设其分布为<math>q = p(i_{n + 1}|i_{n}^{(k)})</math>而不是<math>p(i_{n + 1}|i_{n}^{(k)}, j_{n}^{(l)})</math>）需要付出的信息量的多少。这里<math>k</math>和<math>l</math>分别表示<math>I</math>和<math>J</math>的过去状态的数量，过程<math>I</math>的任何状态<math>i_{n + 1}</math>的概率分布依赖于这些过去状态。数学上，
[[转移熵]]（Transfer Entropy，TE）量化过程<math>J</math>对系统<math>I</math>的转移概率的影响<ref name=schreiber_2000>{{cite journal |last1=Schreiber|first1=Thomas|title=Measuring information transfer|journal=Physical Review Letters|volume=85|issue=2|pages=461|year=2000|url=https://doi.org/10.1103/PhysRevLett.85.461}}</ref>。它衡量，假设变量<math>I</math>的当前状态<math>i_{n + 1}</math>与变量<math>J</math>的过去状态<math>j_{n}^{(l)}</math>独立时（即假设其分布为<math>q = p(i_{n + 1}|i_{n}^{(k)})</math>而不是<math>p(i_{n + 1}|i_{n}^{(k)}, j_{n}^{(l)})</math>）需要付出的信息量的多少。这里<math>k</math>和<math>l</math>分别表示<math>I</math>和<math>J</math>的过去状态的数量，过程<math>I</math>的任何状态<math>i_{n + 1}</math>的概率分布依赖于这些过去状态。数学上，
<math>TE_{J \to I}=\sum_{i, j}(p(i_{n + 1}, i_{n}^{(k)}, j_{n}^{(l)})\log\frac{p(i_{n + 1}, i_{n}^{(k)}, j_{n}^{(l)})}{p(i_{n + 1}, i_{n}^{(k)})})</math>（4）
{{NumBlk|:|<math>TE_{J \to I}=\sum_{i, j}(p(i_{n + 1}, i_{n}^{(k)}, j_{n}^{(l)})\log\frac{p(i_{n + 1}, i_{n}^{(k)}, j_{n}^{(l)})}{p(i_{n + 1}, i_{n}^{(k)})})</math>|{{EquationRef|4}}}}
如果<math>I</math>和<math>J</math>是独立过程，那么对于所有<math>n</math>、<math>k</math>、<math>l</math>，<math>n, k, l \in \mathbb {N} </math>，<math>p(i_{n + 1}, i_{n}^{(k)}, j_{n}^{(l)}) = p(i_{n + 1}, i_{n}^{(k)})</math>，因此上述状态数量将为零。直观地说，<math>TE_{J \to I}</math>捕捉了从过程<math>J</math>到过程<math>I</math>的信息流。一般来说，<math>TE_{J \to I} \neq TE_{I \to J}</math>。
如果<math>I</math>和<math>J</math>是独立过程，那么对于所有<math>n</math>、<math>k</math>、<math>l</math>，<math>n, k, l \in \mathbb {N} </math>，<math>p(i_{n + 1}, i_{n}^{(k)}, j_{n}^{(l)}) = p(i_{n + 1}, i_{n}^{(k)})</math>，因此上述状态数量将为零。直观地说，<math>TE_{J \to I}</math>捕捉了从过程<math>J</math>到过程<math>I</math>的信息流。一般来说，<math>TE_{J \to I} \neq TE_{I \to J}</math>。