更改

删除21字节 、 2021年8月8日 (日) 22:22
第263行: 第263行:  
对于''k''≤''np'',可以得出累积分布函数左尾的上界<math>F(k;n,p)=Pr(X \le k)</math>,即最多存在''k''次成功的概率。由于<math>Pr(X \ge k) = F(n-k;n,1-p) </math>,这些界限也可以看作是''k''≥''np''的累积分布函数右尾的边界。
 
对于''k''≤''np'',可以得出累积分布函数左尾的上界<math>F(k;n,p)=Pr(X \le k)</math>,即最多存在''k''次成功的概率。由于<math>Pr(X \ge k) = F(n-k;n,1-p) </math>,这些界限也可以看作是''k''≥''np''的累积分布函数右尾的边界。
   −
<math>F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
+
:<math>F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
 
  −
 
      
<font color="#ff8000">霍夫丁不等式 Hoeffding's inequality </font>得到简单的边界
 
<font color="#ff8000">霍夫丁不等式 Hoeffding's inequality </font>得到简单的边界
  −
      
:<math> F(k;n,p) \leq \exp\left(-2 n\left(p-\frac{k}{n}\right)^2\right), \!</math>
 
:<math> F(k;n,p) \leq \exp\left(-2 n\left(p-\frac{k}{n}\right)^2\right), \!</math>
  −
      
然而,这并不是很严格。特别是,当''p''=1时,有''F''(''k'';''n'',''p'') = 0(对于固定的''k'',''n''与''k''&nbsp;<&nbsp;''n''),但是Hoeffding的约束评价为一个正的常数。
 
然而,这并不是很严格。特别是,当''p''=1时,有''F''(''k'';''n'',''p'') = 0(对于固定的''k'',''n''与''k''&nbsp;<&nbsp;''n''),但是Hoeffding的约束评价为一个正的常数。
    
当 n 已知时,参数 p 可以使用成功的比例来估计:<math> \widehat{p} = \frac{x}{n}</math>。可以利用<font color="#ff8000">极大似然估计 maximum likelihood estimator </font>和<font color="#ff8000"> 矩方法 method of moments</font>来求出该估计量。<font color="#ff8000">Lehmann-scheffé 定理</font>证明了该估计量是无偏的一致的且方差最小的,因为该估计量是基于一个极小<font color="#ff8000">充分完备统计量 sufficient and complete statistic</font>(即: x).它在概率和<font color="#ff8000">均方误差 MSE</font>方面也是一致的。
 
当 n 已知时,参数 p 可以使用成功的比例来估计:<math> \widehat{p} = \frac{x}{n}</math>。可以利用<font color="#ff8000">极大似然估计 maximum likelihood estimator </font>和<font color="#ff8000"> 矩方法 method of moments</font>来求出该估计量。<font color="#ff8000">Lehmann-scheffé 定理</font>证明了该估计量是无偏的一致的且方差最小的,因为该估计量是基于一个极小<font color="#ff8000">充分完备统计量 sufficient and complete statistic</font>(即: x).它在概率和<font color="#ff8000">均方误差 MSE</font>方面也是一致的。
      
可以从<font color="#ff8000">切尔诺夫界 Chernoff bound</font>中得到一个更清晰的边界。
 
可以从<font color="#ff8000">切尔诺夫界 Chernoff bound</font>中得到一个更清晰的边界。
      
利用 Beta分布作为<font color="#ff8000">共轭先验分布 conjugate prior distribution </font>时,也存在p的封闭形式的<font color="#ff8000">贝叶斯估计 Bayes estimator </font>。当使用一个通用<math>\operatorname{Beta}(\alpha, \beta)</math>作为先验时,后验均值估计量为: <math>\widehat{p_b} = \frac{x+\alpha}{n+\alpha+\beta}</math>。贝叶斯估计是渐近有效的,当样本容量趋近无穷大(n →∞)时,它趋近极大似然估计解。贝叶斯估计是有偏的(偏多少取决于先验) ,可接受的且一致的概率。
 
利用 Beta分布作为<font color="#ff8000">共轭先验分布 conjugate prior distribution </font>时,也存在p的封闭形式的<font color="#ff8000">贝叶斯估计 Bayes estimator </font>。当使用一个通用<math>\operatorname{Beta}(\alpha, \beta)</math>作为先验时,后验均值估计量为: <math>\widehat{p_b} = \frac{x+\alpha}{n+\alpha+\beta}</math>。贝叶斯估计是渐近有效的,当样本容量趋近无穷大(n →∞)时,它趋近极大似然估计解。贝叶斯估计是有偏的(偏多少取决于先验) ,可接受的且一致的概率。
  −
  −
      
:<math> F(k;n,p) \leq \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right)  </math>
 
:<math> F(k;n,p) \leq \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right)  </math>
    
对于使用标准均匀分布作为非信息性的先验概率的特殊情况(<math>\operatorname{Beta}(\alpha=1, \beta=1) = U(0,1)</math>),后验均值估计变为<math>\widehat{p_b} = \frac{x+1}{n+2}</math> (后验模式应只能得出标准估计量)。这种方法被称为<font color="#ff8000">继承法则 the rule of succession </font>,它是18世纪皮埃尔-西蒙·拉普拉斯 Pierre-Simon Laplace提出的。
 
对于使用标准均匀分布作为非信息性的先验概率的特殊情况(<math>\operatorname{Beta}(\alpha=1, \beta=1) = U(0,1)</math>),后验均值估计变为<math>\widehat{p_b} = \frac{x+1}{n+2}</math> (后验模式应只能得出标准估计量)。这种方法被称为<font color="#ff8000">继承法则 the rule of succession </font>,它是18世纪皮埃尔-西蒙·拉普拉斯 Pierre-Simon Laplace提出的。
  −
  −
      
其中''D''(''a'' || ''p'')是参数为a和p的相对熵,即Bernoulli(a)和Bernoulli(p)概率分布的差值:
 
其中''D''(''a'' || ''p'')是参数为a和p的相对熵,即Bernoulli(a)和Bernoulli(p)概率分布的差值:
    
当估计用非常罕见的事件和一个小的n (例如,如果x = 0) ,那么使用标准估计会得到<math>\widehat{p} = 0</math>,这有时是不现实的和我们不希望看到的。在这种情况下,有各种可供选择的估计值。一种方法是使用贝叶斯估计,得到:<math> \widehat{p_b} = \frac{1}{n+2}</math>)。另一种方法是利用从3个规则获得的置信区间的上界: <math>\widehat{p_{\text{rule of 3}}} = \frac{3}{n})</math>
 
当估计用非常罕见的事件和一个小的n (例如,如果x = 0) ,那么使用标准估计会得到<math>\widehat{p} = 0</math>,这有时是不现实的和我们不希望看到的。在这种情况下,有各种可供选择的估计值。一种方法是使用贝叶斯估计,得到:<math> \widehat{p_b} = \frac{1}{n+2}</math>)。另一种方法是利用从3个规则获得的置信区间的上界: <math>\widehat{p_{\text{rule of 3}}} = \frac{3}{n})</math>
  −
  −
      
:<math> D(a\parallel p)=(a)\log\frac{a}{p}+(1-a)\log\frac{1-a}{1-p}. \!</math>
 
:<math> D(a\parallel p)=(a)\log\frac{a}{p}+(1-a)\log\frac{1-a}{1-p}. \!</math>
  −
      
渐近地,这个边界是相当严格的;详见<ref>{{cite journal |first1=R. |last1=Arratia |first2=L. |last2=Gordon |title=Tutorial on large deviations for the binomial distribution |journal=Bulletin of Mathematical Biology |volume=51 |issue=1 |year=1989 |pages=125–131 |doi=10.1007/BF02458840 |pmid=2706397 |s2cid=189884382 }}</ref>。
 
渐近地,这个边界是相当严格的;详见<ref>{{cite journal |first1=R. |last1=Arratia |first2=L. |last2=Gordon |title=Tutorial on large deviations for the binomial distribution |journal=Bulletin of Mathematical Biology |volume=51 |issue=1 |year=1989 |pages=125–131 |doi=10.1007/BF02458840 |pmid=2706397 |s2cid=189884382 }}</ref>。
  −
  −
      
即使对于非常大的 n 值,均值的实际分布是非正态的。针对这一问题,提出了几种估计置信区间的方法。
 
即使对于非常大的 n 值,均值的实际分布是非正态的。针对这一问题,提出了几种估计置信区间的方法。
第322行: 第300行:     
:<math> F(k;n,p) \geq \frac1{\sqrt{2n}} \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right).</math>
 
:<math> F(k;n,p) \geq \frac1{\sqrt{2n}} \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right).</math>
  −
      
当''p''&nbsp;=&nbsp;1/2并且''n''为偶数,''k'' ≥ 3''n''/8时, 可以使分母为常数
 
当''p''&nbsp;=&nbsp;1/2并且''n''为偶数,''k'' ≥ 3''n''/8时, 可以使分母为常数
   −
<math> F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
+
:<math> F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
   −
<math>\widehat{p\,} \pm z \sqrt{ \frac{ \widehat{p\,} ( 1 -\widehat{p\,} )}{ n } }</math>
+
:<math>\widehat{p\,} \pm z \sqrt{ \frac{ \widehat{p\,} ( 1 -\widehat{p\,} )}{ n } }</math>
    
==统计推断==
 
==统计推断==
863

个编辑