863
个编辑
更改
跳到导航
跳到搜索
第263行：
第263行： − + − − − − − − − − − − − − − − − − − − − − − − 第322行：
第300行： − − − + − +
→尾部边界
对于''k''≤''np''，可以得出累积分布函数左尾的上界<math>F(k;n,p)=Pr(X \le k)</math>，即最多存在''k''次成功的概率。由于<math>Pr(X \ge k) = F(n-k;n,1-p) </math>，这些界限也可以看作是''k''≥''np''的累积分布函数右尾的边界。
对于''k''≤''np''，可以得出累积分布函数左尾的上界<math>F(k;n,p)=Pr(X \le k)</math>，即最多存在''k''次成功的概率。由于<math>Pr(X \ge k) = F(n-k;n,1-p) </math>，这些界限也可以看作是''k''≥''np''的累积分布函数右尾的边界。
<math>F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
:<math>F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
<font color="#ff8000">霍夫丁不等式 Hoeffding's inequality </font>得到简单的边界
<font color="#ff8000">霍夫丁不等式 Hoeffding's inequality </font>得到简单的边界
:<math> F(k;n,p) \leq \exp\left(-2 n\left(p-\frac{k}{n}\right)^2\right), \!</math>
:<math> F(k;n,p) \leq \exp\left(-2 n\left(p-\frac{k}{n}\right)^2\right), \!</math>
然而，这并不是很严格。特别是，当''p''=1时，有''F''(''k'';''n''，''p'') = 0(对于固定的''k''，''n''与''k'' < ''n'')，但是Hoeffding的约束评价为一个正的常数。
然而，这并不是很严格。特别是，当''p''=1时，有''F''(''k'';''n''，''p'') = 0(对于固定的''k''，''n''与''k'' < ''n'')，但是Hoeffding的约束评价为一个正的常数。
当 n 已知时，参数 p 可以使用成功的比例来估计:<math> \widehat{p} = \frac{x}{n}</math>。可以利用<font color="#ff8000">极大似然估计 maximum likelihood estimator </font>和<font color="#ff8000"> 矩方法 method of moments</font>来求出该估计量。<font color="#ff8000">Lehmann-scheffé 定理</font>证明了该估计量是无偏的一致的且方差最小的，因为该估计量是基于一个极小<font color="#ff8000">充分完备统计量 sufficient and complete statistic</font>(即: x).它在概率和<font color="#ff8000">均方误差 MSE</font>方面也是一致的。
当 n 已知时，参数 p 可以使用成功的比例来估计:<math> \widehat{p} = \frac{x}{n}</math>。可以利用<font color="#ff8000">极大似然估计 maximum likelihood estimator </font>和<font color="#ff8000"> 矩方法 method of moments</font>来求出该估计量。<font color="#ff8000">Lehmann-scheffé 定理</font>证明了该估计量是无偏的一致的且方差最小的，因为该估计量是基于一个极小<font color="#ff8000">充分完备统计量 sufficient and complete statistic</font>(即: x).它在概率和<font color="#ff8000">均方误差 MSE</font>方面也是一致的。
可以从<font color="#ff8000">切尔诺夫界 Chernoff bound</font>中得到一个更清晰的边界。
可以从<font color="#ff8000">切尔诺夫界 Chernoff bound</font>中得到一个更清晰的边界。
利用 Beta分布作为<font color="#ff8000">共轭先验分布 conjugate prior distribution </font>时，也存在p的封闭形式的<font color="#ff8000">贝叶斯估计 Bayes estimator </font>。当使用一个通用<math>\operatorname{Beta}(\alpha, \beta)</math>作为先验时，后验均值估计量为: <math>\widehat{p_b} = \frac{x+\alpha}{n+\alpha+\beta}</math>。贝叶斯估计是渐近有效的，当样本容量趋近无穷大(n →∞)时，它趋近极大似然估计解。贝叶斯估计是有偏的(偏多少取决于先验) ，可接受的且一致的概率。
利用 Beta分布作为<font color="#ff8000">共轭先验分布 conjugate prior distribution </font>时，也存在p的封闭形式的<font color="#ff8000">贝叶斯估计 Bayes estimator </font>。当使用一个通用<math>\operatorname{Beta}(\alpha, \beta)</math>作为先验时，后验均值估计量为: <math>\widehat{p_b} = \frac{x+\alpha}{n+\alpha+\beta}</math>。贝叶斯估计是渐近有效的，当样本容量趋近无穷大(n →∞)时，它趋近极大似然估计解。贝叶斯估计是有偏的(偏多少取决于先验) ，可接受的且一致的概率。
:<math> F(k;n,p) \leq \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right) </math>
:<math> F(k;n,p) \leq \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right) </math>
对于使用标准均匀分布作为非信息性的先验概率的特殊情况(<math>\operatorname{Beta}(\alpha=1, \beta=1) = U(0,1)</math>)，后验均值估计变为<math>\widehat{p_b} = \frac{x+1}{n+2}</math> (后验模式应只能得出标准估计量)。这种方法被称为<font color="#ff8000">继承法则 the rule of succession </font>，它是18世纪皮埃尔-西蒙·拉普拉斯 Pierre-Simon Laplace提出的。
对于使用标准均匀分布作为非信息性的先验概率的特殊情况(<math>\operatorname{Beta}(\alpha=1, \beta=1) = U(0,1)</math>)，后验均值估计变为<math>\widehat{p_b} = \frac{x+1}{n+2}</math> (后验模式应只能得出标准估计量)。这种方法被称为<font color="#ff8000">继承法则 the rule of succession </font>，它是18世纪皮埃尔-西蒙·拉普拉斯 Pierre-Simon Laplace提出的。
其中''D''(''a'' || ''p'')是参数为a和p的相对熵，即Bernoulli(a)和Bernoulli(p)概率分布的差值：
其中''D''(''a'' || ''p'')是参数为a和p的相对熵，即Bernoulli(a)和Bernoulli(p)概率分布的差值：
当估计用非常罕见的事件和一个小的n (例如，如果x = 0) ，那么使用标准估计会得到<math>\widehat{p} = 0</math>，这有时是不现实的和我们不希望看到的。在这种情况下，有各种可供选择的估计值。一种方法是使用贝叶斯估计，得到:<math> \widehat{p_b} = \frac{1}{n+2}</math>)。另一种方法是利用从3个规则获得的置信区间的上界: <math>\widehat{p_{\text{rule of 3}}} = \frac{3}{n})</math>
当估计用非常罕见的事件和一个小的n (例如，如果x = 0) ，那么使用标准估计会得到<math>\widehat{p} = 0</math>，这有时是不现实的和我们不希望看到的。在这种情况下，有各种可供选择的估计值。一种方法是使用贝叶斯估计，得到:<math> \widehat{p_b} = \frac{1}{n+2}</math>)。另一种方法是利用从3个规则获得的置信区间的上界: <math>\widehat{p_{\text{rule of 3}}} = \frac{3}{n})</math>
:<math> D(a\parallel p)=(a)\log\frac{a}{p}+(1-a)\log\frac{1-a}{1-p}. \!</math>
:<math> D(a\parallel p)=(a)\log\frac{a}{p}+(1-a)\log\frac{1-a}{1-p}. \!</math>
渐近地，这个边界是相当严格的；详见<ref>{{cite journal |first1=R. |last1=Arratia |first2=L. |last2=Gordon |title=Tutorial on large deviations for the binomial distribution |journal=Bulletin of Mathematical Biology |volume=51 |issue=1 |year=1989 |pages=125–131 |doi=10.1007/BF02458840 |pmid=2706397 |s2cid=189884382 }}</ref>。
渐近地，这个边界是相当严格的；详见<ref>{{cite journal |first1=R. |last1=Arratia |first2=L. |last2=Gordon |title=Tutorial on large deviations for the binomial distribution |journal=Bulletin of Mathematical Biology |volume=51 |issue=1 |year=1989 |pages=125–131 |doi=10.1007/BF02458840 |pmid=2706397 |s2cid=189884382 }}</ref>。
即使对于非常大的 n 值，均值的实际分布是非正态的。针对这一问题，提出了几种估计置信区间的方法。
即使对于非常大的 n 值，均值的实际分布是非正态的。针对这一问题，提出了几种估计置信区间的方法。
:<math> F(k;n,p) \geq \frac1{\sqrt{2n}} \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right).</math>
:<math> F(k;n,p) \geq \frac1{\sqrt{2n}} \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right).</math>
当''p'' = 1/2并且''n''为偶数，''k'' ≥ 3''n''/8时, 可以使分母为常数
当''p'' = 1/2并且''n''为偶数，''k'' ≥ 3''n''/8时, 可以使分母为常数
<math> F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
:<math> F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
<math>\widehat{p\,} \pm z \sqrt{ \frac{ \widehat{p\,} ( 1 -\widehat{p\,} )}{ n } }</math>
:<math>\widehat{p\,} \pm z \sqrt{ \frac{ \widehat{p\,} ( 1 -\widehat{p\,} )}{ n } }</math>
==统计推断==
==统计推断==