863
个编辑
更改
无编辑摘要
|<math>\binom{n}{k} p^k q^{n-k}</math>
|<math>\binom{n}{k} p^k q^{n-k}</math>
|-
|-
| ‘’‘累积分布函数 ‘’‘
| ‘‘‘累积分布函数 ‘‘‘
| <math>I_{q}(n - k, 1 + k)</math>
| <math>I_{q}(n - k, 1 + k)</math>
|-
|-
| ‘’‘平均值’’‘
| ‘‘‘平均值’‘‘ =
| <math>np</math>
| <math>np</math>
|-
|-
| ‘’‘中位数’’‘
| ‘‘‘中位数’‘‘
| <math>\lfloor np \rfloor</math> 或 <math>\lceil np \rceil</math>
| <math>\lfloor np \rfloor</math> 或 <math>\lceil np \rceil</math>
|-
|-
| ‘’‘模’’‘
| ‘‘‘模’‘‘
| <math>\lfloor (n + 1)p \rfloor</math> 或 <math>\lceil (n + 1)p \rceil - 1</math>
| <math>\lfloor (n + 1)p \rfloor</math> 或 <math>\lceil (n + 1)p \rceil - 1</math>
|-
|-
| ‘’‘方差’’‘
| ‘‘‘方差’‘‘
| <math>npq</math>
| <math>npq</math>
|-
|-
| ‘’‘偏度’’‘
| ‘‘‘偏度’‘‘
| <math>\frac{q-p}{\sqrt{npq}}</math>
| <math>\frac{q-p}{\sqrt{npq}}</math>
|-
|-
| ‘’‘峰度’’‘
| ‘‘‘峰度’‘‘
| <math>\frac{1-6pq}{npq}</math>
| <math>\frac{1-6pq}{npq}</math>
|-
|-
| ‘’‘熵’’‘
| ‘‘‘熵’‘‘
| <math>\frac{1}{2} \log_2 (2\pi enpq) + O \left( \frac{1}{n} \right)</math>
| <math>\frac{1}{2} \log_2 (2\pi enpq) + O \left( \frac{1}{n} \right)</math>
|-
|-
| ‘’‘矩量母函数’’‘
| ‘‘‘矩量母函数’‘‘
| <math>(q + pe^t)^n</math>
| <math>(q + pe^t)^n</math>
|-
|-
| ‘’‘特征函数’’‘ =
| ‘‘‘特征函数’‘‘ =
| <math>(q + pe^{it})^n</math>
| <math>(q + pe^{it})^n</math>
|-
|-
| ‘’‘概率母函数’’‘
| ‘‘‘概率母函数’‘‘
| <math>G(z) = [q + pz]^n</math>
| <math>G(z) = [q + pz]^n</math>
|-
|-
| ‘’‘费雪信息量’’‘
| ‘‘‘费雪信息量’‘‘
| <math> g_n(p) = \frac{n}{pq} </math><br />(对于固定的 <math>n</math>)
| <math> g_n(p) = \frac{n}{pq} </math><br />(对于固定的 <math>n</math>)
|-
|-
[[File:Pascal's triangle; binomial distribution.svg.png|thumb|280px|与n和k相关的二项分布。一个8层(''n'' = 8)的高尔顿盒子中的一个球最终进入中央箱子(''k'' = 4)的概率是 <math>70/256</math>.|链接=Special:FilePath/Pascal's_triangle;_binomial_distribution.svg.png]]
[[File:Pascal's triangle; binomial distribution.svg.png|thumb|280px|与n和k相关的二项分布。一个8层(''n'' = 8)的高尔顿盒子中的一个球最终进入中央箱子(''k'' = 4)的概率是 <math>70/256</math>.|链接=Special:FilePath/Pascal's_triangle;_binomial_distribution.svg.png]]
在概率论和统计学中，参数为n和p的二项分布是''n''个独立实验序列中成功次数的’’‘离散概率分布 discrete probability distribution ‘’‘，每个实验结果是一个 是/否问题，每个实验都有布尔值结果: 成功/是/正确/1 (概率为 p)或失败/否/错误/0 (概率为 q = 1 − p)。
在概率论和统计学中，参数为n和p的二项分布是''n''个独立实验序列中成功次数的’‘‘离散概率分布 discrete probability distribution ‘‘‘，每个实验结果是一个 是/否问题，每个实验都有布尔值结果: 成功/是/正确/1 (概率为 p)或失败/否/错误/0 (概率为 q = 1 − p)。
一个单一的结果为成功或失败的实验也被称为’‘‘伯努利试验 Bernoulli trial’‘‘或’‘‘伯努利实验 Bernoulli experiment ‘‘‘，一系列伯努利实验结果被称为’‘‘伯努利过程 Bernoulli process ‘‘‘; 对于一个单一的实验，即''n'' = 1，这个二项分布是一个’‘‘伯努利分布 Bernoulli distribution’‘‘。二项分布是’‘‘统计显著性 statistical significance ‘‘‘的’‘‘二项检验 binomial test ‘‘‘的基础。
二项分布经常被用来模拟大小为n的样本中的成功数量，这些样本是从大小为N的种群中有放回地抽取的。如果抽样没有把抽取的个体放回总体中，抽样就不是独立的，所以得到的分布是一个’‘‘超几何分布 hypergeometric distribution ‘‘‘，而不是二项分布。然而，对于N远大于n的情况，二项分布仍然是一个很好的近似，并且被广泛使用。
概率质量函数
概率质量函数
一般来说，如果’‘‘随机变量 random variable ‘‘‘X服从参数''n'' [[∈]] [[natural number|ℕ]]且 ''p'' ∈ [0,1]的二项分布，记作''X'' ~ B(''n'', ''p'')。在n个独立的伯努利试验中获得k次成功的概率由概率质量函数给出:
:<math>f(k,n,p) = \Pr(k;n,p) = \Pr(X = k) = \binom{n}{k}p^k(1-p)^{n-k}</math>
:<math>f(k,n,p) = \Pr(k;n,p) = \Pr(X = k) = \binom{n}{k}p^k(1-p)^{n-k}</math>
:<math>\binom{n}{k} =\frac{n!}{k!(n-k)!}</math>
:<math>\binom{n}{k} =\frac{n!}{k!(n-k)!}</math>
是’‘‘二项式系数 binomial coefficient’‘‘，因此有了分布的名字。这个公式可以理解为，K次成功发生在概率为''p''<sup>''k''</sup>的情况下，''n'' − ''k''次失败发生在概率为(1 − ''p'')<sup>''n'' − ''k''</sup>的情况下。然而，''k''次成功可以发生在''n''个试验中的任何一个，并且在''n''个试验序列中有<math>\binom{n}{k}</math>种''k''次试验成功的不同分配方法。
===例子 ===
===例子 ===
假设抛出一枚’‘‘有偏硬币 biased coin ‘‘‘时，正面朝上的概率为0.3。在6次抛掷中恰好看到4个正面的概率是
<math>f(4,6,0.3) = \binom{6}{4}0.3^4 (1-0.3)^{6-4}= 0.059535.</math>.
<math>f(4,6,0.3) = \binom{6}{4}0.3^4 (1-0.3)^{6-4}= 0.059535.</math>.
<math>F(k;n,p) = \Pr(X \le k) = \sum_{i=0}^{\lfloor k \rfloor} {n\choose i}p^i(1-p)^{n-i},</math> ,
<math>F(k;n,p) = \Pr(X \le k) = \sum_{i=0}^{\lfloor k \rfloor} {n\choose i}p^i(1-p)^{n-i},</math> ,
<math>\lfloor k\rfloor</math>是k的’’‘向下取整 round down’’‘，即小于或等于''k''的最大整数。
<math>\lfloor k\rfloor</math>是k的’‘‘向下取整 round down’‘‘，即小于或等于''k''的最大整数。
在’‘‘正则化不完全的beta函数 regularized incomplete beta function ‘‘‘下，它也可以表示如下: <ref>{{cite book |last=Wadsworth |first=G. P. |title=Introduction to Probability and Random Variables |year=1960 |publisher=McGraw-Hill |location=New York |page=[https://archive.org/details/introductiontopr0000wads/page/52 52] |url=https://archive.org/details/introductiontopr0000wads |url-access=registration }}</ref>
<math>\begin{align}
<math>\begin{align}
\end{align}</math>
\end{align}</math>
这相当于’‘‘F分布 F-distribution’‘‘的累积分布函数: <ref>{{cite journal |last=Jowett |first=G. H. |year=1963 |title=The Relationship Between the Binomial and F Distributions |journal=Journal of the Royal Statistical Society D |volume=13 |issue=1 |pages=55–57 |doi=10.2307/2986663 |jstor=2986663 }}</ref>
<math>F(k;n,p) = F_{F\text{-distribution}}\left(x=\frac{1-p}{p}\frac{k+1}{n-k};d_1=2(n-k),d_2=2(k+1)\right).</math>
<math>F(k;n,p) = F_{F\text{-distribution}}\left(x=\frac{1-p}{p}\frac{k+1}{n-k};d_1=2(n-k),d_2=2(k+1)\right).</math>
下面给出了累积分布函数的一些’‘‘闭式界 closed-form bounds ‘‘‘。
==属性==
==属性==
<math> \operatorname{E}[X] = np.</math>。
<math> \operatorname{E}[X] = np.</math>。
这是由于期望值的’‘‘线性性 linearity’‘‘，以及{{mvar|X}}是{{mvar|n}}个相同的伯努利随机变量的线性组合，每个变量都有期望值{{mvar|p}}。换句话说，如果<math>X_1, \ldots, X_n</math>是参数{{mvar|p}}的相同的（且独立的）伯努利随机变量，那么
<math>X = X_1 + \cdots + X_n</math>
<math>X = X_1 + \cdots + X_n</math>
===模===
===模===
通常二项式''B''(''n'', ''p'')分布的模等于<math>\lfloor (n+1)p\rfloor</math>，其中<math>\lfloor\cdot\rfloor</math>是’’‘向下取整函数 floor function ‘’‘。然而，当(''n'' + 1)''p''是整数且''p''不为0或1时，二项分布有两种模: (''n'' + 1)''p''和(''n'' + 1)''p'' − 1。当''p''等于0或1时，对应的模为0或n。这些情况可总结如下:
通常二项式''B''(''n'', ''p'')分布的模等于<math>\lfloor (n+1)p\rfloor</math>，其中<math>\lfloor\cdot\rfloor</math>是’‘‘向下取整函数 floor function ‘‘‘。然而，当(''n'' + 1)''p''是整数且''p''不为0或1时，二项分布有两种模: (''n'' + 1)''p''和(''n'' + 1)''p'' − 1。当''p''等于0或1时，对应的模为0或n。这些情况可总结如下:
<math>\text{mode} =
<math>\text{mode} =
当''p'' = 1/2并且''n''为偶数，k ≥ 3n/8时, 可以使分母为常数。
当''p'' = 1/2并且''n''为偶数，k ≥ 3n/8时, 可以使分母为常数。
===‘’‘尾部边界’’‘===
===‘‘‘尾部边界’‘‘===
:<math>F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
:<math>F(k;n,\tfrac{1}{2}) \geq \frac{1}{15} \exp\left(- 16n \left(\frac{1}{2} -\frac{k}{n}\right)^2\right). \!</math>
‘‘‘霍夫丁不等式 Hoeffding's inequality ‘‘‘得到简单的边界
:<math> F(k;n,p) \leq \exp\left(-2 n\left(p-\frac{k}{n}\right)^2\right), \!</math>
:<math> F(k;n,p) \leq \exp\left(-2 n\left(p-\frac{k}{n}\right)^2\right), \!</math>
然而，这并不是很严格。特别是，当''p''=1时，有''F''(''k'';''n''，''p'') = 0(对于固定的''k''，''n''与''k'' < ''n'')，但是Hoeffding的约束评价为一个正的常数。
然而，这并不是很严格。特别是，当''p''=1时，有''F''(''k'';''n''，''p'') = 0(对于固定的''k''，''n''与''k'' < ''n'')，但是Hoeffding的约束评价为一个正的常数。
当 n 已知时，参数 p 可以使用成功的比例来估计:<math> \widehat{p} = \frac{x}{n}</math>。可以利用’’‘极大似然估计 maximum likelihood estimator ‘’‘和’’‘ 矩方法 method of moments’’‘来求出该估计量。’’‘Lehmann-scheffé 定理’’‘证明了该估计量是无偏的一致的且方差最小的，因为该估计量是基于一个极小’’‘充分完备统计量 sufficient and complete statistic’’‘(即: x).它在概率和’’‘均方误差 MSE’’‘方面也是一致的。
当 n 已知时，参数 p 可以使用成功的比例来估计:<math> \widehat{p} = \frac{x}{n}</math>。可以利用’‘‘极大似然估计 maximum likelihood estimator ‘‘‘和’‘‘ 矩方法 method of moments’‘‘来求出该估计量。’‘‘Lehmann-scheffé 定理’‘‘证明了该估计量是无偏的一致的且方差最小的，因为该估计量是基于一个极小’‘‘充分完备统计量 sufficient and complete statistic’‘‘(即: x).它在概率和’‘‘均方误差 MSE’‘‘方面也是一致的。
可以从’‘‘切尔诺夫界 Chernoff bound’‘‘中得到一个更清晰的边界。
利用 Beta分布作为’’‘共轭先验分布 conjugate prior distribution ‘’‘时，也存在p的封闭形式的’’‘贝叶斯估计 Bayes estimator ‘’‘。当使用一个通用<math>\operatorname{Beta}(\alpha, \beta)</math>作为先验时，后验均值估计量为: <math>\widehat{p_b} = \frac{x+\alpha}{n+\alpha+\beta}</math>。贝叶斯估计是渐近有效的，当样本容量趋近无穷大(n →∞)时，它趋近极大似然估计解。贝叶斯估计是有偏的(偏多少取决于先验) ，可接受的且一致的概率。
利用 Beta分布作为’‘‘共轭先验分布 conjugate prior distribution ‘‘‘时，也存在p的封闭形式的’‘‘贝叶斯估计 Bayes estimator ‘‘‘。当使用一个通用<math>\operatorname{Beta}(\alpha, \beta)</math>作为先验时，后验均值估计量为: <math>\widehat{p_b} = \frac{x+\alpha}{n+\alpha+\beta}</math>。贝叶斯估计是渐近有效的，当样本容量趋近无穷大(n →∞)时，它趋近极大似然估计解。贝叶斯估计是有偏的(偏多少取决于先验) ，可接受的且一致的概率。
:<math> F(k;n,p) \leq \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right) </math>
:<math> F(k;n,p) \leq \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right) </math>
对于使用标准均匀分布作为非信息性的先验概率的特殊情况(<math>\operatorname{Beta}(\alpha=1, \beta=1) = U(0,1)</math>)，后验均值估计变为<math>\widehat{p_b} = \frac{x+1}{n+2}</math> (后验模式应只能得出标准估计量)。这种方法被称为’’‘继承法则 the rule of succession ‘’‘，它是18世纪皮埃尔-西蒙·拉普拉斯 Pierre-Simon Laplace提出的。
对于使用标准均匀分布作为非信息性的先验概率的特殊情况(<math>\operatorname{Beta}(\alpha=1, \beta=1) = U(0,1)</math>)，后验均值估计变为<math>\widehat{p_b} = \frac{x+1}{n+2}</math> (后验模式应只能得出标准估计量)。这种方法被称为’‘‘继承法则 the rule of succession ‘‘‘，它是18世纪皮埃尔-西蒙·拉普拉斯 Pierre-Simon Laplace提出的。
其中''D''(''a'' || ''p'')是参数为a和p的相对熵，即Bernoulli(a)和Bernoulli(p)概率分布的差值：
其中''D''(''a'' || ''p'')是参数为a和p的相对熵，即Bernoulli(a)和Bernoulli(p)概率分布的差值：
即使对于非常大的 n 值，均值的实际分布是非正态的。针对这一问题，提出了几种估计置信区间的方法。
即使对于非常大的 n 值，均值的实际分布是非正态的。针对这一问题，提出了几种估计置信区间的方法。
我们还可以得到尾部<math>F(k;n,p) </math>的下界，即’’‘反集中界anti-concentration bounds ‘’‘。通过用’’‘斯特林公式 Stirling's formula’’‘对二项式系数进行近似，可以看出：
我们还可以得到尾部<math>F(k;n,p) </math>的下界，即’‘‘反集中界anti-concentration bounds ‘‘‘。通过用’‘‘斯特林公式 Stirling's formula’‘‘对二项式系数进行近似，可以看出：
:<math> F(k;n,p) \geq \frac{1}{\sqrt{8n\tfrac{k}{n}(1-\tfrac{k}{n})}} \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right),</math>
:<math> F(k;n,p) \geq \frac{1}{\sqrt{8n\tfrac{k}{n}(1-\tfrac{k}{n})}} \exp\left(-nD\left(\frac{k}{n}\parallel p\right)\right),</math>
下列公式中的符号在两个地方不同于以前的公式:
下列公式中的符号在两个地方不同于以前的公式:
*<math>z</math>是’’‘标准正态分布 standard normal distribution ‘’‘的<math>1 - \tfrac{1}{2}\alpha</math>分位数(即概率)对应的目标错误率 <math>\alpha</math>。例如，95%的’’‘置信度 confidence level ‘’‘的错误率为<math>\alpha</math> = 0.05，因此 <math>1 - \tfrac{1}{2}\alpha</math> = 0.975 并且<math>z</math> = 1.96.
*<math>z</math>是’‘‘标准正态分布 standard normal distribution ‘‘‘的<math>1 - \tfrac{1}{2}\alpha</math>分位数(即概率)对应的目标错误率 <math>\alpha</math>。例如，95%的’‘‘置信度 confidence level ‘‘‘的错误率为<math>\alpha</math> = 0.05，因此 <math>1 - \tfrac{1}{2}\alpha</math> = 0.975 并且<math>z</math> = 1.96.
====Wald 法====
====Wald 法====
*其次，这个公式没有使用加减法来定义两个界限。相反，我们可以使用<math>z = z_{/alpha / 2}</math>得到下限，或者使用<math>z = z_{1 - \alpha/2}</math>得到上限。例如：对于95%的置信度，误差为<math>alpha</math> = 0.05，所以用<math>z = z_{/alpha/2} = z_{0.025} = - 1.96</math>得到下限，用<math>z = z_{1 - \alpha/2} = z_{0.975} = 1.96</math>得到上限。
*其次，这个公式没有使用加减法来定义两个界限。相反，我们可以使用<math>z = z_{/alpha / 2}</math>得到下限，或者使用<math>z = z_{1 - \alpha/2}</math>得到上限。例如：对于95%的置信度，误差为<math>alpha</math> = 0.05，所以用<math>z = z_{/alpha/2} = z_{0.025} = - 1.96</math>得到下限，用<math>z = z_{1 - \alpha/2} = z_{0.975} = 1.96</math>得到上限。
由于X <math>\sim B(n, p)</math>和Y <math>\sim B(X, q)</math>，由’’‘全概率公式 the law of total probability ‘’‘,
由于X <math>\sim B(n, p)</math>和Y <math>\sim B(X, q)</math>，由’‘‘全概率公式 the law of total probability ‘‘‘,
:<math>\widehat{p\,} + \frac{z^2}{2n} + z</math>
:<math>\widehat{p\,} + \frac{z^2}{2n} + z</math>
将 <math> p^k = p^m p^{k-m} </math> 进行分解，并将所有不依赖于 <math> k </math> 的项从总和中抽出，即可得到
将 <math> p^k = p^m p^{k-m} </math> 进行分解，并将所有不依赖于 <math> k </math> 的项从总和中抽出，即可得到
‘‘‘边缘分布 marginal distribution ‘‘‘是二项分布较完善的随机数产生方法。
一种从二项分布中产生随机样本的方法是使用’‘‘反演算法 inversion algorithm ‘‘‘。要做到这一点，我们必须计算从到的所有值的概率。(为了包含整个样本空间，这些概率的和应该接近于1。)然后，通过使用伪随机数生成器来生成介于0和1之间的样本，可以使用在第一步计算出的概率将计算出的样本转换成离散数。
将 <math> i = k - m </math> 代入上述表达式后，我们得到了
将 <math> i = k - m </math> 代入上述表达式后，我们得到了
这个分布是由雅各布 ·伯努利 Jacob Bernoulli推导出来的。他考虑了p = r/(r + s)的情形，其中 p 是成功的概率，r 和 s 是正整数。早些时候，布莱斯 · 帕斯卡 Blaise Pascal考虑过p = 1/2的情况。
这个分布是由雅各布 ·伯努利 Jacob Bernoulli推导出来的。他考虑了p = r/(r + s)的情形，其中 p 是成功的概率，r 和 s 是正整数。早些时候，布莱斯 · 帕斯卡 Blaise Pascal考虑过p = 1/2的情况。
请注意，上述的和（括号内）等于<math> (p - pq + 1 - p)^{n-m} </math>由’’‘二项式定理 binomial theorem’’‘得出。将此代入最终得到
请注意，上述的和（括号内）等于<math> (p - pq + 1 - p)^{n-m} </math>由’‘‘二项式定理 binomial theorem’‘‘得出。将此代入最终得到
===伯努利分布===
===伯努利分布===