大数定律、中心极限定理总结

写在前面

写一下大数定律，算是复习，也为以后的学习打好基础。本文总结自峁诗松老师的《概率论与数理统计教程（第二版）》及李贤平老师的《概率论基础（第二版）》。一些详细的定理讲解等内容可以从这两本教材中找到，需要资源可以私信我。

为什么要引入大数定律？在大量重复实验中，结果会呈现出明显的规律性，一般可总结为：“概率是频率的稳定值”，用数学语言表示这种稳定性，就是大数定律。

下面先介绍几类收敛，这是之后讨论的前提。

几类收敛

大数定律涉及依概率收敛，中心极限定理涉及依分布收敛。

依分布收敛(分布函数的弱收敛)

设随机变量$X,X_1,X_2,\cdots$的分布函数分别为$F(x),F_1(x),F_2(x),\cdots .$若对$F(x)$的任一连续点$x$，都有
$$\underset{n\to \infty }{\lim }{F}_n(x)=F(x),$$
则称 { F n ( x ) } \{F_n(x)\} {
Fn​(x)} 弱收敛于$F(x)$，记作$F_n(x)\stackrel{W}{⟶}F(x)$，也称 { X n } \{X_n\} {
Xn​}依分布收敛(Convergence in distribution)于$X$，记作$X_n\stackrel{L}{⟶}X$.

依概率收敛

设 { X n } \{X_n\} {
Xn​}为一随机变量序列，$X$为一随机变量，如果对$\forall \epsilon >0$，有
$$P(|X_n-X|⩾\epsilon )\to 0(n\to \infty ),$$
则称序列 { X n } \{X_n\} {
Xn​}依概率收敛(Convergence in probability)于$X$, 记作$X_n\stackrel{P}{⟶}X$.

其含义是，序列$X_n$对$X$的绝对偏差$|X_n-X|$小于任意给定量的可能性将随着$n$的增大而越来越接近$1$, 即
$$\forall \epsilon >0,P(|X_n-X|<\epsilon )\to 1,(n\to \infty ).$$

定理

1. $X_n\stackrel{P}{⟶}X⟹X_n\stackrel{L}{⟶}X$，说明依概率分布具有更强的形式；
2. 若$c$为常数，则$X_n\stackrel{P}{⟶}c⟺X_n\stackrel{L}{⟶}c$ .

$r$阶收敛

设对随机变量$X_n$及$X$有$E|X_n{|}^r<\infty ,E|X{|}^r<\infty$, 其中$r=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}>0$, 如果
$$\underset{n\to \infty }{\lim }E|X_n-X{|}^r=0,$$
则称 { X n } \{X_n\} {
Xn​} $\mathbf{r}$阶收敛(Convergence in r-order mean)于$X$，并记为$X_n\stackrel{r}{⟶}X$.

定理

• $X_n\stackrel{r}{⟶}X⟹X_n\stackrel{P}{⟶}X$.

以概率$1$收敛（几乎处处收敛）

大数定律&中心极限定理

大数定律

大数定律讨论的是在什么条件下，随机变量序列的算术平均依概率收敛到其均值的算术平均。

下面这段话摘自Wikipedia，简单介绍了大数定律。大概意思是：大数定律描述了大量重复试验的结果，即结果的平均值应接近预期值，并随着试验次数的增加，结果将趋于预期值。

The law of large numbers (LLN) is a theorem that describes the result of performing the same experiment a large number of times. According to the law, the average of the results obtained from a large number of trials should be close to the expected value and will tend to become closer to the expected value as more trials are performed.

称随机变量序列 { ξ n } \{\xi_n\} {
ξn​}服从大数定律(Law of Large Numbers，LLN)，如果存在常数序列$a_1,a_2,\cdots ,a_n,\cdots$，对$\forall \epsilon >0,$ 令

$${\eta }_n=\frac{{\xi }_1+{\xi }_2+\cdots +{\xi }_n}{n}$$

上述大数定律是一种广义的大数定律，下面具体介绍各种不同形式的大数定律。

伯努利(Bernoulli)大数定律

设$s_n$为$n$重伯努利试验中事件$A$发生的次数，$p$为每次试验中$A$出现的概率，则对$\forall \epsilon >0$，有
$$\underset{n\to \infty }{\lim }P\left(\left|\frac{s_n}{n}-p\right|<\epsilon \right)=1$$
证明思路：由于$s_n\sim B(n,p)$，且$E(\frac{s_n}{n})=p,D(\frac{s_n}{n})=\frac{p(1-p)}{n}$，由此应用切比雪夫不等式 P { ∣ X − E X ∣ < ε } ⩾ 1 − D X ε 2 P\{|X-EX|<\varepsilon\}\geqslant1-\frac{DX}{\varepsilon^2} P{
∣X−EX∣<ε}⩾1−ε2DX​，以及极限的迫敛性，可以证得结论。

说明：随着试验次数$n$的增大，事件$A$发生的频率$\frac{s_n}{n}$与其频率$p$的偏差$|\frac{s_n}{n}-p|$大于预先给定的精度$\epsilon$的可能性越来越小，这就是“频率稳定于概率”的含义。

切比雪夫(Chebyshev)大数定律

设 { X n } \{X_n\} {
Xn​}为一列两两不相关的随机变量序列，若每个$X_i$的方差存在，且有共同上界，即$D(X_i)⩽c,i=1,2,\cdots$，则 { X n } \{X_n\} {
Xn​}服从大数定律。用数学语言表示就是：对$\forall \epsilon >0$ ，
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<\epsilon \right\}=1$$
成立。

证明同样采用切比雪夫不等式，并运用方差的上界条件，即可证明。

马尔可夫(Markov)大数定律

对随机变量序列 { X n } \{X_n\} {
Xn​}, 若马尔可夫条件成立，即下式
$$\frac{1}{n^2}D\left(\sum _{i=1}^n{X}_i\right)\to 0$$
成立，则 { X n } \{X_n\} {
Xn​}服从大数定律，即对$\forall \epsilon >0$ ，
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<\epsilon \right\}=1$$
成立。

一种比切比雪夫大数定律更强的结论，对序列 { X n } \{X_n\} {
Xn​}没有同分布、独立、不相关的假设，可以推出切比雪夫大数定律。

辛钦(Khinchin)大数定律

设 { X n } \{X_n\} {
Xn​}为一独立同分布的随机变量序列，若$X_i$的数学期望存在，则 { X n } \{X_n\} {
Xn​}服从大数定律，即对$\forall \epsilon >0$ ，

$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<\epsilon \right\}=1$$

成立。

辛钦大数定律没有了序列 { X n } \{X_n\} {
Xn​}的方差一定存在的条件，伯努利大数定律是辛钦大数定律的特例。

泊松(Poisson)大数定律

如果在一个独立试验序列中，事件$A$在第$k$次试验中出现的概率等于$p_k$，前$n$次试验中事件$A$出现的次数记为${\mu }_n$, 则对$\forall \epsilon >0$，有
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{{\mu }_n}{n}-\frac{p_1+p_2+\cdots +p_n}{n}\right|<\epsilon \right\}=1.$$

可以导出Poisson分布，是一种区别于伯努利试验的另一种独立试验模型。

中心极限定理

中心极限定理讨论了在怎样的条件下，独立随机变量之和$Y_n=\sum _{i=1}^n{X}_n$的极限分布为正态分布。

考虑随机变量序列${\xi }_1,{\xi }_2,\cdots ,{\xi }_n,\cdots$的标准化之和${\zeta }_n$，${\zeta }_n$定义如下：

$${\zeta }_n=\frac{\sum _{i=1}^n{\xi }_i\sum _{i=1}^{n}E{\xi }_i}{\sqrt{\sum _{i=1}^{n}D{\xi }_i}}$$

若${\zeta }_n$满足

lim ⁡ n → ∞ P { ζ n < x } = 1 2 π ∫ − ∞ x e − t 2 2 d t \lim\limits_{n\rightarrow \infty}P\{\zeta_n
n→∞lim​P{
ζn​<x}=2π
​1​∫−∞x​e−2t2​dt

则称随机变量序列 { ξ n } \{\xi_n\} {
ξn​}服从中心极限定理(Central Limit Theorem)。

独立同分布情形

林德伯格-列维(Lindeberg-Lévy)中心极限定理

设 { X n } \{X_n\} {
Xn​}为一独立同分布的随机变量序列，且$E{X}_i=\mu ,D{X}_i={\sigma }^2>0$ 存在，若记
$$Y_n^{\ast }=\frac{X_1+X_2+\cdots +X_n-n\mu }{\sigma \sqrt{n}},$$
则对 $\forall y\in \mathbb{R}$, 有
lim ⁡ n → ∞ P { Y n ∗ ⩽ y } = Φ ( y ) = 1 2 π ∫ − ∞ y e − t 2 2 d t . \lim\limits_{n\rightarrow \infty}P\{Y_n^*\leqslant y\}=\varPhi(y)=\frac1{\sqrt{2\pi}}\int_{-\infty}^{y}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{
Yn∗​⩽y}=Φ(y)=2π
​1​∫−∞y​e−2t2​dt.

二项分布的正态近似

棣莫弗-拉普拉斯(De Moivre-Laplace)中心极限定理

设$n$重伯努利试验中，事件$A$在每次试验中出现的概率均为$p$，$n$次试验中事件$A$出现的次数记为$s_n$,并记
$$Y_n^{\ast }=\frac{s_n-np}{\sqrt{npq}},$$

则对 $\forall y\in \mathbb{R}$, 有

lim ⁡ n → ∞ P { Y n ∗ ⩽ y } = Φ ( y ) = 1 2 π ∫ − ∞ y e − t 2 2 d t . \lim\limits_{n\rightarrow \infty}P\{Y_n^*\leqslant y\}=\varPhi(y)=\frac1{\sqrt{2\pi}}\int_{-\infty}^{y}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. n→∞lim​P{
Yn∗​⩽y}=Φ(y)=2π
​1​∫−∞y​e−2t2​dt.

应用

1. 由棣莫弗-拉普拉斯中心极限定理，可以导出下面的近似式

P { Y n ∗ ⩽ y } ≈ Φ ( y ) = β , P\{Y_n^\ast\leqslant y\}\approx\varPhi(y)=\beta, P{
Yn∗​⩽y}≈Φ(y)=β,

只需要知道其中两个变量，即可求出第三个（查正态分布表）。

2. 导出伯努利大数定律。

独立不同分布情形

林德伯格中心极限定理

林德伯格条件

设 { X n } \{X_n\} {
Xn​}是一个相互独立的随机变量序列，且有有限的数学期望和方差：
$$E(X_i)={\mu }_i,D(X_i)={\sigma }_i^2,i=1,2,\cdots$$并设随机变量之和$Y_n=\sum _{i=1}^n{X}_n$，其标准化为
$$Y_n^{\ast }=\sum _{i=1}^n\frac{X_i-{\mu }_i}{\sigma (Y_n)},$$则对$\forall \tau >0$，有
$$\underset{n\to \infty }{\lim }\frac{1}{{\tau }^2{\sigma }^2(Y_n)}\sum _{i=1}^n{\int }_{|x-{\mu }_i|>\tau \sigma (Y_n)}(x-{\mu }_i{)}^2{p}_i(x)\mathrm{d}x=0,\text{\hspace{1em}(1)}$$称$(1)$式为林德伯格条件。林德伯格证明了满足$(1)$式的$Y_n^{\ast }$的极限分布是正态分布，即下面的林德伯格中心极限定理。

林德伯格中心极限定理

设独立随机变量序列 { X n } \{X_n\} {
Xn​}满足林德伯格条件，则对 $\forall x$，有
$$\underset{n\to \infty }{\lim }P\left\{\frac{1}{\sigma (Y_n)}\sum _{i=1}^n(X_i-{\mu }_i)⩽x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{\mathrm{e}}^{-\frac{t^2}{2}}\mathrm{d}t.$$
注记：
若独立随机变量序列 { X n } \{X_n\} {
Xn​}满足同分布、方差有限的条件，则必满足$(1)$的林德伯格条件，即林德伯格-列维中心极限定理是林德伯格中心极限定理的特例。

李雅普诺夫中心极限定理

设 { X n } \{X_n\} {
Xn​}为独立随机变量序列，若存在$\delta >0$，满足
$$\underset{n\to \infty }{\lim }\frac{1}{{\sigma }^{2+\delta }(Y_n)}\sum _{i=1}^{n}E(|X_i-{\mu }_i{|}^{2+\delta })=0,$$则对$\forall x$，有
$$\underset{n\to \infty }{\lim }P\left\{\frac{1}{\sigma (Y_n)}\sum _{i=1}^n(X_i-{\mu }_i)⩽x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{\mathrm{e}}^{-\frac{t^2}{2}}\mathrm{d}t.$$