【统计基础】切比雪夫不等式，大数定律（依概率收敛），中心极限定理

一、切比雪夫不等式

二、大数定律

一、切比雪夫不等式

定理设随机变量 X 具有数学期望 EX=μ，方差 DX=σ^2，则对于任意 ε >0，如下不等式成立：

$P\left \{ \left | X-\mu \right | \geqslant \varepsilon \right \}\leqslant \frac{\sigma ^2}{\varepsilon ^2}$ 或写作 $P\left \{ \left | X-EX \right | \geqslant \varepsilon \right \}\leqslant \frac{DX}{\varepsilon ^2}$

或 $P\left \{ \left | X-\mu \right | < \varepsilon \right \}\geqslant 1- \frac{\sigma ^2}{\varepsilon ^2}$

含义：表示即使分布未知，随机变量的取值落在期望左右的一定范围内的概率是有界的，该界限和方差有关。DX 越小，落在某范围内的概率就越大，表示 X 取值的概率分布越集中。也就是说，方差 DX 可以表示随机变量 X 取值的离散程度。

作用：① 给出了，在随机变量 X 的分布未知，只知道 EX 和 DX 时，估计概率 P{|X-EX|
<ε} 的界限<="" span="">
。这个估计较为粗糙，如果已知 X 的分布，那么概率可以确切计算时，就无需用此不等式估计。

② 证明切比雪夫大数定律，或是用不等式求未知参数范围，如求在概率至少为 xx 条件下的某未知参数（①的反问题）。

《切比雪夫不等式及其应用》：https://wenku.baidu.com/view/b0994ccd284ac850ad0242cf.html

证明及例题；指出了与大数定律的关系；切比雪夫不等式给出的概率边界较保守，在有其他信息时（如 n 充分大、独立重复实验等），应选择中心极限定理较好。

二、大数定律

【大数定律】是描述当试验次数很大时所呈现的概率性质的定律。是在一些附加条件上证明了的定理，是一种自然规律，不是经验规律，所以定理+自然规律=“定律”。随机事件 A 的频率 f(A) 在重复试验的次数 n 增大时呈现出稳定性，稳定在某一个常数附近。所以，大数定理研究就是频率的稳定性。

在此先介绍一个相关知识做铺垫，依概率收敛。

1. 依概率收敛

一个随机变量序列 {Xn} 依概率收敛到某一个常数 a，对于任意 ε >0，有下式，称随机变量序列 {Xn} （n=1，2，……n）依概率收敛于 a，记为 $X_n\overset{P}{\rightarrow}a$ 。

$\lim_{n\rightarrow \infty }P\left \{ \left | X_n-a \right |<\varepsilon \right \}=1$

含义：指的是 Xn 和 a 之间存在一定差距的可能性将会随着n 的增大而趋向于零。

2. 大数定律的一般表述

X1，X2，……，Xn 是独立同分布随机变量序列，期望为 μ，Sn=X1+X2+……+Xn，则 $\frac{S_{n}}{n}$ 收敛到 μ。

含义：在 n 很大时，某随机变量序列的均值收敛于它的期望，这里的收敛即“充分接近”。如，样本数量很大时，样本均值依概率收敛于总体均值。

弱大数定律：上述收敛是指依概率收敛。

强大数定律：上述收敛是指几乎必然收敛。

3. 表现形式

多种，高数概率论中要掌握 3 个，均是依概率收敛的情况。

3.1 切比雪夫大数定律

设 X1，X2，……，Xn 独立，期望，方差都存在，且方差 DXk 有一致上界（即每个方差都有上界且收敛速度接近），设对任意 ε >0，有：

$\lim_{n\rightarrow \infty }P\left \{ \left | \frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}EX_i \right |<\varepsilon \right \}=1$

不要求同分布。

3.2 伯努利大数定理

设 X 是 n 重伯努利试验中事件发生的次数，每次试验事件发生的概率为 p，则对任意 ε >0，有：

$\lim_{n\rightarrow \infty }P\left \{ \left | \frac{X}{n}-p \right |<\varepsilon \right \}=1$

n足够大时，事件A出现的频率接近于其发生的概率，即频率的稳定性。可用样本成数（比例）去估计总体成数（比例）。是切比雪夫的特例。

3.3 辛钦大数定律

设 X1，X2，……，Xn 独立同分布，期望 $EX_k=\mu$ 存在，则对任意 ε >0，有：

$\lim_{n\rightarrow \infty }P\left \{ \left | \frac{1}{n}\sum_{i=1}^{n}X_i-\mu \right |<\varepsilon \right \}=1$

随着样本容量n的增加，样本平均数将接近于它的期望。统计推断中，可用样本均值估计总体的期望（因为同分布，样本均值的期望=总体的期望）。是切比雪夫的特例。

4. 对比记忆

**大数定律的3个形式**
切比雪夫	条件① Xi 独立；② EXi、DXi 存在；③ DXi 有一致上界	$\frac{1}{n}\sum_{i=1}^{n}X_i\overset{p}{\rightarrow}\frac{1}{n}\sum_{i=1}^{n}EX_i$
伯努利	① X~B（n，p）	$\frac{X}{n}\overset{p}{\rightarrow}p$
辛钦	① Xi 独立；② Xi 同分布；③ EXi 存在	$\frac{1}{n}\sum_{i=1}^{n}X_i\overset{p}{\rightarrow}\mu$

三、中心极限定理

【中心极限定理】指随机变量序列的部分和分布，渐近于正态分布，或者说大量随机变量的和分布趋近于正态分布。之所以叫做“中心”，只是突出它的重要性，有两个较为接近的解释。一是，早时的研究者认为正态分布是一切分布甚至万物的中心（《数理统计简史》）；二是，研究和分布的极限定理的人，认为这个定理是数学学科的中心（张宇）。

含义：大量（n→∞）、独立、同分布的随机变量之和，近似服从于一维正态分布。

1. 列维——林德伯格中心极限定理

设 X1，X2，……，Xn 独立同分布，期望 $EX_k=\mu$ ，方差 $DX_k=\sigma ^2$ 都存在，则对任意 ε >0，有：

$\lim_{n\rightarrow \infty }P\left \{ \left | \frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma } \right |\leqslant x \right \}=\Phi (x)=\int_{-\infty }^{x}e^{-\frac{t^2}{2}}dt$

实质就是对 ∑ Xi ~ N（nμ，nσ^2），标准化后服从 N（0，1）。

2. 拉普拉斯中心极限定理

设 Xn~B（n，p），则对任意 ε >0，有：

$\lim_{n\rightarrow \infty }P\left \{ \left | \frac{X_n-np}{\sqrt{np(1-p)} } \right |\leqslant x \right \}=\Phi (x)=\int_{-\infty }^{x}e^{-\frac{t^2}{2}}dt$

实质就是，Yi~B（1，p）， Xn=∑ Yi ~ N（np，np(1-p) ）的标准化。

四、小结

1. 不等式1个：X 的分布未知，只知道 EX 和 DX 时，估计概率 P{|X-EX|
<ε} 的界限。<="" span="">
或证明切比雪夫大数定律，或是用不等式求未知参数范围

2. 大数定律3个：某随机变量序列的均值收敛于它的期望。

3. 中心极限定理2个：大量（n→∞）、独立、同分布的随机变量之和，近似服从于一维正态分布。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/221622.html原文链接：https://javaforall.net

【统计基础】切比雪夫不等式，大数定律（依概率收敛），中心极限定理

一、切比雪夫不等式