概率论·5 大数定律和中心极限定理

考纲内容

• 切比雪夫（Chebyshev）不等式
• 切比雪夫大数定律
• 伯努利（Bernoulli）大数定律
• 辛钦（Khinchin）大数定律
• 棣莫弗-拉普拉斯（DeMoivre-Laplace）定理
• 列维-林德伯格（Lévy-Lindeberg）定理

本章脉络

定理	由何而来	适用前提
切比雪夫不等式	马尔可夫不等式	期望、方差存在
切比雪夫大数定律	由切比雪夫不等式直接推导	相互独立、方差有共同上界
辛钦大数定律（弱大数定律）	切比雪夫大数定律在独立同分布下的推广	独立同分布、期望存在
伯努利大数定律	辛钦大数定律应用于伯努利分布	$n$ 重伯努利试验
列维-林德伯格定理（中心极限定理）	——	独立同分布、期望与方差存在
棣莫弗-拉普拉斯定理	中心极限定理应用于二项分布	$X\sim B(n,p)$，$n$ 充分大

一句话记忆：大数定律讲「均值收敛到期望」，中心极限定理讲「和的分布趋于正态」。 两条支线各有一个「伯努利／二项分布特例」。

一、大数定理

1. 切比雪夫大数定理

考纲摘要：了解切比雪夫不等式、了解切比雪夫大数定律

如果 $X$ 是一个非负的随机变量，那么 $P(X\ge a)$ 的上界是什么？

定义一个指示函数：

$$I_{X\ge a}=\{\begin{array}{ll}1& x\ge a\\ 0& x<a\end{array}$$

显然，$E(I_{X\ge a})=P(X\ge a)$

发现 $X\ge a{I}_{X\ge a}$，这是因为，当 $X\ge a$ 时，$I_{X\ge a}=1$，自然也满足 $X\ge a{I}_{X\ge a}$；而当 $X<a$ 时，$I_{X\ge a}=0$，而 $X>0$，因此该不等式也满足

由于 $X,a{I}_{X\ge a}$ 都是非负的，因此有：

$$E(X)\ge E(a{I}_{X\ge a})=aE(I_{X\ge a})=aP(X\ge a)$$

因此：

$$P(X\ge a)\le \frac{E(X)}{a}$$

这就是马尔可夫不等式

以此为基础推导切比雪夫不等式：

对于任意随机变量 $X$，它具有数学期望 $\mu$，方差 ${\sigma }^2$，那么，对于 $\mathrm{\forall }\epsilon >0$，根据马尔可夫不等式，直接有：

$$P[(X-\mu {)}^2\ge {\epsilon }^2]=P(|X-\mu |\ge \epsilon )\le \frac{E[(X-\mu {)}^2]}{{\epsilon }^2}=\frac{{\sigma }^2}{{\epsilon }^2}$$

切比雪夫不等式的另一种形式也可以利用同样的方法推导：

$$P[(X-\mu {)}^2\ge {\sigma }^2{\epsilon }^2]=P(|X-\mu |\ge \sigma \epsilon )\le \frac{E[(X-\mu {)}^2]}{{\sigma }^2{\epsilon }^2}=\frac{1}{{\epsilon }^2}$$

切比雪夫（Chebyshev）大数定理，也称切比雪夫不等式，是概率论中的一个重要结果，用于估计随机变量的分布偏离其期望值的概率。定理表明，对于任何具有有限期望值和有限方差的随机变量，其值偏离期望值超过某个特定范围的概率是有界的。

切比雪夫不等式：设随机变量 $X$ 具有数学期望 $E(X)=\mu$，方差 $D(X)={\sigma }^2$，则：

$$\mathrm{\forall }\epsilon >0,P\{|x-\mu |\ge \epsilon \}\le \frac{{\sigma }^2}{{\epsilon }^2}$$

切比雪夫不等式的另一种表述：

$$\mathrm{\forall }\epsilon >0,P\{|x-\mu |\ge \epsilon \sigma \}\le \frac{1}{{\epsilon }^2}$$

切比雪夫不等式的重要性在于它在没有关于随机变量的分布形状的任何假设下，提供了一个普遍适用的界限。这使得它在许多领域中都具有广泛的应用，包括统计学、工程学和金融学等。

切比雪夫大数定律：

$$P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}$$

2. 辛钦大数定理（弱大数定理）

考纲摘要：了解辛钦大数定律（独立同分布随机变量序列的大数定律）

弱大数定理（辛钦大数定理）：

设 $X_1,X_2,\cdots$ 是相互独立且服从同一分布的随机变量序列，且具有数学期望 $E(X_k)=\mu ,k=1,2,\cdots$，则有：

$$\begin{gathered} \mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<\epsilon \}=1 \\ \$\mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<\epsilon \}=1 \\ \mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |\ge \epsilon \}=0 \end{gathered}$$

也就是说，对于相互独立且服从同一分布，且数学期望为 $\mu$ 的随机变量 $X_1,\cdots ,X_n$。当 $n$ 很大时，它们的算术平均 $\frac{1}{n}\sum _{k=1}^n{X}_k$ 大概率接近 $\mu$

3. 伯努利大数定理

考纲摘要：了解伯努利大数定律

设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数，$p$ 是事件 $A$ 在每次试验中发生的概率，则

$$\begin{gathered} \mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P\{|\frac{f_A}{n}-p|<\epsilon \}=1 \\ \mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P\{|\frac{f_A}{n}-p|\ge \epsilon \}=0 \end{gathered}$$

伯努利大数定律表明，当试验次数很大时，可以用事件的频率代替事件的概率

二、中心极限定理

1. 列维-林德伯格定理（独立同分布的中心极限定理）

考纲摘要：列维-林德伯格定理（独立同分布随机变量序列的中心极限定理）

设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立且服从同一分布且具有数学期望和方差 $E(X_k)=\mu ,D(X_k)={\sigma }^2,k=1,2,\cdots$ 则随机变量之和 $\sum _{k=1}^n{X}_k$ 的标准化变量

$$Y_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$

的分布函数 $F_n(x)$ 满足

$$\mathrm{\forall }x,\underset{n\to \mathrm{\infty }}{lim}{F}_n(x)=\underset{n\to \mathrm{\infty }}{lim}P\{\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\}={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}\mathrm{d}t=\mathrm{\Phi }(x)$$

也就是说，$n$ 同分布的独立随机变量之和，当 $n$ 越大时，其标准化变量越近似于标准正态分布 N(0,1)

2. 棣莫弗-拉普拉斯定理（二项分布以正态分布为极限分布）

考纲摘要：了解棣莫弗-拉普拉斯定理(二项分布以正态分布为极限分布）

设随机变量 ${\eta }_n,n=1,2,\cdots$ 服从参数为 $n,p$ 的二项分布，则对于任意 $x$，有：

$$\underset{n\to \mathrm{\infty }}{lim}P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\}={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}\mathrm{d}t=\mathrm{\Phi }(x)$$

3. 李雅普诺夫定理

考纲摘要：该定理不在 2024 年考研数学（一）的考试大纲内

设随机变量 $X_1,X_2,\cdots ,X_n,\cdots$ 相互独立，且分别具有数学期望和方差 $E(X_k)={\mu }_k,D(X_k)={\sigma }_k^2,k=1,2,\cdots$ 记 $B_n^2=\sum _{k=1}^n{\sigma }_k^2$

如果

$$\mathrm{\exists }\delta >0,\underset{n\to \mathrm{\infty }}{lim}\frac{1}{B_n^{2+\delta }}\sum _{k=1}^{n}E\{|X_k-{\mu }_k{|}^{2+\delta }\}=0$$

则随机变量之和 $\sum _{k=1}^n{X}_k$ 的标准化变量

$$Z_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}$$

的分布函数 $F_x(x)$ 满足

$$\mathrm{\forall }x,\underset{x\to \mathrm{\infty }}{lim}{F}_n(x)=\underset{x\to \mathrm{\infty }}{lim}P\{\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}\le x\}={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}\mathrm{d}t=\mathrm{\Phi }(x)$$