概率论·4 随机变量的数字特征

考纲内容

• 随机变量的数学期望（均值）、方差、标准差及其性质
• 随机变量函数的数学期望，矩、协方差、相关系数及其性质

一、数学期望

考纲摘要：理解随机变量数字特征（数学期望、方差、标准差、矩、协方差、相关系数）的概念，会运用数字特征的基本性质，并掌握常用分布的数字特征

1. 数学期望的定义

设离散型随机变量 $X $ 的分布律为 $ P{X=x_k}=p_k,k=1,2,\cdots$ 如果级数 $\sum _{k=1}^{\mathrm{\infty }}{x}_k{p}_k$ 绝对收敛，则称这个级数的和为随机变量 $X$ 的数学期望，记为 E (X)

设连续型随机变量 $X$ 的概率密度为 f (x)，若积分

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)\mathrm{d}x$$

绝对收敛，则称该积分的值为随机变量 $X$ 的数学期望，也记作 E (X)

数学期望也称作期望或均值

2. 随机变量的函数的数学期望

考纲摘要：会求随机变量函数的数学期望。

设 $Y $ 是随机变量 $ X$ 的函数：$Y=g(X)$

• 离散型的情况；$E(Y)=E[g(X)]=\sum _{k=1}^{\mathrm{\infty }}g(x_k)p_k$
• 连续型的情况：$E(Y)=E[g(X)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f(x)\mathrm{d}x$

这意味着不必算出 $Y $ 的分布律或概率密度（已知 $ X$ 的情况下），也可以求出它的期望

也可以推广到多个随机变量的函数的情况：设 $Z=g(X,Y)$，且二维随机变量 X,Y 的概率密度为 f (x,y)，则：

$$E(Z)=E[g(x,y)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$$

如果是离散型的情况，则：

$$E(Z)=E[g(x,y)]=\sum _{j=1}^{\mathrm{\infty }}\sum _{i=1}^{\mathrm{\infty }}g(x_i,y_j)p_{ij}$$

3. 数学期望的性质

• 设 $C $ 是常数，则 $ E (C)=C$
• $C $ 是常数，$ E (C\cdot X)=C\cdot E (X)$
• $E(X+Y)=E(X)+E(Y)$
• $E(XY)=E(X)E(Y)$，相互独立的情况下成立

二、方差

1. 方差的定义

设 $X $ 是一个随机变量，若 $ E{[X-E (X)]^2}$ 存在，则称其为 $X$ 的方差，记作 D (X) 或 $\mathrm{Var}(X)$ 而 $\sigma (X)=\sqrt{D(X)}$ 称作标准差或者均方差

方差表达了 $X $ 的取值与其数学期望的偏离程度，其值较小表示 $ X$ 的取值较为集中在 E (X) 附近，其值较大表示 $X $ 的取值较为分散，可以用来衡量 $ X$ 取值的分散程度

$$D(X)=\sum _{i=1}^{\mathrm{\infty }}[x_i-E(X){]}^2{p}_k$$

此外，也有：

$$D(X)=E(X^2)-[E(X){]}^2$$

对于随机变量 $X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$，其数学期望为 0，方差为 1，$X^{\ast }$ 称作 $X$ 的标准化变量

2. 方差的性质

• 设 $C $ 是常数，则 $ D (C)=0$
• $D(CX)=C^{2}D(X),D(X+C)=D(X)$
• $D(X+Y)=D(X)D(Y)+2E\{[X-E(X)][Y-E(Y)]\}$
• $D (X)=0 $ 的充要条件是 $ P{X=E (X)}=1$

三、协方差及相关系数

1. 协方差与相关系数的定义

• 协方差：$E\{[X-E(X)][Y-E(Y)]\}$ 称作随机变量 X,Y 的协方差，记作 $\mathrm{Cov}(X,Y)$
• 相关系数：${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 称作随机变量 X,Y 的相关系数。
• 柯西-许瓦兹 (Cauchy-Schwarz) 不等式： $[\mathrm{Cov}(X,Y){]}^2\le D(X)D(Y)$，从而有 $|{\rho }_{XY}|\le 1$。

由协方差的定义得到的一些基本结论：

• $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$
• $\mathrm{Cov}(X,X)=D(X)$
• $D(X+Y)=D(X)+D(Y)+2\mathrm{Cov}(X,Y)$
• $\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)$

2. 协方差与相关系数的性质

协方差的性质：

• $\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$
• $\mathrm{Cov}(X_1+X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$

相关系数的性质：

• ${\rho }_{XY}\le 1$
• $|{\rho }_{XY}|=1$ 的充要条件是 $\text{exist}a,b,P\{Y=a+bX\}=1$ $|{\rho }_{XY}|=1$，X,Y 之间存在线性关系 $|{\rho }_{XY}|$ 较大，X,Y 的线性相关程度较大 $|{\rho }_{XY}|$ 较小，X,Y 的线性相关程度较差 $|{\rho }_{XY}|=0$，X,Y 不相关。

独立与不相关的关系：

1. 若 X, Y 独立 $\Rightarrow$ X, Y 不相关。
2. 反之不一定成立（即不相关 $\nRightarrow$ 独立）。
3. 例外：若 $(X,Y)$ 服从二维正态分布，则：独立 $\iff$ 不相关。

四、矩与协方差矩阵

1. 矩与协方差矩阵的定义

若 X,Y 是随机变量

• $X $ 的 $ k$ 阶原点矩（简称 $k $ 阶矩）： $ E (X^k),k=1,2,\cdots$
• $X $ 的 $ k$ 阶中心矩：$E\{[X-E(X){]}^k\}$ 显然，D (X) 就是 $X$ 的 2 阶中心距
• X,Y 的 $k+l $ 阶混合矩：$ E (X^kY^l)$
• X,Y 的 $k+l $ 阶混合中心矩：$ E{[X-E (X)]^k[Y-E (Y)]^l}$ 显然，$\mathrm{Cov}(X,Y)$ 就是 X,Y 的 $1+1$ 阶混合中心矩

协方差矩阵定义如下：

设随机变量 $(X_1,X_2,\cdots ,N_n)$ 的所有二阶混合中心矩 $c_{ij}=\mathrm{Cov}(X_i,X_j),i,j=1,2,\cdots ,n$ 都存在，则以下矩阵：

$$C=\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]$$

就被称作 $n$ 维随机变量 $(X_1,X_2,\cdots ,N_n)$ 的协方差矩阵，显然，$c_{ij}=c_{ji}$，则协方差矩阵是一个对称矩阵

2. $n$ 维正态随机变量

1. 2 维时的情形

二维正态随机变量 $(X_1,X_2)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$ 的概率密度如下：

$$f(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \left\{\frac{-1}{2(1-{\rho }^2)}[\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2^2}]\right\}$$

显然，随机变量 $(X_1,X_2)$ 的协方差矩阵可以表示如下：

$$C=\left[\begin{array}{cc}D(X_1)& \mathrm{Cov}(X_1,X_2)\\ \mathrm{Cov}(X_2,X_1)& D(X_2)\end{array}\right]=\left[\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right]$$

其逆矩阵为

$$C^{-1}=\frac{1}{|C|}\left[\begin{array}{cc}{\sigma }_2^2& -\rho {\sigma }_1{\sigma }_2\\ -\rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right]$$

这样一来，二维随机变量 $(X_1,X_2)$ 的概率密度就可以写成：

$$f(x_1,x_2)=\frac{1}{(2\pi {)}^{\frac{2}{2}}-|C{|}^{\frac{1}{2}}}\exp \{-\frac{1}{2}(X-\mu {)}^T{C}^{-1}(X-\mu )\}$$

其中：

$$X=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],\mu =\left[\begin{array}{c}E(X_1)\\ E(X_2)\end{array}\right]$$

2. $n$ 维时的情形

对于 $n$ 维正态随机变量 $(X_1,X_2,\cdots ,X_n)$，其该概率密度定义为：

$$f(x_1,x_2,\cdots ,x_n)=f(x_1,x_2)=\frac{1}{(2\pi {)}^{n/2}-|C{|}^{1/2}}\exp \{-\frac{1}{2}(X-\mu {)}^T{C}^{-1}(X-\mu )\}$$

其中：

$$X=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],\mu =\left[\begin{array}{c}E(X_1)\\ E(X_2)\\ ⋮\\ E(X_n)\end{array}\right]$$

3. $n$ 维正态随机变量的性质

• $n$ 维正态随机变量 $(X_1,X_2,\cdots ,X_n)$ 的每一个分量 $X_i,i=1,2,\cdots ,n$ 反之，若 $X_1,X_2,\cdots ,X_n$ 都是正态随机变量且相互独立，则 $(X_1,X_2,\cdots ,X_n)$ 是 $n$ 维正态随机变量
• $n$ 维正态随机变量 $(X_1,X_2,\cdots ,X_n)$ 服从 $n $ 维正态分布的充要条件是 $ X_1,X_2,\cdots,X_n$ 的任意线性组合 $\sum_{i=1}^n l_iX_i $ 服从一维正态分布（$ l_i$ 不全为 0）
• 若 $(X_1,X_2,\cdots ,X_n)$ 服从 $n $ 维正态分布，设 $ Y_1,Y_2,\cdots,Y_k $ 是 $ X_j,j=1,2,\cdots,n$ 的线性函数，则 $Y_1,Y_2,\cdots ,Y_k$ 也服从多维正态分布
• 设 $(X_1,X_2,\cdots ,X_n)$ 服从 $n $ 维正态分布，则 $ X_1,X_2,\cdots,X_n$ 相互独立的充要条件是 $X_1,X_2,\cdots ,X_n$ 两两相关系数为 0（也就是不相关）