概率统计总的是有八章内容,相比线性代数多一点,且七八章主要是统计部分的内容,表格类描述的较多,故单独把七八章放到第三部分。本文主要总结数字特征、大数定理、中心极限定理和数理统计的基本概念。内容上是较多较杂,需要好好梳理才能掌握好。

四、随机变量的数字特征

1. 数学期望

(1) 定义

  ①离散型
  设$P \left \{ X = x_k \right \} = p_k , \, k=1, \, 2, \, \cdots $,若$\sum_k x_k p_k$绝对收敛,则称$\sum_k x_k p_k$的和为随机变量$X$的数学期望,即$E(X) = \sum_k x_k p_k$.
  ②连续型
  设$X$的概率密度函数为$f(x)$,若积分$\int_{-\infty}^{+\infty}xf(x)dx$绝对收敛,则称$\int_{-\infty}^{+\infty}xf(x)dx$为随机变量$X$的数学期望,即$E(X) = \int_{-\infty}^{+\infty}xf(x)dx$.

(2) 性质

  ①$E(C) = C$,$C$为任意常数;$E[E(X)] = E(X)$.
  ②$E(CX) = CE(X)$.
  ③$E(X+Y) = E(X) + E(Y)$;
   $E(aX+b) = aE(X) + b$.
  ④若$X$与$Y$相互独立,则$E(XY)=E(X)E(Y)$.一般地,若$X_1 , \, X_2 , \, \cdots , \, X_n$相互独立,则$E(X_1 X_2 \cdots X_n) = E(X_1)E(X_2) \cdots E(X_n)$.
  ⑤$[E(XY)]^2 \leqslant E^2(X)E^2(Y)$

2. 方差

(1) 定义

  设$X$是一个随机变量,若$E \left \{ [X - E(X)]^2 \right \}$存在,则称$E \left \{ [X - E(X)]^2 \right \}$为$X$的方差,记为$D(X)$或$Var(X)$,即$D(X) = E \left \{ [X - E(X)]^2 \right \}$. $\sigma(X) = \sqrt{D(X)}$称为标准差或均方差.

(2) 计算

  ①若X为离散型随机变量,$P \left \{ X = x_k \right \} = p_k, \, k=1, \, 2 , \, \cdots$,则$$D(X) = \sum_k [ x_k - E(X) ] ^2 p_k$$   ②若$X$是连续型随机变量,其密度函数为$f(x)$,则$D(X) = \int_{-\infty}^{+ \infty}[x - E(X)]^2 f(x)dx$.
  ③常用计算公式$D(X) = E(X^2) - E^2(X) $

(3) 性质

  ①$D(C) = 0$,$C$为任意常数; $D[D(X)] = 0$.
  ②$D(aX+b) = a^2D(X)$,$a, \, b$为常数.
  ③若$X$与$Y$相互独立,则$D(X \pm Y) = D(X) + D(Y)$.
  ④$D(X \pm Y) = D(X) + D(Y) \pm 2Cov(X, \, Y)$.
  ⑤$D(X) < E(X-C)^2 , C \neq E(X)$.
  ⑥$D(X) = 0 \Leftrightarrow P(X=C) = 1$.

3. 协方差与相关系数

(1) 协方差

  对于随机变量$X, \, Y$,如果$E \left \{[X - E(X) ][Y - E(Y)] \right \}$存在,则称其为随机变量$X, \, Y$的协方差,记为$Cov(X, \, Y)$,即
  $Cov(X, \, Y) = E \left \{[X - E(X)][Y - E(Y)] \right \}$

(2) 相关系数

  对于随机变量$X, \, Y$,如果$D(X) \neq 0, \, D(Y) \neq 0$,则称$\frac{Cov(X, \, Y)}{\sqrt{D(X)} \sqrt{D(Y)}}$为随机变量$XX, \, Y$的相关系数,记为$$\rho_{XY} = \rho(X, \, Y) = \frac{Cov(X, \, Y)}{\sqrt{D(X)} \sqrt{D(Y)}}$$注:$\rho_{XY}$表征随机变量$X, \, Y$之间的线性关系紧密程度,当$| \rho_{XY} |$较大时,说明$X$与$Y$线性相关程度较强;当$| \rho_{XY} |$较小时,说明$X$与$Y$线性相关程度较弱,当$| \rho_{XY} | = 0$时,称$X$与$Y$不相关。

(3) 协方差与相关系数的性质

  ①$Cov(X, \, X) = D(X)$.
  ②$Cov(X, \, Y) = Cov(Y, \, X)$.
  ③$Cov(X_1+ X_2, \, Y) = Cov(X_1, \, Y) + Cov(X_2, \, Y)$.
  ④$Cov(aX+c, \, bY+d) = abCov(X, \, Y), \, a, \, b, \, c, \, d$是常数.
  ⑤$| \rho_{XY} | \leqslant 1$.
  ⑥$| \rho_{XY} | = 1 \Leftrightarrow X$与$Y$以概率1线性相关,即存在$a, \, b$且$a \neq 0$,使$P(Y = aX+ b) = 1$.

4. 常见分布的数学期望与方差

分布 数学期望 方差
0 — 1 分布$B(1, \, p)$ $p$ $p(1-p)$
二项分布 $B(n, \, p)$ $np$ $np(1-p)$
泊松分布 $P(\lambda)$ $\lambda$ $\lambda$
几何分布 $G(p)$ $\frac{1}{p}$ $\frac{1-p}{p^2}$
超几何分布 $H(N, \, M , \, n)$ $n \cdot \frac{M}{N}$ $n \cdot \frac{M}{N}(1 - \frac{M}{N}) \cdot \frac{N-n}{N-1}$
均匀分布 $U(a, \, b)$ $\frac{a+b}{2}$ $\frac{(b-a)^2}{12}$
正态分布 $N(\mu , \, \sigma^2)$ $\mu$ $\sigma^2$
指数分布 $E(\lambda)$ $\frac{1}{\lambda}$ $\frac{1}{\lambda^2}$

五、大数定律和中心极限定理

1. 切比雪夫不等式

  设$X$是一个随机变量,且有有限方差,则对任意$\varepsilon > 0$,有$$P \left \{ |X - E(X) | \geqslant \varepsilon \right \} \leqslant \frac{D(X)}{\varepsilon ^2}$$或$P \left \{ |X - E(X) | < \varepsilon \right \} \geqslant \frac{D(X)}{\varepsilon ^2}$.

2. 大数定律

(1) 切比雪夫大数定律

  设随机变量$X_1 , \, X_2 , \, \cdots , \, X_n , \, \cdots$相互独立,每个$X_k$的方差存在,且一致有界,即存在常数$c$使得$D(X_k) \leqslant c (k = 1, \, 2, \, \cdots)$.令$$\overline{X} = \frac{1}{n}\sum_{k=1}^{n}X_k$$,$\mu = E(\overline{X})$,则对任意正数$\varepsilon$,有$$\lim_{n \to \infty}P \left \{ | \overline(X) - \mu | < \varepsilon \right \} = 1$$或$\lim\limits_{n \to \infty}P \left \{ | \overline(X) - \mu | \geqslant \varepsilon \right \} = 0$.

(2) 伯努利大数定律

  设事件$A$在每次试验中发生的概率为$p , \, n$此重复独立试验中事件$A$发生的次数为$n_A$,则对任意正数$\varepsilon$,有$\lim\limits_{n \to \infty}P \left \{ |\frac{n_A}{n} - p| < \varepsilon \right \} = 1$或$\lim\limits_{n \to \infty}P \left \{ |\frac{n_A}{n} - p| \geqslant \varepsilon \right \} = 0$

(3) 辛钦大数定律

  设随机变量$X_1, \, X_2, \, \cdots , \, X_n , \, \cdots$相互独立,服从同一分布,且具有相同的数学期望$E(X_k) = \mu (k= 1 , \, 2 , \, \cdots)$,则对任意正数$\varepsilon$,有$$\lim_{n \to \infty} P \left \{ | \frac{1}{n}\sum_{k=1}^{n}X_k - \mu | \right \} = 1$$或   $\lim\limits_{n \to \infty}P \left \{ | \frac{1}{n} \sum_{k=1}^{n}X_k - \mu | \right \} = 0$.

3. 中心极限定理

(1) 列维——林德伯格定理

  设随机变量$X_1, \, X_2, \, \cdots , \, X_n , \, \cdots $相互独立,服从同一分布,且具有相同的数学期望和方差$E(X_k) = \mu, \, D(X_k) = \sigma ^2(k = 1, \, 2, \, \cdots)$,则随机变量$Y_n = \frac{\sum_{k=1}^{n}X_k - n\mu }{\sqrt{n}\sigma}$的分布函数$F_n(x)$收敛到标准正态分布,即对任意$x$满足$$\lim_{n \to \infty}F_n(x) = \int_{-\infty}^{x}\frac{1}{\sqrt{2 \pi}}e^{-\frac{t^2}{2}}dt$$.

(2) 棣莫弗——拉普拉斯定理

  设随机变量$\eta_n(n = 1, \, 2, \, \cdots) \, \sim \, B(n, \, p)(0 < p < 1)$,则对任意$x$,有$$\lim_{n \to \infty}P \left \{ \frac{\eta_{n}-np}{\sqrt{np(1-p)}} \leqslant x \right \} = \int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}}e^{-\frac{t^2}{2}}dt$$.显然$\eta_n = \sum_{k=1}^{n}X_k$,其中$X_1 , \, X_2 , \, \cdots , \, X_n$独立同服从$B(1 , \, p)$分布.


六、数理统计的基本概念

1. 总体和样本

(1) 总体

  把研究对象的全体所构成的一个集合称为总体,总体是一个随机变量,记作$X$. 而把组成总体的每一个元素称为个体.

(2) 样本

  从总体中按照某种方式抽取若干个个体所组成的集合称为样本,个体的个数$n$称为样本容量,容量为$n$的样本记为($X_1, \, X_2, \, \cdots, \, X_n$).

(3) 简单随机样本

  总体$X$中的$n$个相互独立且与总体$X$同分布的随机变量$X_1, \, X_2, \, \cdots, \, X_n$称为容量为$n$的简单随机样本,简称样本.

(4) 样本($X_1, \, X_2, \, \cdots, \, X_n$)的联合分布函数

2. 统计量

(1) 定义

  不含总体分布中任何未知参数的样本$X_1, \, X_2, \, \cdots, \, X_n$的任意函数$g(X_1, \, X_2, \, \cdots, \, X_n)$称为统计量.若$x_1, \, x_2, \, \cdots, \, x_n$是样本($X_1, \, X_2, \, \cdots, \, X_n$)的一个观察值,则称$g(x_1, \, x_2, \, \cdots, \, x_n)$是$g(X_1, \, X_2, \, \cdots, \, X_n)$的观察值.

(2) 常用统计量

  设$X_1, \, X_2, \, \cdots, \, X_n$是来自总体$X$的一个样本,$x_1, \, x_2, \, \cdots, \, x_n$是这一样本的观察值。
  ①样本均值 $\overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$;
  ②样本方差$$\begin{align}S^2 &= \frac{1}{n-1}\sum_{i=1}^n(X_i - \overline{X})^2 \\ &= \frac{1}{n-1}(\sum_{i=1}^n X_i^2 - n \overline{X}^2 ); \end{align}$$
  ③样本标准差$S = \sqrt{\frac{1}{n-1}} \sum_{i=1}^n(X_i - \overline{X})^2$;
  ④样本$k$阶原点矩$A_k = \frac{1}{n}\sum_{i=1}^n X_i^k, , k=1, \, 2, \, \cdots $;
  ⑤样本$k$阶中心距$B_k = \frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^k , \, k=1, \, 2, \, \cdots$。

3. 常用抽样分布

(1) $\chi^2$分布

  ①定义 设随机变量$X_1, \, X_2, \, \cdots, \, X_n$相互独立,且都服从标准正态分布$N(0, \, 1)$,则随机变量$\chi^2 = X_1^2 + X_2^2 + \cdots + X_n^2$所服从的分布称为自由度为$n$的$\chi^2$分布,记为$\chi^2 \sim \chi^2(n)$。
  ②性质
  i)若$X \sim \chi^2(n) , \, Y \sim \chi^2(m)$且$X$与$Y$独立,则$X+Y \sim \chi^2(m+n)$。
  ii)$E(\chi^2(n)) = n , \, D(\chi^2(n)) = 2n$。

(2) $t$分布

  ①定义 设$X \sim N(0, \, 1), \, Y \sim \chi^2(n), \, X$与$Y$独立,则随机变量$T= \frac{X}{\sqrt{Y/n}}$所服从的分布称为自由度为$n$的$t$分布,记为$T \sim t(n)$。
  ②性质
  i)$E(T) = 0, \, n > 1, \, D(T) = \frac{n}{n-2} , \, n > 2.$
  ii)$\lim\limits_{n \to \infty}f(x) = \frac{1}{\sqrt{2 \pi}}e^{-\frac{x^2}{2}} = \varphi(x), \,$即当$n$足够大时,$t(n)$近似服从$N(0, \, 1)$

(3) $F$分布

  ①定义 设随机变量$U \sim \chi^2(n_1), \, V \sim \chi^2(n_2), \,$且$U$与$V$独立,则随机变量$F(n_1, \, n_2) = \frac{U/n_1}{V/n_2}$所服从的分布称为自由度为$(n_1, \, n_2)$的$F$分布,记作$F \sim F(n_1, \, n_2)$。
  ②性质
  i)若$F \sim F(n_1, \, n_2)$,则$\frac{1}{F} \sim F(n_2, \, n_1)$
  ii)若$X \sim t(n), \,$则$X^2 \sim F(1,n)$。

4. 正态总体的常用统计量分布

(1) 单个正态总体的抽样分布

  设$X_1, \, X_2, \, \cdots, \, X_n$是来自总体$N(\mu, \, \sigma^2)$的样本,$\overline{X}, \, S^2$分别是样本均值与样本方差,则
  ①$\overline{X} \sim N(\mu, \, \frac{\sigma^2}{n}, \, \frac{\overline{X} - \mu}{\sigma/ \sqrt{n}} \sim N(0, \, 1)$;
  ②$\overline{X}$与$S^2$相互独立,且$E(\overline{X}) = \mu, \, E(S^2) = \sigma^2$;   ③$$\begin{align} \frac{(n-1)S^2}{\sigma^2} &= \frac{1}{\sigma^2}\sum_{i=1}^n (X_i - \overline{X})^2 \\ & \sim \chi^2(n-1); \end{align}$$   ④$\frac{1}{\sigma^2}\sum_{i=1}^n(X_i - \overline{X})^2 \sim \chi^2(n)$;
  ⑤$\frac{\overline{X}- \mu}{S/ \sqrt{n}} \sim t(n-1)$。

(2) 两个正态总体的抽样分布

  设$X_1, \, X_2, \, \cdots, \, X_{n_1}$和$Y_1, \, Y_2, \, \cdots , \, Y_{n_2}$分别是来自正态总体$N(\mu_1, \, \sigma_1^2), \, N(\mu_2, \, \sigma_2^2)$的样本,且这两个样本相互独立,设$$\overline{X} = \frac{1}{n_1}\sum_{i=1}^{n_1}Xi , \, S_1^2 = \frac{1}{n_1-1}\sum_{i=1}^{n_1}(X_i-\overline{X})^2$$ $$\overline{Y} = \frac{1}{n_2}\sum_{i=1}^{n_2}Y_i , \, S_2^2 = \frac{1}{n_2-1}\sum_{i=1}^{n_2}(Y_i-\overline{Y})^2$$分别是这两个样本的样本均值与样本方差,则①$$\begin{align} & \overline{X} \pm \overline{Y} \sim N(\mu_1 \pm \mu_2, \frac{\sigma_1^2}{n_1}+ \frac{\sigma_2^2}{n_2}), \\ & \frac{(\overline{X}-\overline{Y})-(\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+ \frac{\sigma_2^2}{n_2}}} \sim N(0, \, 1) \end{align}$$ ②$$\frac{(n_1-1)S_1^2}{\sigma_1^2}+\frac{(n_2-1)S_2^2}{\sigma_2^2} \sim \chi^2(n_1+n_2-2)$$ ③$$\frac{\sum_{i=1}^{n_1}(X_i-\mu_1)^2/n_1 \sigma_1^2}{\sum_{i=1}^{n_2}(Y_i-\mu_2)^2/n_2 \sigma_2^2} \sim F(n_1, \, n_2)$$ ④$$\frac{S_1^2/S_2^2}{\sigma_1^2/ \sigma_2^2} = \frac{S_1^2/ \sigma_1^2}{S_2^2/ \sigma_2^2} \sim F(n_1-1, \, n_2-1)$$ ⑤当$\sigma_1^2 = \sigma_2^2 = \sigma^2$时,$$\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_\omega \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}} \sim t(n_1+n_2-2)$$ 其中$$S_\omega^2 = \frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1+n_2-2}$$