概率论与数理统计总复习

复习课本：中科大使用的教辅《概率论和数理统计》缪柏其、张伟平版本

0.部分积分公式

1.容斥原理

2.条件概率

3.全概率公式

4.贝叶斯公式

5.独立性

6.伯努利分布（两点分布）

7.二项分布

8.帕斯卡分布（负二项分布）

9.泊松（Poisson）分布

10.分布函数

11.连续型随机变量，概率密度函数

12.均匀分布

13.指数分布

14.正态分布

15.随机变量函数（一种变换）

16.多维随机变量

17.边际分布

18.条件分布

19.数学期望

20.中位数和众数

21.方差和矩

22.协方差

23.熵

24.大数定理和中心极限定理

25.统计量

26.χ²分布

27.t分布

28.F分布

29.矩估计

30.最大似然估计

31.优良性准则

32.置信区间和置信系数

33.枢轴变量法

34.大样本方法

35.假设检验概念

36.正态总体参数检验

37.拟合优度检验

0.部分积分公式

$\Gamma$ 函数：

$\Gamma(r)=\int_{0}^{+\infty}e^{-t}t^{r-1}dt$

性质：

$\Gamma(r+1)=r\Gamma(r)$

$\Gamma(n)=(n-1)!$

$\Gamma(1)=1,\Gamma(\frac{1}{2})=\sqrt \pi$

$\Gamma(z)\Gamma(1-z)=\frac{\pi}{\sin(\pi z)}$

$\beta$ 函数：

$B(P,Q)=\int_{0}^{1}x^{p-1}(1-x)^{q-1}dx$

性质：

$B(P,Q)=\frac{\Gamma(P)\Gamma(Q)}{\Gamma(P+Q)}$

1.容斥原理

$P(\bigcup_{k=1}^{n}A_k)=\sum_{k=1}^{n}P(A_k)-\sum_{1\leq i <j\leq n}P(A_iA_j)+\sum_{1\leq i <j<k\leq n}P(A_iA_jA_k)-\dots+(-1)^{n-1}P(A_1A_2\dots A_n)$

2.条件概率

$P(A|B)=\frac{P(AB)}{P(B)}$

3.全概率公式

$B_i\dots$ 是样本空间 $\Omega$ 的一个划分（完备事件群），则

$P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)$

例1.20

4.贝叶斯公式

$B_i\dots$ 是样本空间 $\Omega$ 的一个划分（完备事件群），则

$P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}$

即因果关系互换

例1.24

5.独立性

$P(AB)=P(A)P(B)$

或 $P(B|A)=P(B)$

$P(A_{i1}A_{i2}\dots A_{ik})=P(A_{i1})P(A_{i2})\dots P(A_{ik})$

读完18后

对于随机变量X,Y的联合分布：

$F(x,y)=F_1(x)F_2(y)$

则X,Y相互独立

同理：

$f(x,y)=f_1(x)f_2(y)$

见例3.16

读22后

若非退化的X,Y存在方差，X,Y不相关的等价命题：

$Cov(X,Y)=0,\\ E(XY)=E(X)E(Y),\\ Var(X+Y)=Var(X)+Var(Y)$

6.伯努利分布（两点分布）

满足0-1分布

$P(X=0)=1-p\\ P(X=1)=p$

7.二项分布

设离散型随机变量X所有可能取值为{0,1,...,n}，0<p<1

$P(X=k)=\binom{n}{k}p^k(1-p)^{n-k},k=0,1,\dots,n$

记 $X\sim B(n,p)$

读19后

$E(X)=np$

$Var(X)=np(1-p)$

读25后

设 $X=(X_1,X_2,\dots,X_n)$ 为来自总体 $X\sim B(1,p)$ 的简单样本，统计量的抽样分布：

$T(X)=\sum_{i=1}^{n}X_i\sim B(n,p)$

读36后

比例p的检验

设 $X=(X_1,X_2,\dots,X_n)$ 为来自总体 $X\sim B(1,p)$ 的简单样本，p的常见假设有三种：

$H_0:p\leq p_0\leftrightarrow H_1:p>p_0$

$H_0':p\geq p_0\leftrightarrow H_1':p<p_0$

$H_0'':p= p_0\leftrightarrow H_1'':p\neq p_0$

其中 $p_0$ 为(0,1)已知常数

8.帕斯卡分布（负二项分布）

$X_r$ 取正整数值，其分布率为：

$P(X_r=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},k=r,r+1,\dots$

其中r为正整数，0<p<1，记为 $X\sim NB(r,p)$

$P(X_r=k)$ 记为 $nb(r,p,k)$ ，代表【前k-1次恰有r-1次成功，且第k次成功】的概率

见例2.8

9.泊松（Poisson）分布

$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},k=0,1,\dots\\\lambda>0$

记为 $X\sim P(\lambda)$

泊松逼近定理

设一族随机变量 $X_n\sim B(n,p_n)$ ，若当 $n\rightarrow \infty$ 时， $np_n\rightarrow \lambda >0$ ，则

$\lim_{n\rightarrow \infty}P(X_n=k)=e^{-\lambda}\frac{\lambda^k}{k!},k=0,1,\dots$

$n\geq30,np_n\leq 5$ 时即可应用

例2.15

读19后

$E(X)=\lambda$

$Var(X)=\lambda$

读34后

从泊松分布总体 $P(\lambda)$ 中抽取一个简单随机样本 $x_1,x_2,\dots,x_n$ ，求 $\lambda$ 的区间估计

由中心极限定理以及上面的期望方差，有枢轴变量：

$\frac{\sqrt{n}(\bar{X}-\lambda)}{\sqrt{\lambda}}\sim N(0,1)$

得： $\lambda\in \bar{x}+\frac{u_{\alpha/2}^2}{2n}\pm u_{\alpha/2}\sqrt{\frac{\bar{x}}{n}+\frac{u_{\alpha/2}^2}{4n^2}}$

同理，样本方差也可进入枢轴变量：

$\sqrt{n}(\bar{X}-\lambda)/S\sim N(0,1)$

10.分布函数

$F(x)=P(X\leq x)$

11.连续型随机变量，概率密度函数

若存在非负函数 $f(x)\geq 0$ ，对于任意x

$F(x)=\int_{-\infty}^{x}f(t)dt$

则X为连续性随机变量，f(x)为概率密度函数，

记为 $X\sim f(x)$

12.均匀分布

$f(x)=\frac{1}{b-a}I_{(a,b)}(x)$

记为 $X\sim U(a,b)$

读19后

$E(X)=\frac{b+a}{2}$

$Var(X)=\frac{(b-a)^2}{12}$

13.指数分布

$f(x)=\lambda e^{-\lambda x}I_{(0,\infty)}(x)$

其中 $\lambda >0$

记为 $X\sim Exp(\lambda)$

性质：无记忆性

$P(X>s+t|X>t)=P(X>s)$

读19后

$E(X)=\frac{1}{\lambda}$

$Var(X)=\frac{1}{\lambda^2}$

读20后

矩母函数

$M_Y(s)=E(e^{sY})=\int_{0}^{\infty}\lambda e^{-\lambda y}e^{sy}dy=\frac{\lambda}{\lambda-s}$

读34后

从指数分布总体 $Exp(\lambda)$ 中抽取一个简单随机样本 $x_1,x_2,\dots,x_n$

求均值 $\theta=\lambda^{-1}$ 的 $1-\alpha$ 置信区间

枢轴变量： $2n\lambda\bar{X}\sim \chi^2_{2n}$

$\theta=\lambda^{-1}\in[\frac{2n\bar{x}}{\chi^2_{2n}(\alpha/2)},\frac{2n\bar{x}}{\chi_{2n}^2(1-\alpha/2)}]$

同理n充分大时，可以用中心极限定理

枢轴变量： $\frac{\sqrt{n}(\bar{X}-\theta)}{\theta}\sim N(0,1)$

14.正态分布

$f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\},x\in \mathbb{R}$

记为 $X\sim N(\mu,\sigma^2)$

$\mu=0,\sigma=1$ 时为标准正态分布，此时的 $f(x)$ 记为 $\varphi(x)$ ，分布函数 $F(x)$ 记为 $\Phi(x)$

性质：

$\Phi(-x)=1-\Phi(x)$

对于一般正态分布的F(x)，有变换 $\frac{X-\mu}{\sigma}\sim N(0,1)$ ，称为标准化变换。

$F(x)=\Phi(\frac{x-\mu}{\sigma})$

读19后

$E(X)=\mu$

$Var(X)=\sigma^2$

读20后

矩母函数

$M_X(s)=E(e^{sX})=\int_{-\infty}^{\infty}e^{xs}\frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx=e^{\mu s+\frac{1}{2}\sigma^2s^2}$

读28后

如果随机变量 $X_1,X_2,\dots,X_n \sim N(\mu,\sigma^2)$ ，c都为常数，则独立的正态随机变量的线性组合服从正态分布：

$T=\sum_{k=1}^{n}c_kX_k\sim N(\mu\sum_{k=1}^nc_k,\sigma^2\sum_{k=1}^nc_k^2)$

特殊：c都为1/n，则T为样本均值

$\bar{X}\sim N(\mu,\frac{\sigma^2}{n})$

读33后

正态总体均值 $\mu$ 的置信区间为 $\bar{x}\pm d$ ，其中误差界限d：

$\sigma^2$ 已知时：

枢轴变量： $\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\sim N(0,1)$

$d=\frac{\sigma}{\sqrt{n}}u_{\alpha/2}$

$\sigma^2$ 未知时：

枢轴变量： $\frac{\sqrt{n}(\bar{X}-\mu)}{S}\sim t_{n-1}$

$d=\frac{s}{\sqrt{n}}t_{n-1}(\alpha/2)$

n>30， $\sigma^2$ 未知，总体不必为正态：

使用中心极限定理： $\hat{\sigma}$ 为总体标准差的相合估计

$d=\frac{\hat{\sigma}}{\sqrt{n}}u_{\alpha/2}$

均值方差都未知时，正态分布方差 $\sigma^2$ 的置信区间估计

枢轴变量： $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2_{n-1}$

$\sigma^2\in [(n-1)s^2/\chi^2_{n-1}(\alpha/2),(n-1)s^2/\chi^2_{n-1}(1-\alpha/2)]$

两个独立正态分布总体，分别服从 $N(\mu_1,\sigma^2_1),N(\mu_2,\sigma^2_2)$ ，

求均值差 $\mu_1-\mu_2$ 置信系数为 $1-\alpha$ 的置信区间

$\sigma_1^2,\sigma^2_2$ 已知时：

$\bar{Y}-\bar{X}\sim N(\mu_2-\mu_1,\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n})$

枢轴变量： $\frac{(\bar{Y}-\bar{X})-(\mu_2-\mu_1)}{\sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}}\sim N(0,1)$

则： $\mu_2-\mu_1\in (\bar{y}-\bar{x})\pm \sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}u_{\alpha/2}$

$\sigma_1^2,\sigma^2_2$ 未知时：

枢轴变量： $\sqrt{\frac{mn}{m+n}}\frac{(\bar{Y}-\bar{X})-(\mu_2-\mu_1)}{S_T}\sim t_{n+m-2}$

其中 $(n+m-2)S_T^2=(m-1)S_X^2+(n-1)S_Y^2$

则： $\mu_2-\mu_1\in\bar{y}-\bar{x}\pm\sqrt{\frac{mn}{m+n}}s_Tt_{m+n-2}(\alpha/2)$

两个正态总体方差比的区间估计：

两个独立正态分布总体，分别服从 $N(\mu_1,\sigma^2_1),N(\mu_2,\sigma^2_2)$ ，求 $\frac{\sigma_1^2}{\sigma_2^2}$ 的区间估计

枢轴变量： $\frac{S_X^2}{S_Y^2}\frac{\sigma_2^2}{\sigma_1^2}\sim F_{m-1,n-1}$

则： $\sigma_1^2/\sigma_2^2\in [(s_1^2/s^2_2)F_{n-1,m-1}(1-\alpha/2),(s_1^2/s^2_2)F_{n-1,m-1}(\alpha/2)]$

15.随机变量函数（一种变换）

分布函数

设 $X\sim f(x),Y=g(x)$ ，则随机变量Y的分布函数 $F_1(y)$ 为

$F_1(y)=P(Y\leq y)=P(g(X)\leq y)=\int_{g(x)\leq y}f(x)dx$

密度函数变换公式

若 $g(x)$ 是严格单调的且反函数 $h(y)$ 可导，则随机变量Y仍为连续性随机变量，且有概率密度函数 $f_1(y)$

$f_1(y)=\left\{\begin{matrix} f(h(y))|h'(y)|,\qquad \alpha<y<\beta,\\ 0,\qquad \mbox{\text{else}} \end{matrix}\right.$

其中 $\alpha=\min\{g(-\infty),g(\infty)\},\beta=\max\{g(-\infty),g(\infty)\}$

如果不是严格单调函数，求解思路为：

先求目标转换值的分布函数（难点在积分限，搞出原值的范围），再求导得到它的概率密度函数

例2.26,2.27

看完18后

二元密度函数的变换

其中 $Z_1=g_1(X,Y),Z_2=g_2(X,Y)$ 为一维随机变量

即有 $z_1=g_1(x,y),z_2=g_2(x,y)$ ，对应的反函数 $x=\varphi_1(z_1,z_2),y=\varphi_2(z_1,z_2)$ l

$f_Z(z_1,z_2)=f(\varphi_1(z_1,z_2),\varphi_2(z_1,z_2))|\frac{\partial(\varphi_1(z_1,z_2),\varphi_2(z_1,z_2))}{\partial(z_1,z_2)}|$

对于常见的Z=X+Y变换，取Z'=X，则雅可比行列式值为1，转换为卷积形式

$f_{X+Y}(z)=\int_{-\infty}^{\infty}f_1(x)f_2(z-x)dx=f_1*f_2(z)$

例3.20,3.21

最大值和最小值的分布

设X和Y相互独立，求max{X,Y}和min{X,Y}的分布

$F_{\max}(z)=F_1(z)F_2(z)\\ F_{\min}(z)=1-(1-F_1(z))(1-F_2(z))$

对于密度分布 $X\sim f_1(x),Y\sim f_2(y)$

$f_{\max}(z)=f_1(z)F_2(z)+F_1(z)f_2(z)\\ f_{\min}(z)=f_1(z)(1-F_2(z))+(1-F_1(z))f_2(z)$

例3.28

读25后

设 $X=(X_1,X_2,\dots,X_n)$ 为来自总体 $X\sim U(0,\theta)$ 的简单样本，统计量的抽样分布：

$T(X)=X_{(n)}$

由上文知识可知： $F_T(t)=(F(t))^n$ ，可知T的分布函数：

$F_T(t)=\frac{t^n}{\theta^n}I_{(0,\theta)}(t)$

概率密度函数：

$f_T(t)=\frac{nt^{n-1}}{\theta^n}I_{(0,\theta)}(t)$

读31后

设 $X=(X_1,X_2,\dots,X_n)$ 为来自总体 $X\sim U(0,\theta)$ 的简单样本，证明 $\theta$ 的最大似然估计 $\hat{\theta_L}=X_{(n)}$ 不是 $\theta$ 的无偏估计。

$E(\hat{\theta}_L)=E(X_{(n)})=\int_{0}^{\theta}\frac{nx^n}{\theta^n}dx=\frac{n}{n+1}\theta$

则做个修正：

$\frac{n+1}{n}X_{(n)}$ 为 $\theta$ 的无偏估计

读19后

X有分布函数 $F_X(x)$ ，变换 $Y=g(X)$

分别为离散型和连续型的情况

$E(Y)=\left\{\begin{matrix} \sum g(x)P(X=x)\\ \int_{\mathbb{R}^n}g(x)f_X(x)dx \end{matrix}\right.$

16.多维随机变量

对于试验结果需要两个及以上随机变量来描述。

$\textbf{X}(\omega)=(X_1(\omega),X_2(\omega),\dots,X_n(\omega))$

称为n维随机变量，简记为 $\textbf{X}$

联合分布函数

设（X,Y）为二维随机变量，称二元函数

$F(x,y)=P(X\leq x,Y\leq y)=P(\{X\leq x\}\bigcap \{Y\leq y\})$

为（X,Y）的分布函数（联合分布函数）

ps：类似于落在矩形域上

二维连续型随机变量

$F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y}f(u,v)dudv$

若f(x,y)在该点连续，则

$\frac{\partial^2F(x,y)}{\partial x\partial y}|_{x_0,y_0}=f(x_0,y_0)$

二元正态分布

$f(x,y)=\frac{1}{2\pi \sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\{-\frac{1}{2(1-\rho^2)}[\frac{(x-a)^2}{\sigma_1^2}-2\rho\frac{(x-a)(y-b)}{\sigma_1\sigma_2}+\frac{(y-b)^2}{\sigma_2^2}]\}$

其中 $-\infty<a,b<\infty,0<\sigma_1,\sigma_2<\infty,-1<\rho<1$

记为 $N(a,b,\sigma_1^2,\sigma_2^2,\rho)$

分布

$Y|x\sim N(\mu_2+\rho \sigma_2\sigma_1^{-1}(x_1-\mu_1),(1-\rho^2)\sigma_2^2)$

读22后

$Cov(X,Y)=\rho \sigma_1\sigma_2$

$\rho_{X,Y}=\rho$

17.边际分布

设（X,Y）的联合分布函数为F(x,y)，则其分量X和Y的分布函数 $F_1(x)$ 和 $F_2(y)$ 称为F的边缘分布

$F_1(x)=P(X\leq x)=P(X\leq x,Y<\infty)\\ =\lim_{y\rightarrow \infty}F(x,y)\equiv F(x,\infty)$

因为相关性的存在，边缘分布律不能决定联合分布律。

$F_1(x)=F(x,\infty)=\int_{-\infty}^{x}\int_{-\infty}^{\infty}f(u,y)dudy\\ F_2(y)=F(\infty,y)=\int_{-\infty}^{\infty}\int_{-\infty}^{y}f(u,y)dudy$

求个导：

$f_1(x)=\int_{\mathbb{R}}f(x,y)dy\\ f_2(y)=\int_{\mathbb{R}}f(x,y)dx$

为边际概率密度函数

例3.9

18.条件分布

若 $f_2(y)>0$ ，那么称

$f_{X|Y}(x|y)=\frac{f(x,y)}{f_2(y)}$

为给定Y=y下随机变量X的条件概率密度函数

可得出连续性随机变量的贝叶斯公式的密度函数形式：

$f_{Y|X}(y|x)=\frac{f(x,y)}{f_1(x)}=\frac{f_{X|Y}(x|y)f_2(y)}{f_1(x)}$

例3.12

19.数学期望

离散型：

分布律为 $P(X=x_k)=p_k,k=0,1,\dots$

如果 $\sum_{k\geq1}|x_k|p_k<\infty$ （绝对收敛）

那么数学期望 $E(X)=\sum_{k\geq 1}x_kp_k$

例4.2

连续型：

设 $X\sim f(x)$ ，如果 $\int_{\mathbb{R}}|x|f(x)dx<\infty$ （即 $E(|X|)<\infty$ ）

则数学期望 $E(X)=\int_{\mathbb{R}}xf(x)dx$

性质：

$E(X_1+X_2+\dots+X_n)=\sum_{i=1}^{n}E(X_i)$

如果随机变量相互独立

$E(X_1X_2)=E(X_1)E(X_2)$

变换性质见15

条件数学期望

$E(X|Y=y_k)=\left\{\begin{matrix} \sum_{i=1}^{n}x_iP(X=x_i|Y=y_k)\\ \int_{-\infty}^{\infty}xf_{X|Y}(x|y)dx \end{matrix}\right.$

$E(Y|x)$ 是x的函数（一个值）

$E(Y|X)$ 不固定X的值，那么这就是随机变量X的函数。（是随机变量）

条件期望的平滑公式（全期望公式）

$E(E(Y|X))=E(h(X))=\int_{-\infty}^{\infty}h(x)f_1(x)dx\\ =\int_{-\infty}^{\infty}f_1(x)dx\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy\\ =\iint y\frac{f(x,y)}{f_1(x)}f_1(x)dxdy\\ =\int_{-\infty}^{\infty}ydy\int_{-\infty}^{\infty}f(x,y)dx\\ =\int_{-\infty}^{\infty}yf_2(y)dy\\ =E(Y)$

例4.12

20.中位数和众数

中位数为m，有

$P(X\geq m)=1-F(m-0)\geq \frac{1}{2}\\ P(X\leq m)=F(m)\geq\frac{1}{2}$

中位数可能不唯一，但当X的概率密度函数f(x)>0时，中位数唯一，且：

$F(m)=\frac{1}{2}$ $\int_{-\infty}^{m}f(x)dx=\frac{1}{2}$

众数为 $m_d$ ,有

X为离散型，概率质量函数最大时对应的随机变量X值

X为连续型，f(x)达到最大时的x值

众数可能不唯一。

唯一的话，称为单峰。

例4.15

p分位数

设0<p<1， $Q_p$ 是随机变量X的p分位数，是指

$P(X\leq Q_p)\geq p,\qquad P(X\geq Q_p)\geq 1-p$

例4.16

21.方差和矩

随机变量X是平方可积的，即 $E(X^2)<\infty$

$\sigma^2=Var(X)=E(X-\mu)^2\\ \sigma=\sqrt{Var(X)}$

分别为方差和标准差

性质：

$Var(X)=E(X^2)-[E(X)]^2$

$Var(cX)=c^2Var(X),Var(X+c)=Var(X)$

$Var(\sum_{i=1}^{n}X_i)=\sum_{i=1}^{n}Var(X_i)$

即有

$Var(\sum_{i=1}^{n}c_iX_i)=Var(\bar{X})=\frac{Var(X)}{n}=\frac{\sigma^2}{n}$

$Var(X_1-X_2)=Var(X_1)+Var(X_2)$

马尔科夫不等式

$P(Y\geq \varepsilon )\leq\frac{E(Y)}{\varepsilon}$

推论：切比雪夫不等式

$P(|X-\mu|\geq \varepsilon)\leq \frac{Var(X)}{\varepsilon^2}$

例4.23

矩

$E(X-c)^k$ 称为X关于c的k阶矩

$\alpha_k=E(X^k)$ 为随机变量的k阶原点矩

$\mu_k=E(X-E(X))^k$ 为随机变量的k阶中心矩

其中k为正整数，也要有必要的收敛（k方可积）

$E(X)=\alpha_1,Var(X)=\mu_2$

计算有关正态分布矩：

$\int_{0}^{\infty}x^\alpha e^{-\beta x^2}dx=\frac{\Gamma((\alpha+1)/2)}{2\beta^{(\alpha+1)/2}}$

矩母函数

$M_X(s)=E(e^{sX})$

可以生成中心矩

$E(X^k)=\frac{\mathrm{d} ^k}{\mathrm{d} s^k}M_X(s)|_{s=0}$

22.协方差

设X和Y平方可积，则有协方差

$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$

此时即有：

$Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)$

性质：

$Cov(X,Y)=Cov(Y,X)$

$Cov(X,Y)=E(XY)-E(X)E(Y)$

$Cov(aX+b,cY+d)=ac\mbox{ } Cov(X,Y)$

$Cov(aX+bY,cX+dY)=acVar(X)+(ad+bc)Cov(X,Y)+bdVar(Y)$

若X，Y相互独立，则 $Cov(X,Y)=0$

$[Cov(X,Y)]^2\leq Var(X)Var(Y)$

相关系数

$\rho_{X,Y}=Cov(\frac{X-E(X)}{\sqrt{Var(X)}},\frac{Y-E(Y)}{\sqrt{Var(Y)}})=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

相关系数不能反映随机变量之间具有某种函数关系，只是刻画线性相关程度

例4.48

23.熵

设X为离散型随机变量，分布律：

$P(X=x_k)=p_k$

熵 $H(X)=-\sum_{k=1}^{\infty}p_k\log_2(p_k)$

若X为连续型随机变量，概率密度函数 $f_X(x)$

熵 $H(x)=-\int_{-\infty}^{\infty}f_X(x)\ln f_X(x)dx$

性质：对于常数c

$H(X+c)=H(X)$

给定期望 $\mu$ 和方差 $\sigma^2$ ，具有最大熵的连续型随机变量是正态分布

给定期望 $\lambda$ ，具有最大熵的取值于 $(0,\infty)$ 的连续型随机变量是指数分布

24.大数定理和中心极限定理

依概率收敛

设 $X_1,X_2,\dots,X_n,\dots$ 是一串随机变量序列， $X$ 为随机变量，如果对 $\forall \varepsilon>0$ ，有

$\lim_{n\rightarrow \infty}P(|X_n-X|\geq \varepsilon)=0$

则称随机变量序列 $\{X_n\}$ 依概率收敛于随机变量 $X$ ，记为

$X_n\xrightarrow[]{P}X$

依分布收敛

设 $X_1,X_2,\dots,X_n,\dots$ 是一串随机变量序列， $X$ 为随机变量，

$\lim_{n\rightarrow \infty}F_n(x)=F(x)$

则称 $\{F_n\}$ 弱收敛于F，也称随机变量序列 $\{X_n\}$ 依分布收敛于随机变量 $X$ ，记为

$X_n\xrightarrow[]{L}X$

两者关系：

依概率收敛能推出依分布收敛；

而依分布收敛只有收敛于常数c，才能推出依概率收敛于c

大数定律

设 $X_1,X_2,\dots,X_n,\dots$ 是一串随机变量序列，他们有相同期望和方差

$\lim_{n\rightarrow \infty}P(|\frac{S_n}{n}-\mu|\geq \varepsilon)=0$

伯努利大数定律：

若 $\{X_k\}$ 是0-1分布， $P(X_k=1)=p$

$\frac{1}{n}\sum_{k=1}^{n}X_k\xrightarrow[]{P}p$

林德伯格——莱维中心极限定理

设 $X_1,X_2,\dots,X_n,\dots$ 是一串随机变量序列，他们有相同期望和方差

$\lim_{n\rightarrow \infty}P(\frac{\sqrt n(S_n/n-\mu)}{\sigma}\leq x)=\Phi(x)$

亦可写为：

$\frac{\sqrt{n}(\bar{X}-\mu)}{\sigma}\xrightarrow{L}N(0,1)$

其中均值 $\bar{X}=\frac{S_n}{n}$

也是说部分和标准化后的分布函数近似于标准正态分布函数

$\lim_{n\rightarrow \infty}P(\frac{(S_n-E(S_n))}{\sqrt {Var(S_n)}}\leq x)=\Phi(x)$

例4.42

棣莫弗——拉普拉斯中心极限定理

设 $X_1,X_2,\dots,X_n,\dots$ 是一串随机变量序列，0<p<1,且 $X_i\sim B(1,p)$ ，则对于任意实数x

$\lim_{n\rightarrow \infty}P(\frac{S_n-np}{\sqrt{np(1-p)}}\leq x)=\Phi(x)$

np较小时，可以用泊松分布逼近二项分布

np较大时，可以用正态分布逼近二项分布

例4.40

25.统计量

完全由样本决定的量称为统计量

样本均值：

$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$

样本方差：

$S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2$

样本矩：

样本k阶原点矩：

$\alpha_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k,k=1,2,\dots$

样本k阶中心矩：

$m_k=\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^k,k=2,3,\dots$

样本相关系数：

$\rho_n=\frac{\sum_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{\sum_{i=1}^{n}(X_i-\bar{X})^2}\sqrt{\sum_{i=1}^{n}(Y_i-\bar{Y})^2}}$

次序统计量：

$X_{(1)}\leq X_{(2)}\leq \dots \leq X_{(n)}$

样本中位数：

$m_n=\left\{\begin{matrix} X_{(\frac{n+1}{2})} \qquad \qquad \quad n=odd\\ \frac{1}{2}[X_{(\frac{n}{2})}+X_{(\frac{n}{2}+1)}] \qquad n=even \end{matrix}\right.$

极值：

$X_{(1)},X_{(n)}$ 分别为样本的极小值和极大值，他们之差为极差（大减小）

抽样分布：

设 $(X_1,X_2,\dots,X_n)$ 为一个样本，统计量 $T=T(X_1,X_2,\dots,X_n)$ 的分布称为抽样分布。

抽样分布不同于样本分布！

例子可见7,15

26.χ²分布

设样本 $(X_1,X_2,\dots,X_n)$ 为来自标准正态总体的一个简单随机样本，称：

$X=X_1^2+X_2^2+\dots+X_n^2$

服从自由度为n的 $\chi^2$ 分布，记为： $X\sim \chi^2_n$

概率密度函数：

$k_n(x)=\frac{1}{\Gamma(n/2)2^{n/2}}\mbox{ }e^{-x/2}\mbox{ }x^{(n-2)/2}\mbox{ }I_{(0,\infty)}(x)$

性质：

若 $X\sim \chi^2_n$ ，则容易算得 $E(X)=n,Var(X)=2n$

若 $X\sim \chi^2_m$ ， $Y\sim \chi^2_n$ ，且X,Y独立，则 $Z=X+Y\sim \chi^2_{m+n}$

结论：

若 $X_1,X_2,\dots,X_n \sim N(\mu,\sigma^2)$ ， $S^2$ 为样本方差

$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2_{n-1}$

设 $X_1,X_2,\dots,X_m\sim Exp(\lambda)$ ，服从 $f(x,\lambda)=\lambda e^{-\lambda x}I_{(0,\infty)}(x)$ ，则：

$2\lambda n \bar{X}=2\lambda\sum_{i=1}^{n}X_i\sim \chi^2_{2n}$

卡方分布图形特征如下：

该函数n=1,2时曲线单调下降趋于0，当n≥3时有单峰

分布在第一象限内，卡方值都是正值，呈正偏态（右偏态），随着自由度增大，分布趋近于正态分布。

27.t分布

设 $X\sim N(0,1),Y\sim \chi^2_n$ ，且X,Y相互独立，称

$T=\frac{X}{\sqrt{Y/n}}$

服从自由度为n的t分布，记为 $T\sim t_n$

概率密度函数：

$f_n(t)=\frac{\Gamma((n+1)/2)}{\sqrt{n\pi}\mbox{ }\Gamma(n/2)}(1+\frac{t^2}{n})^{-(n+1)/2},t\in \mathbb{R}$

n=1时，为柯西分布，此时 $f_1(t)=\frac{1}{\pi (1+t^2)}$

性质：

若 $T\sim t_n$ ，则当n≥2时，由对称性可得 $E(T)=0$ ；当n≥3时， $Var(T)=\frac{n}{n-2}$

当 $n\rightarrow \infty$ 时， $t_n$ 分布的概率密度函数趋于标准正态分布概率密度函数

$\lim_{n\rightarrow \infty}f_n(t)=\varphi(t)$

结论：

若 $X_1,X_2,\dots,X_n \sim N(\mu,\sigma^2)$ ， $S$ 为样本标准差

$\frac{\sqrt{n}(\bar{X}-\mu)}{S}\sim t_{n-1}$

设 $X_1,X_2,\dots,X_m\sim N(\mu_1,\sigma_1^2),Y_1,Y_2,\dots,Y_n\sim N(\mu_2,\sigma^2_2)$ ，且两组样本相互独立，则：

$T=\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{S_T}\sqrt{\frac{mn}{m+n}}\sim t_{n+m-2}$

其中 $(n+m-2)S_T^2=(m-1)S_X^2+(n-1)S_Y^2$ ，

$S_X$ 为X样本组的样本方差

用于比较两组样本

t分布图形特性：

‌t分布的图形特征主要包括以下几个方面‌

‌单峰分布‌：t分布是一个单峰分布，以0为中心，左右对称。
‌尾部较厚‌：与标准正态分布相比，t分布的尾部较厚，这意味着它对极端值（异常值）更敏感。
‌自由度的影响‌：t分布的图形与自由度（df）有关。自由度越小，t分布的峰部越矮，尾部越高；随着自由度的增加，t分布逐渐接近标准正态分布；当自由度趋于无穷大时，t分布趋近于标准正态分布。

28.F分布

设 $X\sim \chi_m^2,Y\sim \chi^2_n$ ，且X,Y相互独立，称

$F=\frac{X/m}{Y/n}$

为服从自由度为m,n的F分布，记为 $F\sim F_{m,n}$

概率密度函数：

$f_{m,n}(x)=m^{m/2}n^{n/2}\frac{\Gamma((m+n)/2)}{\Gamma(m/2)\Gamma(n/2)}x^{m/2-1}(mx+n)^{-(m+n)/2}I_{(0,\infty)}(x)$

性质：

（1）若 $Z\sim F_{m,n}$ ，则 $1/Z\sim F_{n,m}$

（2）若 $T\sim t_n$ ，则 $T^2\sim F_{1,n}$

（3） $F_{m,n}(1-\alpha)=1/F_{n,m}(\alpha)$

结论：

设 $X_1,X_2,\dots,X_m\sim N(\mu_1,\sigma_1^2),Y_1,Y_2,\dots,Y_n\sim N(\mu_2,\sigma^2_2)$ ，且两组样本相互独立，则：

$F=\frac{S_X^2}{S_Y^2}\frac{\sigma_2^2}{\sigma_1^2}\sim F_{m-1,n-1}$

用于比较两组样本方差

F分布图形特性：

1. 非负性: F分布的取值范围是非负的，即 F ≥ 0。这是因为卡方变量本身是非负的，并且自由度也都是正数。

2. 偏态性: F分布是右偏的，其偏度取决于它的自由度。当分子自由度d1较小，分母自由度d2较大时，偏度较大；反之，当分子自由度d1较大，分母自由度d2较小时，偏度较小。随着自由度的增大，F分布逐渐趋近于对称分布。

3. 单峰性: F分布具有单峰性，即只有一个峰值。峰值的位置取决于它的自由度。

4.其中一个自由度v2趋近无穷时，F分布趋近于v1的卡方分布。

29.矩估计

离散型略

连续型：

$\alpha_i=E(X^j)=\int_{-\infty}^{\infty}x^jf(x;\theta_1,\theta_2,\dots,\theta_k)dx\\ \mu_i=E(X-\alpha_1)^j=\int_{-\infty}^{\infty}(x-\alpha_1)^jf(x;\theta_1,\theta_2,\dots,\theta_k)dx$

由大数定律，样本矩依概率收敛到总体矩。

应用中会做一点修正，尽量用低阶矩

样本矩是总体矩的渐近无偏估计

$\lim_{n\rightarrow \infty} E(\hat{\theta}(X_1,X_2,\dots,X_n))=\theta$

30.最大似然估计

样本X有联合概率密度分布：

$f(x;\theta)=f(x;\theta_1,\theta_2,\dots,\theta_k)$

固定x时，看做与参数 $\theta$ 有关的函数，称为似然函数： $L(\theta;x),L(\theta)$

估计在哪些 $\theta$ 之下，似然函数能取最大。

把 $x$ 拆成多个 $x_i$ ，形成积形式的联合概率密度函数。

$L=\prod_{i=1}^{k}f(x_i;\theta_1,\theta_2,\dots,\theta_n)$

对数似然函数

$\textit{l}(\theta)=\ln L(\theta)$

再求驻点

$\frac{\partial \textit{l}}{\partial \theta_i}=0,i=1,2,\dots,k$

若似然函数的严格单调的，则最大值在边界取到。

31.优良性准则

若对任何可能的 $(\theta_1,\theta_2,\dots,\theta_k)$

$E_{\theta_1,\theta_2,\dots,\theta_k}(\hat{g}(X_1,X_2,\dots,X_n))=g(\theta_1,\theta_2,\dots,\theta_k)$

则 $\hat{g}$ 是 $g(\theta_1,\theta_2,\dots,\theta_k)$ 的一个无偏估计量。

证明样本方差 $S^2$ 是 $\sigma^2$ 的无偏估计

$Var(\bar{X})=\frac{Var(X)}{n}$

$S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_k-\bar{X})^2$

$\sum_{i=1}^{n}(X_k-\bar{X})^2=\sum_{i=1}^{n}(X_k-\mu+\mu-\bar{X})^2\\ =\sum_{i=1}^{n}(X_k-\mu)^2+\sum_{i=1}^{n}(\bar{X}-\mu)^2-2\sum_{i=1}^{n}(X_k-\mu)(\bar{X}-\mu)\\ =\sum_{i=1}^{n}(X_k-\mu)^2+n(\bar{X}-\mu)^2-2(\bar{X}-\mu)\sum_{i=1}^{n}(X_k-\mu)$

$E(\sum_{i=1}^{n}(X_i-\bar{X})^2)\\ =E(\sum_{i=1}^{n}(X_i-\mu)^2)+nE(\bar{X}-\mu)^2-2E((\sum_{i=1}^{n}(X_i-\mu))(\bar{X}-\mu))\\ =nE(X-\mu)^2+nE(\bar{X}-\mu)^2-2E(n(\frac{\sum_{i=1}^{n}X_i}{n}-\mu)(\bar{X}-\mu))\\=nE(X-\mu)^2+nE(\bar{X}-\mu)^2-2nE(\bar{X}-\mu)^2\\ =nE(X-\mu)^2+n\frac{E(X-\mu)^2}{n}-2n\frac{E(X-\mu)^2}{n}\\ =n\sigma^2+n\frac{\sigma^2}{n}-2n\frac{\sigma^2}{n} =(n-1)\sigma^2$

而样本标准差 $S$ 不是样本总体标准差 $\sigma$ 的无偏估计：

S需要乘上一个修正系数。

$c_n=\sqrt{\frac{n-1}{2}}\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}$

有效性：

设 $\hat{\theta_1},\hat{\theta_2}$ 都是总体参数 $\theta$ 的无偏估计，方差存在，若：

$Var_\theta(\hat{\theta_1})\leq Var_\theta(\hat{\theta_2}),\forall \theta \in \Theta$

至少存在一个 $\theta$ ，使得上式不等号成立，则称 $\hat{\theta_1}$ 比 $\hat{\theta_2}$ 更有效

算术平均比加权平均更有效

大多数情况，最大似然估计比矩估计更有效，但是矩估计显然更容易得到。

例6.21

克拉默——拉奥方差下界（最小方差无偏估计，MVUE）

$Var_\theta(\hat{g}(X))\geq (g'(\theta))^2[nI(\theta)]^{-1}$

其中 $I(\theta)=E(\frac{\partial\ln f(X;\theta)}{\partial \theta})^2$ 为费舍尔信息函数

例6.22，23，25

相合性

样本量 $n\rightarrow \infty$ 时

$\hat{\theta}(X_1,X_2,\dots,X_n)\overset{P}{\rightarrow} \theta$

则称 $\hat{\theta}(X_1,X_2,\dots,X_n)$ 是 $\theta$ 的相合估计量。

例6.26，27

渐近正态性

$Var(\hat{\theta}(X_1,X_2,\dots,X_n))=\sigma^2_n(\theta)$

若当样本量 $n\rightarrow \infty$ 时有

$\lim_{n\rightarrow \infty}P(\frac{\hat{\theta}(X_1,X_2,\dots,X_n)-\theta}{\sigma_n(\theta)}\leq x)=\Phi(x)$

则称估计量 $\hat{\theta}(X_1,X_2,\dots,X_n)$ 有渐近正态性

一般情况下，矩估计和最大似然估计都有渐近正态性

$\sqrt{n}(\bar{X}_n-\mu)/ \sigma \xrightarrow{L}N(0,1)$

$\sqrt{n}(\bar{X}_n-\mu)/ S_n \xrightarrow{L}N(0,1)$

$\bar{X_n},S_n^2$ 都分别是 $\mu,\sigma^2$ 的相合估计

32.置信区间和置信系数

设 $(X_1,X_2,\dots,X_n)$ 是从总体中抽取出的一个简单随机样本，两个统计量满足

$\hat{\theta_1}(X_1,X_2,\dots,X_n)<\hat{\theta_2}(X_1,X_2,\dots,X_n)$

则给定一个小正数 $\alpha\in (0,1)$ ，若

$P_\theta(\hat{\theta_1}(X_1,X_2,\dots,X_n)\leq\theta \leq \hat{\theta_2}(X_1,X_2,\dots,X_n))=1-\alpha,\forall \theta\in \Theta$

称作参数 $\theta$ 的置信区间为 $[\hat{\theta_1},\hat{\theta_2}]$ ，置信系数 $1-\alpha$

$\alpha$ 越小（置信系数越高），置信区间越大（精度越低）

33.枢轴变量法

设感兴趣的参数为 $\theta$

（1）找一个 $\theta$ 的良好点估计 $T(X)$ ，一般为最大似然估计

（2）构造一个函数 $S(T,U,\theta)$ 为枢轴变量，其中 $U=U(X)$ 为统计量，使得他的分布 $F$ 已知。

一般为正态分布，χ²分布，t分布，F分布

（3） $a\leq S(T,U,\theta)\leq b$

要能改写为： $A\leq \theta \leq B$

（4）取分布 $F$ 上 $\alpha/2$ 位数 $w_{\alpha/2}$ 和上 $1-\alpha/2$ 位数 $w_{1-\alpha/2}$

$P(w_{1-\alpha/2}\leq S(T,U,\theta)\leq w_{\alpha/2})=1-\alpha$

（5）则置信系数为 $1-\alpha$ 的置信区间为 $[A,B]$

34.大样本方法

利用中心极限定理，来建立合适的枢轴变量 $S(T(X),U(X),\theta)$

设事件A在每次试验中发生的概率为p，作n次独立试验，以 $Y_n$ 记事件A发生的次数，求p的 $1-\alpha$ 置信区间。当n充分大时，由中心极限定理，得一个枢轴变量：

$\frac{Y_n-np}{\sqrt{np(1-p)}}\sim N(0,1)$

即可得：

$-u_{\alpha/2}\leq \frac{y_n-np}{\sqrt{np(1-p)}}\leq u_{\alpha/2}$

解二次方程可得p的区间，称为得分区间。

$p\in\frac{\hat{p}+\frac{u_{\alpha/2}^2}{2n}}{1+\frac{u_{\alpha/2}^2}{n}}\pm u_{\alpha/2}\frac{\sqrt{\frac{\hat{p}(1-\hat{p})}{n}+\frac{u_{\alpha/2}^2}{4n^2}}}{1+\frac{u_{\alpha/2}^2}{n}}$