参考书籍：概率论与数理统计教程第三版 茆诗松 程依明 濮晓龙 编著
文章声明：如有错误还望批评指正

$\xi$ 6.1点估计的概念与无偏性

定义6.1.1：设$x_1,x_2,\dots ,x_n$是来自总体的一个样本，用于估计未知参数$\theta$的统计量$\hat{\theta }=\hat{\theta }(x_1,x_1,\dots ,x_n)$称为$\theta$的估计量，或称为$\theta$的点估计。简称估计。
定义6.1.2：设$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$是$\theta$的一个估计，$\theta$的参数空间为$\Theta$，若对任意的$\theta \in \Theta ，有E_{\theta }(\hat{\theta })=\theta$。则称$\hat{\theta }$是$\theta$的无偏估计，否则称为有偏估计。
定义6.1.3：设${\hat{\theta }}_1,{\hat{\theta }}_2$是$\theta$的两个无偏估计，如果对任意的$\theta \in \Theta$有$Var({\hat{\theta }}_1)\le Var({\hat{\theta }}_2)$且至少有一个$\theta \in \Theta$使得上述不等号严格成立，则称${\hat{\theta }}_1$比${\hat{\theta }}_2$有效。
关于习题：做下，1题，2题(感觉这道题答案解析不太好理解)，3题，4题，7题。适合练手。其他我没做了，也不知道考不。
PS：$\xi 6.1$还有一些东西没看，总感觉不踏实。但是毕竟我的目标不是学好数理统计而是应付期末考试以及未来潜在考试。

$\xi 6.2$矩估计及相和性

替换原理(矩法)：1.样本矩替换总体矩；2.样本矩的函数替换总体矩的函数。 它的实质使用经验分布替换总体分布，理论基础来自格列文科定理。
定义6.2.1：设$\theta \in \Theta$为未知参数，${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\dots ,x_n)$是$\theta$的一个估计量，$n$是样本容量，若对任何一个$ϵ>0$，有$\underset{n\to \infty }{\lim }P(|{\hat{\theta }}_n-\theta |\ge ϵ)=0$，则称${\hat{\theta }}_n$为参数$\theta$的相合估计。
定理6.2.1：设${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\dots ,x_n)$是$\theta$的一个估计量，若$\underset{n\to \infty }{\lim }E({\hat{\theta }}_n)=\theta ,\underset{n\to \infty }{\lim }Var({\hat{\theta }}_n)=0$，则${\hat{\theta }}_n$是$\theta$的相合估计。
定理6.2.2：若${\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\dots ,{\hat{\theta }}_{nk}$分别是${\theta }_1,{\theta }_2,\dots ,{\theta }_k$的相合估计，$\eta =g({\theta }_1,{\theta }_2,\dots ,{\theta }_k)$是${\theta }_1,{\theta }_2,\dots ,{\theta }_k$的连续函数，则$\hat{\eta }=g({\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\dots ,{\hat{\theta }}_{nk})$是$\eta$的相合估计。
矩估计一般具有相合性。
关于习题：1题，2题，3题(1)，3题(2)(有步变化不能理解应该是数学分析的内容，暂时跳过)。适合练手，后面套路都是一样。实在没有把握自己再挑几道。
PS：这节两个定理证明也没有看，希望不要埋下伏笔。

$\xi 6.3$最大似然估计与EM算法

定义6.3.1：设总体的概率函数为$p(x;\theta ),\theta \in \Theta$，其中$\theta$是一个未知参数或几个未知参数组成的参数向量，$\Theta$是参数空间，$x_1,x_2,\dots ,x_n$是来自该总体的样本，将样本的联合概率函数看成$\theta$的函数，用$L(\theta ;x_1,x_2,\dots ,x_n)$表示，简计为$L(\theta )$,$L(\theta )=L(\theta ;x_1,x_2,\dots ,x_n)=p(x_1;\theta )p(x_2;\theta )\dots p(x_n;\theta ),L(\theta )$称为样本的似然函数。如果某统计量$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$满足$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta )$则称$\hat{\theta }$是$\theta$的最大似然估计，简记为MLE。
关于习题：1题，2题，3题(一个题型，超级简单，挑几道题来做就好，二元就求偏导就好)。4题(前面有道例题一样，学会转换)。5题，6题感觉都是应用，做了4题就不做了。7题，8题(一个题型，挑7道题来做就好，不是很难)。9题得做一下吧(思路挺好)。10题不想看了。
PS：EM算法感觉考不到吧。但是机器学习要用，等到机器学习再来。渐近正态性感觉也考不到吧，先放下吧。
$\xi$ 6.4最小方差无偏估计
不作考察
$\xi$ 6.5贝叶斯估计
不作考察

$\xi 6.6$区间估计

定义6.6.1：设$\theta$是总体的一个参数，其参数空间为$\Theta$，$x_1,x_2,\dots ,x_n$是来自该总体的样本，对给定的一个$\alpha (0<\alpha <1)$，假设有两个统计量${\hat{\theta }}_L={\hat{\theta }}_L(x_1,x_2,\dots ,x_n)$和${\hat{\theta }}_U={\hat{\theta }}_U(x_{!},x_2,\dots ,x_n)$，若对任意的$\theta \in \Theta$，有$P_{\theta }({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U)\ge 1-\alpha$则称随机区间$[{\hat{\theta }}_L,{\hat{\theta }}_U]$为$\theta$的置信水平为$1-\alpha$的置信区间，或简称$[{\hat{\theta }}_L,{\hat{\theta }}_U]$是$\theta$的$1-\alpha$置信区间，${\hat{\theta }}_L$和${\hat{\theta }}_U$分别称为$\theta$的(双侧)置信下限和置信上限。
模拟例6.6.1

import numpy as np
lt=[]
for i in range(100):
    lt_new=np.random.normal(15,2,10)
    x,y=np.mean(lt_new),np.std(lt_new)
    a,b=x-0.5797*y,x+0.5797*y
    lt.append((a,b))
import matplotlib.pyplot as plt;import seaborn as sns
plt.figure(figsize=(16,9));sns.set_style("darkgrid")
for i in range(100):
    plt.vlines(x=i+1,ymin=lt[i][0],ymax=lt[i][1],linewidth=2,colors="green")
    plt.scatter(i+1,lt[i][0],c="blue");plt.scatter(i+1,lt[i][1],c="red")
plt.show()
cnt=1
for i in lt:
    if 15>i[0] and 15<i[1]:
        cnt+=1
print(cnt/100)

import numpy as np
lt=[]
for i in range(100):
    lt_new=np.random.normal(15,2,10)
    x,y=np.mean(lt_new),np.std(lt_new)
    a,b=x-0.2222*y,x+0.2222*y
    lt.append((a,b))
import matplotlib.pyplot as plt;import seaborn as sns
plt.figure(figsize=(16,9));sns.set_style("darkgrid")
for i in range(100):
    plt.vlines(x=i+1,ymin=lt[i][0],ymax=lt[i][1],linewidth=2,colors="green")
    plt.scatter(i+1,lt[i][0],c="blue");plt.scatter(i+1,lt[i][1],c="red")
plt.show()
cnt=1
for i in lt:
    if 15>i[0] and 15<i[1]:
        cnt+=1
print(cnt/100)

定义6.6.2：沿用定义6.6.1的记号，如对给定的$\alpha (0<\alpha <1)$，对任意的$\theta \in \Theta$，有$P_{\theta }({\hat{\theta }}_L\le \theta \le {\hat{\theta }}_U)=1-\alpha$，则称$[{\hat{\theta }}_L,{\hat{\theta }}_U]$为$\theta$的$1-\alpha$同等置信区间。
定义6.6.3：设${\hat{\theta }}_L={\hat{\theta }}_L(x_1,x_2,\dots ,x_n)$是统计量，对给定的$\alpha \in (0,1)$和任意的$\theta \in \Theta$，有$P_{\theta }({\hat{\theta }}_L\le \theta )\ge 1-\alpha ,\forall \theta \in \Theta$，则称${\hat{\theta }}_L$为$\theta$的置信水平为$1-\alpha$的(单侧)置信下限。假如等号对一切$\theta \in \Theta$成立，则称${\hat{\theta }}_L$为$\theta$的$1-\alpha$同等置信下限。
定义6.6.3：设${\hat{\theta }}_U={\hat{\theta }}_U(x_1,x_2,\dots ,x_n)$是统计量，对给定的$\alpha \in (0,1)$和任意的$\theta \in \Theta$，有$P_{\theta }({\hat{\theta }}_U\ge \theta )\ge 1-\alpha ,\forall \theta \in \Theta$，则称${\hat{\theta }}_U$为$\theta$的置信水平为$1-\alpha$的(单侧)置信上限。假如等号对一切$\theta \in \Theta$成立，则称${\hat{\theta }}_U$为$\theta$的$1-\alpha$同等置信上限。
根本思想轴枢量法
单正态总体的参数置信区间
1.$\sigma$已知时$u$的置信区间：$[\bar{x}-u_{1-\alpha /2}\sigma /\sqrt{n},\bar{x}+u_{1-\alpha /2}\sigma /\sqrt{n}]$
对应1题，2题，3题(3题2小题解析我感觉不好理解。应该是求出X的密度函数吧，然后求出X的期望，得到了$E(X)=e^{u+\frac{1}{2}}$这个式子。概率论不好，暂时没有算，不知道对不对，以后回来)，5题(2)小题
获取$u_{1-\alpha /2}$值

import scipy.stats as stats
p=0.975
print(stats.norm.ppf(p))
#1.959963984540054

书上有表那就按照书上的来
2.$\sigma$未知时$u$的置信区间：$[\bar{x}-t_{1-\alpha /2}(n-1)s/\sqrt{n},\bar{x}+t_{1-\alpha /2}(n-1)s/\sqrt{n}]$
对应4题(2)小题，5题(1)小题
获取$t_{1-\alpha /2}$值

import scipy.stats as stats
p=0.975;df=10
print(stats.t.ppf(p,df))
#2.2281388519649385

书上有表那就按照书上的来
3.$u$未知时$\sigma$的置信区间：$[\sqrt{(n-1)s^2/{\mathcal{X}}_{1-\alpha /2}^2(n-1)},\sqrt{(n-1)s^2/{\mathcal{X}}_{\alpha /2}^2(n-1)}]$
对应4题(1)小题，5题(3)小题
获取${\mathcal{X}}_{1-\alpha /2}^2(n-1)$值

import scipy.stats as stats
p=0.025;df=9
print(stats.chi2.ppf(p,df))
#2.700389499980358

书上有表那就按照书上的来
大样本的置信区间
两点分布大样本置信区间：$[\bar{x}-u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}},\bar{x}+u_{1-\alpha /2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}}]$
对应6题
样本量的确定
按照前面公式进行n的反推。(一般都会给你区间长度不超过某个值，实际操作应该只有大样本置信区间能手算反推)。
双正态总体的参数置信区间
1.$u_1-u_2$的置信区间
1.1${\sigma }_1^2$和${\sigma }_2^2$已知时：[$\bar{x}-\bar{y}-u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}},\bar{x}-\bar{y}+u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}]$。对应9题(1)小题。
1.2${\sigma }_1^2={\sigma }_2^2={\sigma }^2$未知时：$[\bar{x}-\bar{y}-\sqrt{\frac{m+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2),\bar{x}-\bar{y}+\sqrt{\frac{m+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2)]$。对应9题(2)小题。
1.3${\sigma }_2^2/{\sigma }_1^2=c$已知时：$[\bar{x}-\bar{y}-\sqrt{\frac{mc+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2),\bar{x}-\bar{y}+\sqrt{\frac{mc+n}{mn}}{s}_w{t}_{1-\alpha /2}(m+n-2)]$。没有对应。
1.4$m$与$n$很大时：$[\bar{x}-\bar{y}-u_{1-\alpha /2}\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}},\bar{x}-\bar{y}+u_{1-\alpha /2}\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}}]$。对应9题(3)小题。
PS：还是自己推一推吧，不是很难，反正我是记不住的。
1.5一般情况近似置信区间：跳过。$[\bar{x}-\bar{y}-s_0{t}_{1-\alpha /2}(l),\bar{x}-\bar{y}+s_0{t}_{1-\alpha /2}(l)],s_0=\sqrt{s_x^2/m+s_y^2/n},l=\frac{s_0^4}{\frac{s_x^4}{m^2(m-1)}+\frac{s_y^4}{n^2(n-1)}}$。没有对应。
${\sigma }_1^2/{\sigma }_2^2$的置信区间
${\sigma }_1^2/{\sigma }_2^2$的置信区间$[\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{1-\alpha /2}(m-1,n-1)},\frac{s_x^2}{s_y^2}\cdot \frac{1}{F_{\alpha /2}(m-1,n-1)}]$。对应9题(4)小题。
获取$F_{1-\alpha /2}(m-1,n-1)$值

import scipy.stats as ss
p=0.025;df1=9;df2=14
print(ss.f.ppf(p,9,14))
#0.2632997660331528

书上有表那就按照书上的来
只做了知识点对应部分，其他没有时间来做了吧。感觉应该十分重要，以后回来再慢慢做吧。