计算条件概率

【作业题】
Suppose that Die-Hardly-Ever battery has an exponential time-to-failure
distribution with a mean of 48 months. At 60 months, the battery is still operating.

1. What is the probability that this battery is going to die in the next 12 months?
2. What is the probability that the battery dies in an odd year of its life?
3. If the battery is operating at 60 months, compute the expected additional months of life.

【重点】条件概率+指数分布无记忆性
即$$P(x>s+t|x>t)=P(x>s)$$

计算概率（放回与不放回）

Suppose that a man has k keys, one of which will open a door. Compute
the expected number of keys required to open the door for the following two cases:
a. The keys are tried one at a time without replacement.（不放回）
b. The keys are tried one at time with replacement.（放回）

生成随机数算法

Linear Congruential Method

判断是否是full period

【作业题】可能考察是否full period
$$R_i=\frac{X_i}{m}<1$$

Uniformity (test of frequency)

检验样本是否服从均匀分布

对前提进行假设
$$Frequency$$
$$H_0:R_i^{\prime }sU(0,1)$$
$$H_1:R_i^{\prime }snotU(0,1)$$

在测试前要说明清楚，显著性水平
$$\alpha =P(typeoneerror)=p(reject{H}_0|H_{0}istrue)$$

1.Chi-Square test

• 卡方检验的期望值$E_i$要求$E_i\ge 5$【这个是为了确保近似分布是合理的】

method

检验是否服从$U(0,1)$如下，

1. 将[0,1]分成k个等长子区间(对应Reminder的Equal probability)
2. 计算$O_j$，其为样本数据$R_i$落在子区间$(\frac{j-1}{k},\frac{j}{k}]$的频次
3. $E_j=E(O_j)=\frac{n}{k}$观测值在j区间的期望
4. 计算卡方${X_0}^2={\sum }_{j=1}^k\frac{(O_j-E_j{)}^2}{E_j}$
5. Reject Ho if ${X_0}^2>X_{k-1,\alpha }^2$

reminder

example

Using appropriate test, check whether the numbers are uniformly distributed: 0.594, 0.928, 0.515, 0.055, 0.507, 0.351, 0.262, 0.797, 0.788, 0.442, 0.097, 0.798, 0.227, 0.127, 0.474, 0.825, 0.007, 0.182, 0.929, 0.852.

即判断数据是否服从均匀分布。

int main(){
#ifdef local
    freopen("data.txt", "r", stdin);
//  freopen("data.txt", "w", stdout);
#endif
    int n = 20;
    rep(i, 1, n){
        cin >> a[i];
    }
    sort(a+1, a+n+1);
    rep(i, 1, n){
        cout << " " << a[i];
    }    
}

排序可得（共20个数据）
0.007 0.055 0.097 0.127 0.182 0.227
0.262 0.351 0.442 0.474
0.507 0.515 0.594
0.788 0.797 0.798 0.825 0.852 0.928 0.929

要求期望Ei是大于5的，所以应该分为4个区间。如下

2.Kolmogorov-Sminov test

KS检测，主要用于检测数据是否符合某种分布

method

1. Rank $$R_{(1)}\le R_{(2)}\le ...\le R_{(N)}$$
2. compute D + = max ⁡ 1 ≤ i ≤ N { i N − R ( i ) } D^+=\max_{1≤i≤N}\{\frac{i}{N}-R_{(i)}\} D+=1≤i≤Nmax​{Ni​−R(i)​}
   D − = max ⁡ 1 ≤ i ≤ N { R ( i ) − i − 1 N } D^-=\max_{1≤i≤N}\{R_{(i)}-\frac{i-1}{N}\} D−=1≤i≤Nmax​{R(i)​−Ni−1​}
3. compute$$D=max(D^{+},D^{-})$$
4. 拒绝$H_0$ if $D>D_{\alpha }(N)$

example

Using appropriate test, check whether the numbers are uniformly distributed: 0.594, 0.928, 0.515, 0.055, 0.507, 0.351, 0.262, 0.797, 0.788, 0.442, 0.097, 0.798, 0.227, 0.127, 0.474, 0.825, 0.007, 0.182, 0.929, 0.852.

即判断数据是否服从均匀分布。

Independence (test of autocorrelation)

Runs test

Acceptance-rejection method

This method uses an auxiliary function t(x) that is everywhere ≥ the density f(x) of the RV X we want to simulate
接受-拒绝采样，这个方法使用一个辅助函数$t(x)$，$t(x)$函数满足处处$$t(x)\ge f(x)$$，$f(x)$是随机变量X的概率密度函数，X就是我们想要进行模拟的随机变量。

显然，处处$$t(x)\ge 0$$

引入$t(x)$去求解$c$

不妨，令$$r(x)=\frac{t(x)}{c}$$，其一定为概率密度

我们必须选择$t$，以此能更轻松的从$r(x)$概率密度函数中采样。

method

1. 从概率密度r(x)中产生Y
2. 产生均匀分布U(0, 1)变量U，其独立于Y
3. 这意味着我们必须使用其他的随机变量
4. 当$$U\le \frac{f(Y)}{t(Y)}$$时，则令$$X=Y$$，否则就回到第一步重新产生Y。

例题 Problem 7: Give an algorithm for generating a standard normal random variable X ∼ N(0,1).
(Hint: if we can generate from the absolute value |X|, then by symmetry we can obtain X by independently generating a rv U (for sign) that is ±1 with probability 1/2 and setting X = U|X|.)

方法1：建议函数使用指数分布

（1）前提准备
首先，根据已知分布的概率密度函数f(x)，产生服从此分布的样本X

$$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}(-\infty <x<+\infty )$$

但根据题目提示，我们仅能产生|X|，不过同理，不妨设随机变量Z，$$Z=|X|$$，由X的概率密度函数我们可以知道Z的概率密度函数
$$f_Z(z)=\frac{2}{\sqrt{2\Pi }}{e}^{-\frac{z^2}{2}}(z\ge 0)$$
此时再找一个建议函数（辅助函数），即随机变量Y，其服从指数分布，故我们可得其概率密度函数
$$f_Y(y)=\lambda e^{-\lambda y}(y>0)$$
(2)我们首先得确定建议函数的参数$\lambda$与Acceptance-rejection method的参数c（在Acceptance-rejection method算法中我们希望c能接近1）

$c\ast g(x)\ge f(x)$，g(x)为建议函数

$$\frac{c{f}_Y(u)}{f_Z(u)}=\frac{c\lambda e^{-\lambda u}}{\frac{2}{\sqrt{2\pi }}{e}^{-\frac{u^2}{2}}}=\frac{c\lambda \sqrt{2\pi }}{2}{e}^{\frac{1}{2}(u-\lambda {)}^2-\frac{{\lambda }^2}{2}}$$
易得
$$\frac{c\lambda \sqrt{2\pi }}{2}{e}^{\frac{1}{2}(u-\lambda {)}^2-\frac{{\lambda }^2}{2}}\ge c\frac{\lambda \sqrt{2\pi }}{2}{e}^{-\frac{{\lambda }^2}{2}}$$

不妨令$\lambda =1$，$c=\frac{2}{\sqrt{2\pi }}{e}^{\frac{1}{2}}$
(这么令代入便于计算)
即可以满足$$\frac{c{f}_Y(u)}{f_Z(u)}\ge 1$$
此时确定可以将$f_Y(u)$作为我们的建议函数（辅助函数）
$$t(y)=c{f}_Y(y)$$
(课件中使用t(x)代表建议函数，故此用t表示)

（3）由（2）已将建议函数$t(y)=c{f}_Y(y)$找好，接下来我们从中进行采样

【第一个是为了得到样本Y】

• 生成随机变量U1，其服从U(0,1)的均匀分布，从中生成u1，从而获得采样点y
  $$y=F^{-1}(u1)=-ln(1-u_1)$$(这个可由指数分布的分布函数去进行求逆变换得到)

【第二个是为了得到样本U】

• 再生成一个随机变量U2，其也服从U(0, 1)的均匀分布，从中得到u2，且随机变量U1和U2相互独立
  if $$u1\le \frac{f_Z(y)}{c{f}_Y(y)}$$
  则该采样点可以取到，（接受）Z=y
  否则就拒绝回到（3）的开始重新进行采样。

（4）综上，我们产生了Z，其满足$Z=|X|$，但我们实际求解的是X

• 因此，再生成一个随机变量U3，其服从U(0, 1)的均匀分布，从中得到u3，且随机变量U3是独立于U1、U2
  $$m=\{\begin{array}{ll}+1& \text{u3 ≤ 0.5}\\ -1& \text{u3 > 0.5}\end{array}$$
  故$$X=m\ast Z$$即为采样所得服从N(0,1)标准正态分布

方法2：双指数分布生成正态分布

1. 产生两个相互独立服从参数为1的指数分布的随机变量Y1、Y2
   $$Y1=-ln(U_1)$$
   and$$Y2=-ln(U_2)$$
2. 当$Y_2\ge \frac{(Y_1-1{)}^2}{2}$时，令$|Z|=Y_1$否则就回到第一步重新进行采样
3. 生成随机变量U，其服从均匀分布U(0, 1)
   $$Z=\{\begin{array}{ll}|Z|& \text{U ≤ 0.5}\\ -|Z|& \text{U > 0.5}\end{array}$$

方法3：

1. 生成随机变量Y，其服从参数为1的指数分布；生成随机变量U1，并令$$Y=-ln(U1)$$
2. 生成随机变量U2
3. 若$U2\le e^{-\frac{(Y-1{)}^2}{2}}$则令|Z|=Y，否则则回到第一步
4. 生成U3，若U3≤0.5则Z=|Z|；若U3>0.5，则Z=-|Z|

注意第3步，$U2\le e^{-\frac{(Y-1{)}^2}{2}}$，可得
$$-ln(U2)\ge (Y-1{)}^2/2$$
就可以简化$-ln(U2)$是服从参数为1的指数分布。

使用Acceptance-Rejection method对连续型随机变量有效，证明处处都有$P(X\le x)=F_X(x)$

设，事件A为接受事件，由Acceptance-Rejection method可知，当A发生时，可将采样Y去代替X，即X=Y
$$左边=P(X\le x)=P(Y\le x|A)=\frac{P(Y\le x,A)}{P(A)}$$

对Y进行采样，得到y，可以取Y作为X的概率如下，
$$P(A|Y=y)=P(U\le \frac{f(y)}{t(y)})=\frac{f(y)}{t(y)}$$
t(y)为建议分布的概率密度函数
U服从U(0, 1)的均匀分布，故概率如上。
则$$0\le \frac{f(y)}{t(y)}\le 1$$
即$$f(y)\le t(y)$$
取r(y)为Y的概率密度函数
$$P(AandY\le x)={\int }_{-\infty }^{x}P(AandY\le x|Y=y)r(y)dy$$
由区间知Y≤x必然成立，故
$$\begin{gathered} P(AandY\le x)={\int }_{-\infty }^{x}P(AandY\le x|Y=y)r(y)dy \\ ={\int }_{-\infty }^{x}P(A|Y=y)r(y)dy \\ ={\int }_{-\infty }^x\frac{f(y)}{t(y)}\ast \frac{t(y)}{c}dy \\ =\frac{1}{c}{\int }_{-\infty }^{x}f(y)dy \\ =\frac{1}{c}F(x) \end{gathered}$$

又因为$$\begin{gathered} P(A)={\int }_{R}P(A|Y=y)r(y)dy \\ =\frac{1}{c}{\int }_{R}f(y)dy=\frac{1}{c} \end{gathered}$$即$P(A)=\frac{1}{c}$

已知，$=P(X\le x)=P(Y\le x|A)=\frac{P(Y\le x,A)}{P(A)}$

将$P(AandY\le x)=\frac{1}{c}F(x)$带入

将$P(A)=\frac{1}{c}$带入

解得，$P(X\le x)=F(x)$，综上得证。

Empirical distribution 经验分布

连续型经验分布是分段线性不是阶梯式

The Empirical Distribution Procedure

重点：数据是否已经被分组

Ungrouped data

condition

当原始的数据已知且有具体的值的时候

method

这里我们可以使用插值法。

首先我们得到的是一组未经处理的数据，不妨设有n个

然后，根据数值由小到大对其进行排序，

• 最小的值到$[0,\frac{1}{n-1}]$
• 接下来的值放到$[\frac{1}{n-1},\frac{2}{n-1}]$
• 继续上述类似操作
• 最大值分配到1上

这样，每个值都会和一个区间相对应

construction method

定义一个连续的、分段线性的分布函数F
将Xi单调递增排序，Xi表示第i小(Xi就是排序过的数值)，此时可以得到F函数如下
$$\{\begin{array}{ll}0& ,\text{if x<X(1)}\\ \frac{i-1}{n+1}+\frac{x-X_i}{(n-1)(X_{(i+1)}-X_{(i)})}& ,\text{if Xi≤x<X(i+1), ∀i<n−1}\\ 1& ,\text{if X(n)<x}\end{array}$$

生成U去寻找x

grouped data

condition

我们没有独立的数据样本点的时候，仅知道每组数据间隔中有多少数据，即

• $n_j$个点在区间$[a_{j-1},a_j],j=0,,,,,k$
• $\sum n_j=n$
• 令$G(a_j)=(n_1+...+n_j)/n,j\ge 1,G(a_0)=0$
• 分配$a_j$到$[G(a_j),G(a_{j+1})]$，剩下的数据也如上处理
  最后将0值分配给任意x<a0即可

construction method

example

How about discrete empirical distribution?

• Data Are Not Grouped
  对于数值x，定义p(x)为 值为x的数值个数占所有数值个数的比例
• Only Grouped Data Are Available
  定义一个概率函数，使得一个区间内所有数值的概率之和为该区间数值个数占所有数值个数之比

经验分布的优点与缺点

优点

1. 使用当前数据
2. 易于操作

缺点

1. 无法得到观察值范围外的数据
2. 看起来不规则

example

Data have been collected on service times at a drive-in-bank window at the Shady Lane National Bank. The data are summarized into intervals as follows:

Set up a table like examples which has been discussed in class, for generating service
times by the table-lookup method. Generate five values of service time using random
numbers 0.9473, 0.0823, 0.3561, 0.2482, and 0.8831.

• 首先判断grouped or ungrouped - 显然是grouped 即没有独立的样本点，只有区间样本数
• 要算概率、累计概率、斜率、最后根据概率估算x

Interval Seconds	Frequency	probability	cumulative pro	Slope
15-30	10	$\frac{1}{15}$	$\frac{1}{15}$	225
30-45	20	$\frac{2}{15}$	$\frac{1}{5}$	$\frac{225}{2}$
45-60	25	$\frac{1}{6}$	$\frac{11}{30}$	90
60-90	35	$\frac{7}{30}$	$\frac{3}{5}$	$\frac{900}{7}$
90-120	30	$\frac{1}{5}$	$\frac{4}{5}$	150
120-180	20	$\frac{2}{15}$	$\frac{14}{15}$	450
180-300	10	$\frac{1}{15}$	1	1800

由图可知：
$$X_0=15,X_1=30,X_2=45,...,X_7=300$$

计算斜率：
$$a_i=\frac{X_i-X_{i-1}}{CumulativeP(X_i)-CumulativeP(X_{i-1})}$$
$$a1=\frac{30-15}{\frac{1}{15}}=225$$
$$a2=\frac{45-30}{\frac{2}{15}}=\frac{225}{2}$$
其余斜率求解方法相同，接下来根据概率求解x值

如$F(x)=0.9473$

易知，$F(x)>\frac{14}{15}$

$$x=180+(0.9473-0.9333)\ast 1800=205.14$$

其余同理。

Maximum Likelihood Estimator 最大似然估计

例题: Consider the shifted (two-parameter) exponential distribution, which has
density function
$$f(x)=\{\begin{array}{ll}\frac{1}{\beta }{e}^{-(x-\gamma )/\beta }& \text{if x≥γ}\\ 0& \text{otherwise}\end{array}$$
for $\beta >0$ and any real number $\gamma$. Given a sample $X_1,X_2,X_3,...,X_n$ of IID random values
from this distribution, find formulas for the joint MLEs $\hat{\gamma }$ and $\hat{\beta }$ .

求解如下:

可得最大似然函数 $$L(\gamma ,\beta )=\frac{1}{{\beta }^n}exp[-\sum _{i=1}^n(X_i-\gamma )/\beta ]$$
上式必然满足$X_i\ge \gamma$对于所有的$i$
两侧同时取对数
$$\begin{gathered} l(\gamma ,\beta )=ln(L(\gamma ,\beta ))=-nln(\beta )-[\sum _{i=1}^n(X_i-\gamma )/\beta ] \\ =-nln(\beta )-\frac{1}{\beta }\sum _{i=1}^n{X}_i+n\frac{\gamma }{\beta } \end{gathered}$$
我们已知，$\beta >0$，想要越大的$n\frac{\gamma }{\beta }$， $\gamma$就得越大

例如$\gamma =X_{(1)}$，我们就等于要最大化$g(\beta )$ $$g(\beta )=-nln(\beta )-\frac{1}{\beta }\sum _{i=1}^n{X}_i+n\frac{x_{(1)}}{\beta }$$
综上可解得，$\hat{\beta }=\overline{X}(n)-X_{(1)}$
也可写作$\hat{\beta }=\overline{X}(n)-\hat{\gamma }$但$\gamma 是有\hat{}$

要注意，尽管我们需要尽可能大的$\gamma$，但是也要满足$X\ge \gamma$，也就是最大的$\gamma$也只能取得最小的$X_i$
X ( 1 ) = m i n { X 1 , X 2 , . . . , X n } X_{(1)}=min\{X_1,X_2,...,X_n\} X(1)​=min{X1​,X2​,...,Xn​}

判断数据是否相互独立