严格平稳、弱平稳、白噪声与渐进独立
文章目录
- 严格平稳、弱平稳、白噪声与渐进独立
- @[toc]
- 1 严格平稳
- 2 弱平稳
- 3 白噪声
- 4 渐进独立
文章目录
- 严格平稳、弱平稳、白噪声与渐进独立
- @[toc]
- 1 严格平稳
- 2 弱平稳
- 3 白噪声
- 4 渐进独立
1 严格平稳
严格平稳：给定随机过程
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞，对于任意
m
m
m个时期的集合
{
t
1
,
t
2
…
t
m
}
\{t_1,t_2\dots t_m\}
{t1,t2…tm}，均有随机向量
{
x
t
1
,
x
t
2
,
…
x
t
m
}
\{x_{t_1},x_{t_2},\dots x_{t_m}\}
{xt1,xt2,…xtm}的联合分布等于随机向量
{
x
t
1
+
k
,
x
t
2
+
k
,
…
x
t
m
+
k
}
\{x_{t_1+k},x_{t_2+k},\dots x_{t_m+k}\}
{xt1+k,xt2+k,…xtm+k}，
k
∈
z
k\in z
k∈z,则
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞为严格平稳过程。当只有一个时期
t
t
t时，则
x
t
x_t
xt和
x
t
+
k
x_{t+k}
xt+k具有相同的分布。显然
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞若服从
i
i
d
iid
iid,则
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞为严格平稳过程，且不存在序列相关。对于随机游走过程
y
t
=
y
t
−
1
+
ε
t
y_t=y_{t-1}+\varepsilon_t
yt=yt−1+εt
给定初始值
y
0
y_0
y0，
y
t
y_t
yt可以迭代为
y
t
=
y
0
+
∑
t
=
1
t
ε
t
y_t = y_0+\sum_{t=1}^t\varepsilon _t
yt=y0+t=1∑tεt
两边同时取方差
v
a
r
(
y
t
)
=
v
a
r
(
∑
t
=
1
t
ε
t
)
=
t
σ
ε
2
var(y_t)=var(\sum_{t=1}^t\varepsilon _t) = t\sigma_\varepsilon^2
var(yt)=var(t=1∑tεt)=tσε2
当
t
→
∞
t\to \infty
t→∞时，
v
a
r
(
y
t
)
→
∞
var(y_t)\to\infty
var(yt)→∞换言之，
y
t
y_t
yt方差随着时间推移增大。而严格平稳过程要求不同时期的随机变量具有相同分布，包括矩相同，其中二阶中心矩即方差必须相同，而随机游走过程的方差是时变的，故不是严格平稳，也不是弱平稳。
y = numeric()
y[1]=0
for (i in 2:10000) y[i] = y[i-1]+rnorm(1)
plot(y,type = "l",xlab = "t",ylab = "y",cex.axis = 1.5,col = "blue",lwd = 2)
grid(ny = 5,col="black")
2 弱平稳
弱平稳：也称协方差平稳，即要求随机过程
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞的期望
E
(
x
t
)
E(x_t)
E(xt)存在且不依赖
t
t
t，协方差
C
o
v
(
x
t
,
x
t
+
k
)
Cov(x_t,x_{t+k})
Cov(xt,xt+k)仅依赖
k
k
k(不是绝对位置
t
t
t)，则
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞为弱平稳过程。其中
E
(
x
t
)
E(x_t)
E(xt)不依赖
t
t
t是一个常数，
C
o
v
(
x
t
,
x
t
+
k
)
Cov(x_t,x_{t+k})
Cov(xt,xt+k)称为
k
k
k阶协方差，也是一个常数。当
k
=
0
k=0
k=0，
C
o
v
(
x
t
,
x
t
+
k
)
=
v
a
r
(
x
t
)
=
C
(
k
)
Cov(x_t,x_{t+k})=var(x_t)=C(k)
Cov(xt,xt+k)=var(xt)=C(k)
这意味着若平稳只要求随机过程
{
x
t
}
t
=
1
∞
\{x_t\}_{t=1}^\infty
{xt}t=1∞期望、方差和协方差均为常数即可(不依赖于
t
t
t)。显然，严格平稳是弱平稳的充分不必要条件，因为严格平稳不仅要求二阶矩存在，好包括更高阶矩也存在。考虑一阶自回归
A
R
(
1
)
AR(1)
AR(1),
−
1
<
ρ
<
1
-1<\rho<1
−1<ρ<1
y
t
=
ρ
y
t
−
1
+
ε
t
y_t = \rho y_{t-1}+\varepsilon_t
yt=ρyt−1+εt
两边同时求期望
E
(
y
t
)
=
ρ
E
(
y
t
−
1
)
⇒
E
(
y
t
)
=
0
E(y_t)=\rho E(y_{t-1}) \Rightarrow E(y_t)=0
E(yt)=ρE(yt−1)⇒E(yt)=0
两边同时取方差
v
a
r
(
y
t
)
=
ρ
2
v
a
r
(
y
t
−
1
)
+
σ
ε
2
var(y_t)=\rho^2var(y_{t-1})+\sigma_\varepsilon^2
var(yt)=ρ2var(yt−1)+σε2
当
t
→
∞
t\to \infty
t→∞,
v
a
r
(
y
t
)
var(y_t)
var(yt)存在均衡解，于是
v
a
r
(
y
t
)
=
σ
ε
2
1
−
ρ
2
var(y_t) = \dfrac{\sigma_\varepsilon^2}{1-\rho^2}
var(yt)=1−ρ2σε2
考虑协方差
c
o
v
(
y
t
,
y
t
+
k
)
=
ρ
k
σ
y
2
cov(y_t,y_{t+k})=\rho^k \sigma_y^2
cov(yt,yt+k)=ρkσy2
不依赖时间
t
t
t。其中
v
a
r
(
y
t
)
=
σ
y
2
var(y_t)=\sigma^2_y
var(yt)=σy2存在，仅依赖时间间隔
k
k
k。因此上述
A
R
(
1
)
AR(1)
AR(1)过程至少是弱平稳过程。
y = numeric()
y[1]=0
for (i in 2:10000) y[i] = 0.2*y[i-1]+rnorm(1)
plot(y,type = "l",xlab = "t",ylab = "y",cex.axis = 1.5,col = "blue",lwd = 1)
grid(ny = 5,col="black")
3 白噪声
白噪声：对于若平稳过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞，对于 ∀ t \forall t ∀t，具有 E ( x t ) = 0 E(x_t)=0 E(xt)=0, c o v ( x t , x t + k ) = 0 , k ≠ 0 cov(x_t,x_{t+k})=0,k\neq 0 cov(xt,xt+k)=0,k=0成立。即白噪声是这样一种弱平稳：期望存在且为0，方差存在为常数，不存在 k k k阶自相关。不同时期的随机变量 x t x_t xt是不相关的。
4 渐进独立
大数定律和中心极限定理要求随机序列 x t x_t xt独立同分布，但对于经济数据并不适用。例如phillps方差，在适应性预期假设下，通货膨胀存在惯性，这就意味着当前时期的通货膨胀 p t p_t pt与下一期通货膨胀 p t + 1 p_{t+1} pt+1存在自相关。如果使用数理统计的抽样分布渐近理论不再适合经济数据。因此需要对传统大数定律进行推广：
渐进大数定律：严格平稳过程 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞的期望 E ( x t ) = μ E(x_t)=\mu E(xt)=μ存在，则 x ˉ n = 1 n ∑ i = 1 n x i ⟶ P μ \bar{x}_n = \dfrac{1}{n}\sum_{i=1}^nx_i \stackrel{\mathrm{P}}{\longrightarrow} \mu xˉn=n1∑i=1nxi⟶Pμ，样本均值 x ˉ n \bar{x}_n xˉn是总体期望 μ \mu μ的一致估计。
与大数定律不同，这里并没有要求随机序列 { x t } t = 1 ∞ \{x_t\}_{t=1}^\infty {xt}t=1∞是独立的，即允许随即便 x t x_t xt存在序列相关，但当间隔较大时，这种相关性将会消失。
