多传感器融合定位九-基于滤波的融合方法Ⅰ其一
- 1. 滤波器的作用
- 2. 概率基础知识
- 2.1 概率、概率密度
- 2.2 联合概率密度
- 2.3 条件概率密度
- 2.4 贝叶斯公式
- 2.5 贝叶斯推断
- 2.6 高斯概率密度函数
- 2.7 联合高斯概率密度函数
- 2.8 高斯随机变量的线性分布
1. 滤波器的作用
滤波器的本质:结合预测与观测,得到最“精确”的后验值。
实际中,预测与观测均从传感器而来,因此滤波器的作用便是结合各传感器得到一个最好的融合结果。
- 实际中预测往往从 IMU、编码器等传感器递推而来;
- 观测往往从 GPS、雷达、相机等传感器而来;
- 后验为融合后的结果,即定位模块的输出。
2. 概率基础知识
2.1 概率、概率密度
上图中,
p
(
x
)
p(x)
p(x) 为
x
x
x 在区间
[
a
[a
[a,
b
]
b]
b] 上的概率密度
,它表示的是随机变量在区间的分布情况。
Pr
\operatorname{Pr}
Pr 代表的是
x
x
x 在区间
[
c
,
d
]
[c, d]
[c,d] 上的概率
,它是概率密度的积分,
Pr
(
c
≤
x
≤
d
)
=
∫
c
d
p
(
x
)
d
x
\operatorname{Pr}(c \leq x \leq d)=\int_c^d p(x) d x
Pr(c≤x≤d)=∫cdp(x)dx我们平时所说 “高斯分布”、“非高斯分布” 均是指它的概率密度
。
2.2 联合概率密度
x
∈
[
a
,
b
]
x \in[a, b]
x∈[a,b] 和
y
∈
[
r
,
s
]
y \in[r, s]
y∈[r,s] 的联合概率密度
函数可以表示为
p
(
x
,
y
)
p(x, y)
p(x,y),其积分表示
x
x
x 和
y
y
y 同时处在某个区间的概率,满足下式:
∫
a
b
∫
r
s
p
(
x
,
y
)
d
y
d
x
=
1
\int_a^b \int_r^s p(x, y) d y d x=1
∫ab∫rsp(x,y)dydx=1特别地,当
x
x
x 和
y
y
y 统计独立的时候,有:
p
(
x
,
y
)
=
p
(
x
)
p
(
y
)
p(x, y)=p(x) p(y)
p(x,y)=p(x)p(y)
2.3 条件概率密度
x
x
x 关于
y
y
y 的条件概率密度
函数可以表示为:
p
(
x
∣
y
)
p(x \mid y)
p(x∣y)其含义是,在
y
∈
[
r
,
s
]
y \in[r, s]
y∈[r,s] 的前提下,
x
∈
[
a
,
b
]
x \in[a, b]
x∈[a,b] 的概率分布,并且满足下式:
p
(
x
)
=
∫
r
s
p
(
x
∣
y
)
p
(
y
)
d
y
p(x)=\int_r^s p(x \mid y) p(y) d y
p(x)=∫rsp(x∣y)p(y)dy特别地,当
x
x
x 和
y
y
y 统计独立的时候,有:
p
(
x
∣
y
)
=
p
(
x
)
p(x \mid y)=p(x)
p(x∣y)=p(x)
2.4 贝叶斯公式
联合概率密度分解成条件概率密度
(
p
(
x
∣
y
)
p(x \mid y)
p(x∣y))和边缘概率密度
(
p
(
y
)
p(y)
p(y))的乘积(左边:
x
,
y
x, y
x,y同时满足这个条件;右边:在
y
y
y 满足条件的情况下,
x
x
x 也满足这个条件。这两者是等价的。),即:
p
(
x
,
y
)
=
p
(
x
∣
y
)
p
(
y
)
=
p
(
y
∣
x
)
p
(
x
)
p(x, y)=p(x \mid y) p(y)=p(y \mid x) p(x)
p(x,y)=p(x∣y)p(y)=p(y∣x)p(x)重新整理,即可得贝叶斯公式
:
p
(
x
∣
y
)
=
p
(
y
∣
x
)
p
(
x
)
p
(
y
)
p(x \mid y)=\frac{p(y \mid x) p(x)}{p(y)}
p(x∣y)=p(y)p(y∣x)p(x)
2.5 贝叶斯推断
贝叶斯推断可以理解为贝叶斯公式的运用,它是指,如果已知先验概率密度
函数
p
(
x
)
p(x)
p(x),以及传感器模型
p
(
y
∣
x
)
p(y \mid x)
p(y∣x),那么就可以根据贝叶斯公式推断出后验概率密度
。
p
(
x
∣
y
)
=
p
(
y
∣
x
)
p
(
x
)
∫
p
(
y
∣
x
)
p
(
x
)
d
x
p(x \mid y)=\frac{p(y \mid x) p(x)}{\int p(y \mid x) p(x) \mathrm{d} x}
p(x∣y)=∫p(y∣x)p(x)dxp(y∣x)p(x)实际中,贝叶斯推断
有时也称为贝叶斯估计
。
2.6 高斯概率密度函数
一维情况下,高斯概率密度函数
表示为:
p
(
x
∣
μ
,
σ
2
)
=
1
2
π
σ
2
exp
(
−
1
2
(
x
−
μ
)
2
σ
2
)
p\left(x \mid \mu, \sigma^2\right)=\frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{1}{2} \frac{(x-\mu)^2}{\sigma^2}\right)
p(x∣μ,σ2)=2πσ21exp(−21σ2(x−μ)2)其中
μ
\mu
μ 为均值
,
σ
2
\sigma^2
σ2 为方差
。
多维情况下,高斯概率密度函数
表示为:
p
(
x
∣
μ
,
Σ
)
=
1
(
2
π
)
N
det
Σ
exp
(
−
1
2
(
x
−
μ
)
T
Σ
−
1
(
x
−
μ
)
)
p(\boldsymbol{x} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma})=\frac{1}{\sqrt{(2 \pi)^N \operatorname{det} \boldsymbol{\Sigma}}} \exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)
p(x∣μ,Σ)=(2π)NdetΣ1exp(−21(x−μ)TΣ−1(x−μ))其中均值为
μ
\boldsymbol{\mu}
μ,方差为
Σ
\boldsymbol{\Sigma}
Σ。
一般把高斯分布写成
x
∼
N
(
μ
,
Σ
)
\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})
x∼N(μ,Σ)。
2.7 联合高斯概率密度函数
若有高斯分布:
p
(
x
)
=
N
(
μ
x
,
Σ
x
x
)
p
(
y
)
=
N
(
μ
y
,
Σ
y
y
)
\begin{aligned} & p(\boldsymbol{x})=\mathcal{N}\left(\boldsymbol{\mu}_x, \boldsymbol{\Sigma}_{x x}\right) \\ & p(\boldsymbol{y})=\mathcal{N}\left(\boldsymbol{\mu}_y, \boldsymbol{\Sigma}_{y y}\right) \end{aligned}
p(x)=N(μx,Σxx)p(y)=N(μy,Σyy)则它们的联合概率密度函数
可以表示为:
p
(
x
,
y
)
=
N
(
[
μ
x
μ
y
]
,
[
Σ
x
x
Σ
x
y
Σ
y
x
Σ
y
y
]
)
p(\boldsymbol{x}, \boldsymbol{y})=\mathcal{N}\left(\left[\begin{array}{l} \boldsymbol{\mu}_x \\ \boldsymbol{\mu}_y \end{array}\right],\left[\begin{array}{ll} \boldsymbol{\Sigma}_{x x} & \boldsymbol{\Sigma}_{x y} \\ \boldsymbol{\Sigma}_{y x} & \boldsymbol{\Sigma}_{y y} \end{array}\right]\right)
p(x,y)=N([μxμy],[ΣxxΣyxΣxyΣyy])由于联合概率密度满足下式:
p
(
x
,
y
)
=
p
(
x
∣
y
)
p
(
y
)
p(\boldsymbol{x}, \boldsymbol{y})=p(\boldsymbol{x} \mid \boldsymbol{y}) p(\boldsymbol{y})
p(x,y)=p(x∣y)p(y)该式在高斯分布的前提下可以重新分解。
由于高斯分布中指数项包含方差的求逆(即
Σ
\Sigma
Σ 求逆,这个是不太好展开的),而此处联合概率的方差是一个高维矩阵,对它求逆的简洁办法是运用舒尔补
(对于求逆来说,是个非常有利的工具)。
舒尔补
的主要目的是把矩阵分解成上三角矩阵、对角阵、 下三角矩阵乘积的形式,方便运算,即(舒尔补
的具体含义:从下面一个矩阵拆成三个):
[
A
B
C
D
]
=
[
I
B
D
−
1
0
I
]
[
Δ
D
0
0
D
]
[
I
0
D
−
1
C
I
]
\begin{aligned} & {\left[\begin{array}{ll} \mathbf{A} & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{array}\right] } \\ = & {\left[\begin{array}{cc} \mathbf{I} & \mathbf{B D}^{-1} \\ \mathbf{0} & \mathbf{I} \end{array}\right]\left[\begin{array}{cc} \Delta \mathbf{D} & \mathbf{0} \\ \mathbf{0} & \mathbf{D} \end{array}\right]\left[\begin{array}{cc} \mathbf{I} & \mathbf{0} \\ \mathbf{D}^{-1} \mathbf{C} & \mathbf{I} \end{array}\right] } \end{aligned}
=[ACBD][I0BD−1I][ΔD00D][ID−1C0I]其中
Δ
D
=
A
−
B
D
−
1
C
\Delta \mathrm{D}=\mathbf{A}-\mathbf{BD}^{-1} \mathbf{C}
ΔD=A−BD−1C 称为矩阵
D
\mathrm{D}
D 关于原矩阵的舒尔补
。
此时有(好处就在于下面求逆的时候,公式中 对角阵的逆、上三角及下三角的逆 都是比较好求的,这样上面方差矩阵的逆就更好求出来了):
[
A
B
C
D
]
−
1
=
[
I
0
−
D
−
1
C
I
]
[
Δ
D
−
1
0
0
D
−
1
]
[
I
−
B
D
−
1
0
I
]
\begin{aligned} & {\left[\begin{array}{ll} \mathbf{A} & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{array}\right]^{-1}=} \\ & {\left[\begin{array}{cc} \mathrm{I} & 0 \\ -\mathbf{D}^{-1} \mathbf{C} & \mathrm{I} \end{array}\right]\left[\begin{array}{cc} \Delta \mathbf{D}^{-1} & \mathbf{0} \\ \mathbf{0} & \mathbf{D}^{-1} \end{array}\right]\left[\begin{array}{cc} \mathbf{I} & -\mathbf{BD}^{-1} \\ 0 & \mathbf{I} \end{array}\right]} \end{aligned}
[ACBD]−1=[I−D−1C0I][ΔD−100D−1][I0−BD−1I]利用舒尔补
,联合分布的方差矩阵可以写为:
[
Σ
x
x
Σ
x
y
Σ
y
x
Σ
y
y
]
=
[
1
Σ
x
y
Σ
y
y
−
1
0
1
]
[
Σ
x
x
−
Σ
x
y
Σ
y
y
−
1
Σ
y
x
0
0
Σ
y
y
]
[
1
0
Σ
y
y
−
1
Σ
y
x
1
]
\left[\begin{array}{cc} \boldsymbol{\Sigma}_{x x} & \boldsymbol{\Sigma}_{x y} \\ \boldsymbol{\Sigma}_{y x} & \boldsymbol{\Sigma}_{y y} \end{array}\right]=\left[\begin{array}{cc} \mathbf{1} & \boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \\ \mathbf{0} & \mathbf{1} \end{array}\right]\left[\begin{array}{cc} \boldsymbol{\Sigma}_{x x}-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x} & \mathbf{0} \\ \mathbf{0} & \boldsymbol{\Sigma}_{y y} \end{array}\right]\left[\begin{array}{cc} \mathbf{1} & \mathbf{0} \\ \boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x} & \mathbf{1} \end{array}\right]
[ΣxxΣyxΣxyΣyy]=[10ΣxyΣyy−11][Σxx−ΣxyΣyy−1Σyx00Σyy][1Σyy−1Σyx01]它的逆矩阵为:
[
Σ
x
x
Σ
x
y
Σ
y
x
Σ
y
y
]
−
1
=
[
1
0
−
Σ
y
y
−
1
Σ
y
x
1
]
[
(
Σ
x
x
−
Σ
x
y
Σ
y
y
−
1
Σ
y
x
)
−
1
0
0
Σ
y
y
−
1
]
[
1
−
Σ
x
y
Σ
y
y
−
1
0
1
]
\left[\begin{array}{cc} \boldsymbol{\Sigma}_{x x} & \boldsymbol{\Sigma}_{x y} \\ \boldsymbol{\Sigma}_{y x} & \boldsymbol{\Sigma}_{y y} \end{array}\right]^{-1}=\left[\begin{array}{cc} \mathbf{1} & \mathbf{0} \\ -\boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x} & \mathbf{1} \end{array}\right]\left[\begin{array}{cc} \left(\boldsymbol{\Sigma}_{x x}-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x}\right)^{-1} & \mathbf{0} \\ \mathbf{0} & \boldsymbol{\Sigma}_{y y}^{-1} \end{array}\right]\left[\begin{array}{cc} \mathbf{1} & -\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \\ \mathbf{0} & \mathbf{1} \end{array}\right]
[ΣxxΣyxΣxyΣyy]−1=[1−Σyy−1Σyx01][(Σxx−ΣxyΣyy−1Σyx)−100Σyy−1][10−ΣxyΣyy−11]联合分布
p
(
x
,
y
)
p(\boldsymbol{x}, \boldsymbol{y})
p(x,y) 仍为高斯分布,
p
(
x
,
y
)
=
N
(
[
μ
x
μ
y
]
,
[
Σ
x
x
Σ
x
y
Σ
y
x
Σ
y
y
]
)
p(\boldsymbol{x}, \boldsymbol{y})=\mathcal{N}\left(\left[\begin{array}{l} \boldsymbol{\mu}_x \\ \boldsymbol{\mu}_y \end{array}\right],\left[\begin{array}{cc} \boldsymbol{\Sigma}_{x x} & \boldsymbol{\Sigma}_{x y} \\ \boldsymbol{\Sigma}_{y x} & \boldsymbol{\Sigma}_{y y} \end{array}\right]\right)
p(x,y)=N([μxμy],[ΣxxΣyxΣxyΣyy])它的指数部分的二次项包含如下内容(注意说的是指数部分)
(
[
x
y
]
−
[
μ
x
μ
y
]
)
T
[
Σ
x
x
Σ
x
y
Σ
y
x
Σ
y
y
]
−
1
(
[
x
y
]
−
[
μ
x
μ
y
]
)
=
(
[
x
y
]
−
[
μ
x
μ
y
]
)
T
[
1
0
−
Σ
y
y
−
1
Σ
y
x
1
]
[
(
Σ
x
x
−
Σ
x
y
Σ
y
y
−
1
Σ
y
x
)
−
1
0
0
Σ
y
y
−
1
]
[
1
−
Σ
x
y
Σ
y
y
−
1
0
1
]
(
[
x
y
]
−
[
μ
x
μ
y
]
)
=
(
x
−
μ
x
−
Σ
x
y
Σ
y
y
−
1
(
y
−
μ
y
)
)
T
(
Σ
x
x
−
Σ
x
y
Σ
y
y
−
1
Σ
y
x
)
−
1
(
x
−
μ
x
−
Σ
x
y
Σ
y
y
−
1
(
y
−
μ
y
)
)
+
(
y
−
μ
y
)
T
Σ
y
y
−
1
(
y
−
μ
y
)
\begin{aligned} & \left(\left[\begin{array}{l} \boldsymbol{x} \\ \boldsymbol{y} \end{array}\right]-\left[\begin{array}{l} \boldsymbol{\mu}_x \\ \boldsymbol{\mu}_y \end{array}\right]\right)^{\mathrm{T}}\left[\begin{array}{cc} \boldsymbol{\Sigma}_{x x} & \boldsymbol{\Sigma}_{x y} \\ \boldsymbol{\Sigma}_{y x} & \boldsymbol{\Sigma}_{y y} \end{array}\right]^{-1}\left(\left[\begin{array}{l} \boldsymbol{x} \\ \boldsymbol{y} \end{array}\right]-\left[\begin{array}{l} \boldsymbol{\mu}_x \\ \boldsymbol{\mu}_y \end{array}\right]\right) \\ = & \left(\left[\begin{array}{l} \boldsymbol{x} \\ \boldsymbol{y} \end{array}\right]-\left[\begin{array}{l} \boldsymbol{\mu}_x \\ \boldsymbol{\mu}_y \end{array}\right]\right)^{\mathrm{T}}\left[\begin{array}{cc} 1 & 0 \\ -\boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x} & 1 \end{array}\right]\left[\begin{array}{cc} \left(\boldsymbol{\Sigma}_{x x}-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x}\right)^{-1} & \mathbf{0} \\ 0 & \boldsymbol{\Sigma}_{y y}^{-1} \end{array}\right]\left[\begin{array}{cc} \mathbf{1} & -\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \\ \mathbf{0} & 1 \end{array}\right]\left(\left[\begin{array}{l} \boldsymbol{x} \\ \boldsymbol{y} \end{array}\right]-\left[\begin{array}{l} \boldsymbol{\mu}_x \\ \boldsymbol{\mu}_y \end{array}\right]\right) \\ = & \left(\boldsymbol{x}-\boldsymbol{\mu}_x-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1}\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right)\right)^{\mathrm{T}}\left(\boldsymbol{\Sigma}_{x x}-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x}\right)^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}_x-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1}\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right)\right) \\ & +\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{y y}^{-1}\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right) \end{aligned}
==([xy]−[μxμy])T[ΣxxΣyxΣxyΣyy]−1([xy]−[μxμy])([xy]−[μxμy])T[1−Σyy−1Σyx01][(Σxx−ΣxyΣyy−1Σyx)−100Σyy−1][10−ΣxyΣyy−11]([xy]−[μxμy])(x−μx−ΣxyΣyy−1(y−μy))T(Σxx−ΣxyΣyy−1Σyx)−1(x−μx−ΣxyΣyy−1(y−μy))+(y−μy)TΣyy−1(y−μy)最后得到两个二次项的和,由于同底数幂相乘后,底数不变,指数相加,且
p
(
y
)
=
N
(
μ
y
,
Σ
y
y
)
p(\boldsymbol{y})=\mathcal{N}\left(\boldsymbol{\mu}_y, \boldsymbol{\Sigma}_{y y}\right)
p(y)=N(μy,Σyy)(这时就可以求
p
(
x
∣
y
)
=
p
(
x
,
y
)
p
(
y
)
p(\boldsymbol{x} \mid \boldsymbol{y})=\frac{p(\boldsymbol{x} , \boldsymbol{y})}{p(y)}
p(x∣y)=p(y)p(x,y),正好消去指数项
(
y
−
μ
y
)
T
Σ
y
y
−
1
(
y
−
μ
y
)
\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right)^{\mathrm{T}} \boldsymbol{\Sigma}_{y y}^{-1}\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right)
(y−μy)TΣyy−1(y−μy))
因此有
p
(
x
∣
y
)
=
N
(
μ
x
+
Σ
x
y
Σ
y
y
−
1
(
y
−
μ
y
)
,
Σ
x
x
−
Σ
x
y
Σ
y
y
−
1
Σ
y
x
)
p(\boldsymbol{x} \mid \boldsymbol{y})=\mathcal{N}\left(\boldsymbol{\mu}_x+\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1}\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right), \boldsymbol{\Sigma}_{x x}-\boldsymbol{\Sigma}_{x y} \boldsymbol{\Sigma}_{y y}^{-1} \boldsymbol{\Sigma}_{y x}\right)
p(x∣y)=N(μx+ΣxyΣyy−1(y−μy),Σxx−ΣxyΣyy−1Σyx)
2.8 高斯随机变量的线性分布
在上面的例子中,若已知
x
\boldsymbol{x}
x 和
y
\boldsymbol{y}
y 之间有如下关系
y
=
G
x
+
n
\boldsymbol{y}=\boldsymbol{G} \boldsymbol{x}+\boldsymbol{n}
y=Gx+n其中
G
G
G 是一个常量矩阵,
n
=
N
(
0
,
R
)
n=\mathcal{N}(0, R)
n=N(0,R) 为零均值白噪声
, 在实际中指的是观测噪声。则
x
x
x 和
y
y
y 的均值和方差之间必然存在联系,其联系可通过以下推导获得。
均值(
E
[
n
]
E[\boldsymbol{n}]
E[n] 为零均值白噪声,所以
E
[
n
]
=
0
E[\boldsymbol{n}]=0
E[n]=0):
μ
y
=
E
[
y
]
=
E
[
G
x
+
n
]
=
G
E
[
x
]
+
E
[
n
]
=
G
μ
x
\begin{aligned} \boldsymbol{\mu}_y & =E[\boldsymbol{y}] \\ & =E[\boldsymbol{G} \boldsymbol{x}+\boldsymbol{n}] \\ & =\boldsymbol{G} E[\boldsymbol{x}]+E[\boldsymbol{n}] \\ & =\boldsymbol{G} \boldsymbol{\mu}_x \end{aligned}
μy=E[y]=E[Gx+n]=GE[x]+E[n]=Gμx方差:
Σ
y
y
=
Σ
(
G
x
)
+
Σ
(
n
)
=
E
[
(
G
x
−
μ
y
)
(
G
x
−
μ
y
)
T
]
+
R
=
G
E
[
(
x
−
μ
x
)
(
x
−
μ
x
)
T
]
G
T
+
R
=
G
Σ
x
x
G
T
+
R
\begin{aligned} \boldsymbol{\Sigma}_{y y} & =\boldsymbol{\Sigma}(\boldsymbol{G} \boldsymbol{x})+\boldsymbol{\Sigma}(\boldsymbol{n}) \\ & =E\left[\left(\boldsymbol{G} \boldsymbol{x}-\boldsymbol{\mu}_y\right)\left(\boldsymbol{G} \boldsymbol{x}-\boldsymbol{\mu}_y\right)^{\mathrm{T}}\right]+\boldsymbol{R} \\ & =\boldsymbol{G} E\left[\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right)\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right)^{\mathrm{T}}\right] \boldsymbol{G}^{\mathrm{T}}+\boldsymbol{R} \\ & =\boldsymbol{G} \boldsymbol{\Sigma}_{x x} \boldsymbol{G}^{\mathrm{T}}+\boldsymbol{R} \end{aligned}
Σyy=Σ(Gx)+Σ(n)=E[(Gx−μy)(Gx−μy)T]+R=GE[(x−μx)(x−μx)T]GT+R=GΣxxGT+R方差的交叉项:
Σ
x
y
=
E
[
(
x
−
μ
x
)
(
y
−
μ
y
)
T
]
=
E
[
(
x
−
μ
x
)
(
G
x
−
G
μ
x
+
n
)
T
]
=
E
[
(
x
−
μ
x
)
(
G
x
−
G
μ
x
)
T
+
(
x
−
μ
x
)
n
T
]
=
Σ
x
x
G
T
+
E
[
(
x
−
μ
x
)
n
T
]
=
Σ
x
x
G
T
\begin{aligned} \boldsymbol{\Sigma}_{x y} & =E\left[\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right)\left(\boldsymbol{y}-\boldsymbol{\mu}_y\right)^{\mathrm{T}}\right] \\ & =E\left[\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right)\left(\boldsymbol{G} \boldsymbol{x}-\boldsymbol{G} \boldsymbol{\mu}_x+\boldsymbol{n}\right)^{\mathrm{T}}\right] \\ & =E\left[\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right)\left(\boldsymbol{G} \boldsymbol{x}-\boldsymbol{G} \boldsymbol{\mu}_x\right)^{\mathrm{T}}+\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right) \boldsymbol{n}^{\mathrm{T}}\right] \\ & =\boldsymbol{\Sigma}_{x x} \boldsymbol{G}^{\mathrm{T}}+E\left[\left(\boldsymbol{x}-\boldsymbol{\mu}_x\right) \boldsymbol{n}^{\mathrm{T}}\right] \\ & =\boldsymbol{\Sigma}_{x x} \boldsymbol{G}^{\mathrm{T}} \end{aligned}
Σxy=E[(x−μx)(y−μy)T]=E[(x−μx)(Gx−Gμx+n)T]=E[(x−μx)(Gx−Gμx)T+(x−μx)nT]=ΣxxGT+E[(x−μx)nT]=ΣxxGT同理可得
Σ
y
x
=
Σ
x
y
T
=
G
Σ
x
x
\boldsymbol{\Sigma}_{y x}=\boldsymbol{\Sigma}_{x y}^{\mathrm{T}}=\boldsymbol{G} \boldsymbol{\Sigma}_{x x}
Σyx=ΣxyT=GΣxx(互为转置)