【1. 独立】

• 独立：对于两个随机变量 $y_1$ 和 $y_2$，若 $y_1$ 的有关信息不给出 $y_2$ 的任何信息，并且 $y_2$ 的有关信息也不包含有 $y_1$ 的任何信息，则称这两个随机变量独立，并有$$P(y_1,y_2)=P(y_1)P(y_2)$$其中 $P(y_1,y_2)$ 是 $y_1$ 和 $y_2$ 联合概率密度函数，${P(y}_1)$，${P(y}_1)$ 分别是 $y_1$ 和 $y_2$ 的边缘概率密度函数。
• 独立刻画的是两个变量之间是否存在联系。
• 若 $y_1$ 和 $y_2$ 是两个独立的随机变量，且 $h_1(y_1)$ 和 $h_2(y_2)$ 分别是 $y_1$ 和 $y_2$ 的函数，则：
  E { h 1 ( y 1 ) h 2 ( y 2 ) } = E { h 1 ( y 1 ) } E { h 2 ( y 2 ) } E\{h_1(y_1)h_2(y_2)\}=E\{h_1(y_1)\}E\{h_2(y_2)\} E{h1​(y1​)h2​(y2​)}=E{h1​(y1​)}E{h2​(y2​)}
• 当 $y_1$ 和 $y_2$ 相互独立时，协方差为 0。
  $$\mathrm{cov}({\mathrm{y}}_1,{\mathrm{y}}_2)=E([{\mathrm{y}}_1-\mathrm{E}({\mathrm{y}}_1)][{\mathrm{y}}_2-\mathrm{E}({\mathrm{y}}_2)])=0$$

【2. 相关】

• 相关：如果存在一组不全为零的数 $c_1,c_2...,c_m\in K$，使得对于元素 $x_1,x_2...,x_m\in V$ 有 ${\sum }_{i=1}^m{c}_i{x}_i=0$ ，则称元素组 $x_1,x_2...,x_m$ 线性相关，否则称其线性无关（即：系数不全为0的线性组合为0，则元素组线性相关）。
• X和Y不相关，意味着两者不存在线性关系，但是不能保证也没有非线性的关系。
• 当 $y_1$ 和 $y_2$ 不相关时，协方差为 0。
  $$\mathrm{cov}({\mathrm{y}}_1,{\mathrm{y}}_2)=E([{\mathrm{y}}_1-\mathrm{E}({\mathrm{y}}_1)][{\mathrm{y}}_2-\mathrm{E}({\mathrm{y}}_2)])=0$$

【3.正交】

• 正交：若 $y_1$ 不含有 $y_2$ 的任何成分，$y_2$ 也不含有 $y_1$ 的任意成分，则称两个随机变量 $y_1$ 与 $y_2$ 正交，数学上定义为 E { y 1 y 2 } = 0 E\{y_1y_2\}=0 E{y1​y2​}=0 。
• 正交信号的性质：互相关函数恒等于0，内积为0。

【4. 相互关系】

相关和独立

• 独立一定不相关，不相关不一定独立。
• 唯一的例外是高斯随机过程：任意两个高斯随机过程的统计不相关和统计独立是等价的。

举例不相关不一定独立：令 $Y=X^2,X\in [-1,0,1],Y\in [1,0,1]$，其中，X的三种取值等概率。

• X,Y 不相关：
  $E(XY)-E(X)E(Y)=0-0\times \frac{2}{3}=0$
• X,Y不独立：
  $\begin{array}{rl}& P(X\le 0,Y\le 0)=\frac{1}{3}\\ & P(X\le 0)P(Y\le 0)=\frac{2}{3}\times \frac{1}{3}=\frac{2}{9}\ne \frac{1}{3}\end{array}$

相关和正交

• 正交一定不相关，不相关不一定正交
• 若x(t)和y(t)的均值均等于零，则不相关与正交彼此等价。

举例不相关不一定正交：$X=[0,1,1],Y=[1,0,1]$

• X,Y 不相关：
  显然。
• X,Y不正交：
  $X\cdot Y=0\times 1+1\times 0+1\times 1=1\ne 0$

独立和正交

独立、不相关和正交

• 零均值的高斯信号的独立、不相关和正交三者等价。

小结

• 不相关包括独立和正交两种。

【5. 参考文献】

[1] 张贤达. 现代信号处理[M]. 清华大学出版社, 2002.
[2]