本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。

正交编码

正交编码的基本概念

正交性

若两个周期为 T 的模拟信号 $s_1(t)$ 和 $s_2(t)$ 互相正交, 则有
$${\int }_0^T{s}_1(t)s_2(t)dt=0$$
同理, 若 M 个周期为 T 的模拟信号 $s_1(t)$, $s_2(t)$, $\dots$, $s_M(t)$ 构成一个正交信号集合，则有
$${\int }_0^T{s}_i(t)s_j(t)dt=0i\ne j;i,j=1,2,\dots ,M$$

互相关系数

对于二进制数字信号, 用一数字序列表示码组。这里, 我们只讨论二进制且码长相同的编码。这时, 两个码组的正交性可用如下形式的互相 关系数来表述。

设长为 $\mathbf{n}$ 的编码中码元只取值 +1 和 -1 , 假设 $\mathbf{x}$ 和 $\mathbf{y}$ 是其中两个码组:
$$x=(x_1,x_2,x_3,\cdots ,x_n)y=(y_1,y_2,y_3,\cdots ,y_n)$$
其中: $x_i,y_i\in (+1,-1),i=1,2,\cdots ,n$

若码组 x 和 y 正交, 则必有 $\rho (x,y)=0$ 。
$$\rho (x,y)=\frac{1}{n}\sum _{i=1}^n{x}_i{y}_i$$

正交编码

例如, 右图所示 4 个数字信号可以看作是如下4 个码组:

{ s 1 ( t ) : ( + 1 , + 1 , + 1 , + 1 ) s 2 ( t ) : ( + 1 , + 1 , − 1 , − 1 ) s 3 ( t ) : ( + 1 , − 1 , − 1 , + 1 ) s 4 ( t ) : ( + 1 , − 1 , + 1 , − 1 ) . \{\begin{array}{l} s_{1}(t):(+1,+1,+1,+1) \\ s_{2}(t):(+1,+1,-1,-1) \\ s_{3}(t):(+1,-1,-1,+1) \\ s_{4}(t):(+1,-1,+1,-1) \end{array}. {s1​(t):(+1,+1,+1,+1)s2​(t):(+1,+1,−1,−1)s3​(t):(+1,−1,−1,+1)s4​(t):(+1,−1,+1,−1)​.

按照互相关系数定义式计算容易得知, 这 4 个码组中任意两者之间的相关系数都为 0 , 即这 4 个码组两两正交。我们把这种两两正交的编码称为正交编码。

用二进制数字表示互相关系数

在二进制编码理论中, 常采用二进 制数字 “ 0 ”和 “ 1 ”表示码元的可能 取值。这时, 若规定用二进制数字 “0”代替上述码组中的 “+ 1 ”, 用 二进制数字 “ 1 ”代替 “ -1 ”, 则上 述互相关系数定义式将变为
$$\rho (x,y)=\frac{A-D}{A+D}$$
式中, A——x 和 y 中对应码元相同的个数;

D—— x 和 y 中对应码元不同的个数。

例如, 按照左式规定, 上面例 子可以改写成

{ s 1 ( t ) : ( 0 , 0 , 0 , 0 ) s 2 ( t ) : ( 0 , 0 , 1 , 1 ) s 3 ( t ) : ( 0 , 1 , 1 , 0 ) s 4 ( t ) : ( 0 , 1 , 0 , 1 ) . \{\begin{array}{l} s_{1}(t):(0,0,0,0) \\ s_{2}(t):(0,0,1,1) \\ s_{3}(t):(0,1,1,0) \\ s_{4}(t):(0,1,0,1) \end{array}. {s1​(t):(0,0,0,0)s2​(t):(0,0,1,1)s3​(t):(0,1,1,0)s4​(t):(0,1,0,1)​.

可以验证互相关系数 $\mathbf{\rho }=0$ .

自相关系数

上式中, 若用 x 的 j 次循环移位代替 y , 就得到 x 的自相关系数 ${\rho }_x(j)$ 。 具体地讲，令
$$\begin{array}{l}x=(x_1,x_2,\cdots ,x_n)\\ y=(x_{1+j},x_{2+j},\cdots ,x_n,x_1,x_2,\cdots x_j)\end{array}$$
代入定义式
$$\rho (x,y)=\frac{A-D}{A+D}$$

就得到自相关系数 ${\rho }_x(j)$ :
$${\rho }_x(j)=(A-D)/n$$
类似上述互相关系数的定义, 可以对于一个长为 n 的码组 x 定义其自相关系数为
$${\rho }_x(j)=\frac{1}{n}\sum _{i=1}^n{x}_i{x}_{i+j},j=0,1,\cdots ,(n-1)$$
式中, x 的下标按模 n 运算, 即有 $x_{n+k}\equiv {\mathbf{x}}_k$ 。例如, 设

$$x=(x_1,x_2,x_3,x_4)=(+1,-1,-1,+1)$$
则有
$$\begin{array}{l}{\rho }_x(0)=\frac{1}{4}{\sum }_{i=1}^4{x}_i^2=1\\ {\rho }_x(1)=\frac{1}{4}{\sum }_{i=1}^{{\overline{\overline{4}}}^4}{x}_i{x}_{i+1}=\frac{1}{4}(x_1{x}_2+x_2{x}_3+x_3{x}_4+x_4{x}_1)=\frac{1}{4}(-1+1-1+1)=0\\ {\rho }_x(2)=\frac{1}{4}{\sum }_{i=1}^1{x}_i{x}_{i+2}=\frac{1}{4}(x_1{x}_3+x_2{x}_4+x_3{x}_1+x_4{x}_2)=-1\\ {\rho }_x(3)=\frac{1}{4}{\sum }_{i=1}^{{\overline{4}}^1}{x}_i{x}_{i+3}=\frac{1}{4}(x_1{x}_4+x_2{x}_1+x_3{x}_2+x_4{x}_3)=0\end{array}$$

超正交码

超正交码：相关系数 $\rho$ 的取值范围在 $\pm 1$ 之间, 即有 $ -1 \leq \rho \leq+1$ 。 若两个码组间的相关系数 $\rho <0$ , 则称这两个码组互相超正交。如果一种编码中任两码组间均超正交, 则称这种编码为超正交码。

例如, 在上例中, 若仅取后 3 个码组, 并且删去其第一位, 构成如下新的编码:

{ s 1 ′ ( t ) : ( 0 , 1 , 1 ) s 2 ′ ( t ) : ( 1 , 1 , 0 ) s 3 ′ ( t ) : ( 1 , 0 , 1 ) . \{\begin{array}{l} s_{1}{ }^{\prime}(t):(0,1,1) \\ s_{2}{ }^{\prime}(t):(1,1,0) \\ s_{3}{ }^{\prime}(t):(1,0,1) \end{array}. {s1​′(t):(0,1,1)s2​′(t):(1,1,0)s3​′(t):(1,0,1)​.

则不难验证, 由这 3 个码组所构成的编码是超正交码。

双正交编码

由正交编码和其反码便可以构成双正交编码。

例：上例中

正交码为

{ s 1 ( t ) : ( 0 , 0 , 0 , 0 ) s 2 ( t ) : ( 0 , 0 , 1 , 1 ) s 3 ( t ) : ( 0 , 1 , 1 , 0 ) s 4 ( t ) : ( 0 , 1 , 0 , 1 ) \{\begin{array}{l}s_{1}(t):(0,0,0,0) \\ s_{2}(t):(0,0,1,1) \\ s_{3}(t):(0,1,1,0) \\ s_{4}(t):(0,1,0,1)\end{array} {s1​(t):(0,0,0,0)s2​(t):(0,0,1,1)s3​(t):(0,1,1,0)s4​(t):(0,1,0,1)​

其反码为

{ ( 1 , 1 , 1 , 1 ) ( 1 , 1 , 0 , 0 ) ( 1 , 0 , 0 , 1 ) ( 1 , 0 , 1 , 0 ) \{\begin{array}{l}(1,1,1,1) \\ (1,1,0,0) \\ (1,0,0,1) \\ (1,0,1,0)\end{array} {(1,1,1,1)(1,1,0,0)(1,0,0,1)(1,0,1,0)​

上两者的总体即构成如下双正交码:

$(0,0,0,0)(1,1,1,1)(0,0,1,1)(1,1,0,0)(0,1,1,0)(1,0,0,1)(0,1,0,1)(1,0,1,0)$

此码共有 8 种码组, 码长为 4 。

正交沃尔什函数

沃尔什(Walsh)函数集是完备的非正弦型的二元（取值为+1与-1）正交函数集, 其相应的离散沃尔什函数简称为沃尔什序列或沃尔什码。 沃尔什函数是定义在半开区间 [0,1) 的矩形波族, 每个矩形波有一个编号 n($n=0,1,2,3,\dots$) 。

矩形波幅度的取值为 +1 或 -1 , 规定起始时矩形波的取值为 +1 , 然后在 +1 与 -1 之间变化, 变化的次数 (+1 变 -1 与 -1 变 +1 的次数之和） $m=n$ , 在 +1 或 -1 上持续的时间可以相等, 也可以不相等 (不相等时较长的持续时间 $T_1$ 为较短的持续时间 $T_{\mathrm{s}}$ 的两倍）。 编号为 n 的沃尔什函数用 $\mathrm{Wal}(n,t)$ 表示, 沃尔什函数的波形如图所示。

补充（度量空间）的完备性定义:

度量空间 $X=(X,d)$ 中的序列 $(x_n)$ , 如果对任意给定的 $ \varepsilon \gt 0 $, 都存在一个 $\mathrm{N}=\mathrm{N}(\epsilon )$ , 使得对每个 $\mathrm{m}$, $\mathrm{n}>\mathrm{N}$ 都有
$$\mathrm{d}({\mathrm{x}}_{\mathrm{m}},{\mathrm{x}}_{\mathrm{n}})<\epsilon$$
则称它是一个柯西序列。如果空间 X 中的每个柯西序列都收敛, 则称 X 是完备的。

一个完备的函数集, 应该能表示出其空间上的所有函数。

离散沃尔什函数的构成

离散沃尔什函数也称沃尔什序列或沃尔什码, 用哈达马矩阵的行(或列)可以构成离散沃尔什函数

一阶哈达马矩阵为
$$H_1=\text{ [1] }$$
高阶哈达马矩阵的递推公式如下:
$$H_{N_m}=[\begin{array}{rr}{H}_{N_{m-1}}& H_{N_{m-1}}\\ H_{N_{m-1}}& -H_{N_{m-1}}\end{array}]$$
式中, $N_m=2^m$, $m=1,2,3,\dots$ 。

例如, m=1 时
$$\begin{array}{c}{H}_{N_1}=H_2=[\begin{array}{rr}{H}_1& H_1\\ H_1& -H_1\end{array}]=[\begin{array}{rr}1& 1\\ 1& -1\end{array}]\\ H_{N_2}=H_4=[\begin{array}{rr}{H}_2& H_2\\ H_2& -H_2\end{array}]=[\begin{array}{rrrr}1& 1& 1& 1\\ 1& 1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}]\end{array}$$

m=3 时
$$\begin{array}{c}{H}_{N_3}=H_8\\ =[\begin{array}{rr}{H}_4& H_4\\ H_4& -H_4\end{array}]=[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 1& -1& 1& -1& 1& -1& 1& -1\\ 1& 1& -1& -1& 1& 1& -1& -1\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 1& 1& 1& 1& -1& -1& -1& -1\\ 1& -1& 1& -1& -1& 1& -1& 1\\ 1& 1& -1& -1& -1& -1& 1& 1\\ 1& -1& -1& 1& -1& 1& 1& -1\end{array}]\end{array}$$
N_{m} 阶哈达马矩阵的通式可表示为
$$H_{N_m}=[\begin{array}{ccccc}{h}_{11}& h_{12}& h_{13}& \cdots & h_{1N_m}\\ h_{21}& h_{22}& h_{23}& \cdots & h_{2N_m}\\ ⋮& & & ⋮& \\ h_{N_{m}1}& h_{N_{m}2}& h_{N_{m}3}& \cdots & h_{N_m{N}_m}\end{array}]$$
式中, $N_m=2^m,m=1,2,3,\dots ,h_{ik}\in (+1,-1)$
用哈达马矩阵 $H_{N m} $ 的行 (或列)可以构成离散沃尔什函数 $Wal[i,t]$ , 它们的对应关系如下:

Wal ⁡ [ i , t ] = ∑ k = 1 N m h i k g ( t − ( k − 1 ) T c ) g ( t ) = { 1 , 0 ≤ t ≤ T c 0 ,  others  \begin{array}{c} \operatorname{Wal}[i, t]=\sum_{k=1}^{N m} h_{i k} g(t-(k-1) T_{c}) \\ g(t)=\{\begin{array}{c} 1,0 \leq t \leq T_{c} \\ 0, \text { others } \end{array} \end{array} Wal[i,t]=∑k=1Nm​hik​g(t−(k−1)Tc​)g(t)={1,0≤t≤Tc​0, others ​​

沃尔什函数的基本性质

(1) 在半开区间 [0,1) 上正交, 即

∫ 0 1 wal ⁡ ( i , t ) wal ⁡ ( j , t ) d t = { 1 , i = j 0 , i ≠ j i , j = 0 , 1 , 2 , ⋯   . \int_{0}^{1} \operatorname{wal}(i, t) \operatorname{wal}(j, t) \mathrm{d} t=\{\begin{array}{cc} 1, & i=j \\ 0, & i \neq j \end{array} \quad i, j=0,1,2, \cdots. ∫01​wal(i,t)wal(j,t)dt={1,0,​i=ji=j​i,j=0,1,2,⋯.

该性质为沃尔什函数基本性质中最重要的性质。

(2) 除 $\mathrm{Wal}(0,t)$ 外，其他 $\mathrm{Wal}(n,t)$ 在半开区间 [0,1) 上的均值为 0 .

(3) 两个沃尔什函数相乘仍为沃尔什函数，即
$$\mathrm{Wal}(i,t)\mathrm{Wal}(j,t)=\mathrm{Wal}(kt)$$
这表示沃尔什函数对于乘法是自闭的。

(4) 沃尔什函数集是完备的, 即长度为 $\mathrm{N}$ 的离散沃尔什函数 (沃尔什序列)一共有 $\mathrm{N}$ 个。

(5) 沃尔什函数在同步时是完全正交的。

(6) 沃尔什函数在不同步时, 其自相关和互相关特性均不理想, 并随同步误差值的增大而快速恶化。

(7) 同长度不同编号的walsh函数的频带宽度不同。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.