离散无记忆信道

离散：输入输出字母表都是有限的
无记忆：输出字符 $d_i$ 被接收到的概率只依赖于当前的输入 $c_i$, 而与前面的输入无关。

一个离散无记忆信道由输入字母表 S = { x 1 \mathcal{S} = \{ x_1 S={x1​, $\cdots$, $x_s\}$和输出字母表 Q = { y 1 \mathcal{Q} = \{ y_1 Q={y1​, $\cdots$, $y_t\}$ 以及一系列信道概率 p$(y_j$| $x_i)$ 组成，其中信道概率满足条件：对任意$1\le$i$\le$s,

$$\sum _{\mathrm{j}=1}^{\mathrm{t}}\mathrm{p}({\mathrm{y}}_{\mathrm{j}}|{\mathrm{x}}_{\mathrm{i}})=1.$$

直观地，可以把 p$(y_j$| $x_i$) 当 成 通 过 该 信 道 发 送 $x_i$ 时，接收到 y${}_{\mathrm{j}}$的概
率。
上述定义中离散的意思是指输入输出字母表都是有限的，而无记忆的意思是指输出字符 $d_i$ 被接收到的概率只依赖于当前的输入 $c_i$, 而与前面的输入无关。
还要注意到离散无记忆信道定义中的时间位置的独立性，也就是通过信道传输一个字符发生错误的概率跟发送的时间以及该字符在码字中的位置无关。

进一步，如果$(c_1$, $\cdots$, $c_n$) 和$(d_1$, $\cdots$, $d_n$) 分别是字母表$S$和字母表$Q$ 上的长度为 n 的码字，那么通过信道发送 c$=({\mathfrak{c}}_1,\cdots ,{\mathfrak{c}}_{\mathfrak{n}})$时，接收到d$=({\mathrm{d}}_1,\cdots ,{\mathrm{d}}_{\mathrm{n}})$的概率为
$$\mathrm{p}(d|c)=\prod _{\mathrm{i}=1}^{\mathrm{n}}\mathrm{p}({\mathrm{d}}_{\mathrm{i}}|{\mathrm{c}}_{\mathrm{i}}).$$

输入概率

因为信道的输入本质上具有概率的特性，所以可以把信道的输入当成随机变量 X 的值，并且其输入概率分布由下式定义

$$\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}})=\mathrm{p}({\mathrm{x}}_{\mathrm{i}}).$$

输出概率

每个输入 X 会引发一个输出 Y, 输出概率分布由输入分布和信道概率所确定，即：

$$\mathrm{P}(\mathrm{Y}={\mathrm{y}}_{\mathrm{j}})=\sum _{\mathrm{i}=1}^{\mathrm{s}}\mathrm{p}({\mathrm{y}}_{\mathrm{j}}|{\mathrm{x}}_{\mathrm{i}})\mathrm{p}({\mathrm{x}}_{\mathrm{i}}).$$

联合分布概率

联合分布律由下式给出：

$$\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}},\mathrm{Y}={\mathrm{y}}_{\mathrm{j}})=\mathrm{p}({\mathrm{y}}_{\mathrm{j}}|{\mathrm{x}}_{\mathrm{i}})\mathrm{p}({\mathrm{x}}_{\mathrm{i}}).$$

信道逆向概率

信道逆向概率定义为

$$\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}}|Y={\mathrm{y}}_{\mathrm{j}})=\frac{\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}},\mathrm{Y}={\mathrm{y}}_{\mathrm{j}})}{\mathrm{P}(\mathrm{Y}={\mathrm{y}}_{\mathrm{j}})}.$$

一些记号

为方便起见，会使用一些记号：
$$\mathrm{p}({\mathrm{x}}_{\mathrm{i}})=\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}})$$
$$\mathrm{p}({\mathrm{y}}_{\mathrm{j}})=\mathrm{P}(\mathrm{Y}={\mathrm{y}}_{\mathrm{j}})$$
$$\mathrm{p}({\mathrm{x}}_{\mathrm{i}},{\mathrm{y}}_{\mathrm{j}})=\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}},\mathrm{Y}={\mathrm{y}}_{\mathrm{j}})$$
$$\mathrm{p}({\mathrm{x}}_{\mathrm{i}}|{\mathrm{y}}_{\mathrm{j}})=\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}}|Y={\mathrm{y}}_{\mathrm{j}})$$
$$\mathrm{p}({\mathrm{y}}_{\mathrm{j}}|{\mathrm{x}}_{\mathrm{i}})=\mathrm{P}(\mathrm{Y}={\mathrm{y}}_{\mathrm{j}}|X={\mathrm{x}}_{\mathrm{i}})$$

示例1

一个重要的离散无记忆信道是前文用过的二元对称信道，其输入输
出字母表为{0}1}。信道概率为

$$\begin{array}{rl}& P\left(0\mid 1\right)=P\left(1\mid 0\right)=p\\ & P\left(0\mid 0\right)=P\left(1\mid 1\right)=1-p\end{array}$$也就是说，交叉概率(每个比特传输的错误概率)为$p$。

示例2

二元擦除信道的信道概率为
$$\begin{gathered} P(1\mid 1)=r,P(?\mid 1)=s,P(0\mid 1)=1-r-s \\ P(0\mid 0)=p,P(?\mid 0)=q,P(1\mid 0)=1-p-q \end{gathered}$$这里的“?”可以解释为输人丢失或者擦除。、