目录

信道的简介：

信道的分类：

离散无记忆信道（DMC）模型：

转移概率：

离散无记忆信道的转移矩阵  输出仅与当前的输入有关：

后验概率：

离散无记忆信道的后验概率矩阵 ：

离散无记忆信道的转移矩阵：

几个相关表达式：

互信息量：

定义互信息量:

互信息量的性质:

平均互信息量：

熵函数与平均互信息量间的关系：

离散信道的信道容量：

 定义：离散信道的最大传输速率为其信道容量：

 匹配信源的概念：

匹配信源统计特性的求解步骤：

对称信道： 

离散无记忆对称信道特性：

对称信道的信道容量：

---

信道的简介：

通信的过程：

通过信道进行信号传输；

在接收端恢复信号。

通信的信息论本质：

信息通过信道传输，实现异地间的信息交流，从而消除不确定性。

信道的分类：

 

---

离散无记忆信道（DMC）模型：

信道的输入：

信道的输出：

信道模型(特性)可用其转移概率来描述，一般地有

 

 

输出不仅与当前的输入有关，而且与之前的若干个输入值有关，呈现某种“记忆”效应。

转移概率：

 

离散无记忆信道的转移矩阵  输出仅与当前的输入有关：

后验概率：

 

离散无记忆信道的后验概率矩阵 ：

离散无记忆信道的转移矩阵：

示例：二元的离散无记忆信道，发“0”和发“1”时能正确接收的概率为0.99，错误的概率为0.01。

转移矩阵：

 

几个相关表达式：

---

互信息量：

后验概率是一种条件概率，在通信系统中可表示收到y后，发送端发送的是符号x的概率。    

接收端收到y后，关于x的不确定性可表示为:

定义互信息量:

互信息量为收到y后，关于x的不确定性的消除量。 

互信息量的性质:

平均互信息量：

平均互信息量具有非负性

熵函数与平均互信息量间的关系：

当信源X与Y统计独立时两个符号同时出现时提供的平均信息量等于每个符号的平均信息量之和，一个符号不能提供有关另一符号的任何信息。

当两个信源相关时联合熵小于两个信源的熵的和:

平均互信息量等于两信源熵重合的部分，信源的条件熵等于其自身的熵减去平均互信息量

---

离散信道的信道容量：

已知信道的转移矩阵：

 定义：离散信道的最大传输速率为其信道容量：

 

 匹配信源的概念：

信道容量由信道特性和信源的统计特性决定。信道特性确定之后，其容量由信源的统计特性决定

匹配信源：能使单位时间内信道可传输的平均信息量达到信道容量的信源。 

匹配信源统计特性的求解步骤：

---

对称信道： 

离散无记忆对称信道特性：

对称信道的信道容量：

对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求信源的符号等概分布