目录
失真的概念：
信息率与失真的关系：
信息率失真理论：
失真函数矩阵：
平均失真度定义为：
平均失真度与信道转移概率的关系：
率失真函数：
率失真函数的物理意义：
率失真函数的主要性质：
例：
汉明失真与传输差错概率：
汉明失真矩阵为 ：
由汉明失真矩阵，得平均失真度为：
而传输出错的概率：
理论上“消息完全无失真传送”的可实现性
信道编码定理：无论何种信道，只要H(X)<=信息速率R<=信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和无限接近于C的传输速率来传送信息。反之，若R>C，则传输必失真。
实际上“消息完全无失真传送”的不可实现性
要做到无失真信源编码，要求H(X)<R<C；实际的信源常常是连续信源，连续信源的绝对熵无穷大,要无失真传送，则信息率R也需无限大，信道容量C也必须为无穷大。而实际信道带宽是有限的，所以信道容量受限制。因此无法满足无失真传输的条件，因此传输质量必然受影响。
实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。
失真的概念：
失真函数的取值通常反映失真产生的代价
信息率与失真的关系：
信源压缩后相比原始信源，误差或失真越大，说明压缩掉的信息量就越多。
描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理论。
信息率失真理论的应用：
信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础
信息率失真理论：
失真函数矩阵：
与转移概率矩阵对应，可定义相应的失真度矩阵：
平均失真度定义为：
平均失真度是从统计意义上来说每个符号失真的平均值。
在通信传输系统中，失真通常在信道中产生，平均失真度与信道的关系可由转移概率的函数来描述。
平均失真度与信道转移概率的关系：
率失真函数：
定义：给定信源和失真函数，要使信源压缩后的平均失真 (D为给定的失真上限)，则需找到某种压缩方法，使其经过压缩后可以达到一个允许的最小信息速率，即R(D)。不妨将该压缩过程假设成让信源通过一个有失真的传输信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信息速率达到最小，这个最小的信息速率称为信息率失真函数，记作R(D)。
率失真函数示意图：
率失真函数的物理意义：
如果将符号通过信道传输看作某种变换过程，为了以小于等于DC 的失真度恢复信源的输出，平均每个信源符号需要得到的最小信息量。
若将率失真函数看作D的函数，显然有如下的关系：
当没有失真时( D=0 ):
当失真达到最大时( D=Dmax )：
率失真函数的定义域：
率失真函数的主要性质：
(1))率失真函数R(D)是D的下凸型凸函数。 作为D的函数存在最小值。
(2)率失真函数R(D)是D的单调递减函数。允许的失真越大，所需的互信息量越小。
(3))R(D)是D的连续函数。
例：
汉明失真与传输差错概率：
设信源符号的分布特性为：
汉明失真矩阵为 ：
设信道转移矩阵为：
由汉明失真矩阵，得平均失真度为：
而传输出错的概率：
失真是由传输出错所致
