视频编解码 — DCT变换和量化

news2024/11/25 14:53:25

视频编码流程

DCT变换

Hadamard变换

量化

H264中的DCT变换和量化

H264各模式的DCT变换和量化过程

1、亮度16x16帧内预测块

2，其它模式亮度块

3，色度块

小结

视频编码流程

DCT变换

离散余弦变换

它能将空域信号转换到频率上表示，并能够比较好的去除相关性。

对于图像来说，空域是平时看到的图像，频率是图像做完DCT变换之后的数据。

DCT变换是对残差块做的，通常情况下是在4X4的子块上进行变换的

二维DCT变换公式如下，f(i,j)是指第（i,j）位置点的信号值，N是采样点的总个数

计算公式：

$F(u,v) = c(u)c(v)\sum_{i=0}^{N-1} \sum_{j=0}^{N-1}F(i,j)cos\begin{bmatrix} \frac{i+0.5\Pi }{N}u \end{bmatrix} cos\begin{bmatrix} \frac{j+0.5\Pi }{N}v \end{bmatrix}$

其中 $c(u),c(v)=\left\{\begin{matrix} \sqrt{\frac{1}{N}},u,v = 0 \\ \sqrt{\frac{2}{N}},others \end{matrix}\right.$

$Y = AXA^T$

其中 X为4x4 残差块

A矩阵如下

$\begin{bmatrix} \frac{1}{2}cos(0) & \frac{1}{2}cos(0) &\frac{1}{2}cos(0) & \frac{1}{2}cos(0) \\ \sqrt{\frac{1}{2}}cos(\frac{\Pi }{8}) & \sqrt{\frac{1}{2}}cos(\frac{3\Pi }{8}) &\sqrt{\frac{1}{2}}cos(\frac{5\Pi }{8}) & \sqrt{\frac{1}{2}}cos(\frac{7\Pi }{8})\\ \sqrt{\frac{1}{2}}cos(\frac{2\Pi }{8}) & \sqrt{\frac{1}{2}}cos(\frac{6\Pi }{8}) &\sqrt{\frac{1}{2}}cos(\frac{10\Pi }{8}) & \sqrt{\frac{1}{2}}cos(\frac{14\Pi }{8})\\ \sqrt{\frac{1}{2}}cos(\frac{3\Pi }{8}) & \sqrt{\frac{1}{2}}cos(\frac{9\Pi }{8}) &\sqrt{\frac{1}{2}}cos(\frac{15\Pi }{8}) & \sqrt{\frac{1}{2}}cos(\frac{21\Pi }{8}) \end{bmatrix}$

cos函数有小数，计算速度慢

Hadamard变换

一定程度上粗略的代替 DCT 变换，从而用来简化运算。

计算公式：

$Y = AXA^T$

$Y = \begin{bmatrix} 1 & 1 & 1 & 1\\ 1 & 1 & -1 & -1 \\ 1 & -1 & -1 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix}X\begin{bmatrix} 1 & 1 & 1 & 1\\ 1 & 1 & -1 & -1 \\ 1 & -1 & -1 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix}$

没有浮点运算，计算速度快

量化

将图像块变换到频域后，AC系数比较多，一般幅值比较小，通过去除一些AC系数，达到压缩的目的。

量化公式

$z=round(\frac{y}{QStep})$

z是量化后的系数；y是变换系数；round函数是四舍五入

QP与QStep之间有转换关系

通常QStep值越大，DC系数和AC系数被量化成0的概率越大，压缩程度越大。

值太大会造成一个个块状效应，严重的时候出现马赛克。

值小的话，压缩程度比较小，图像失真比较小，码流比较大

H264中的DCT变换和量化

H264为了减少这种浮点运算带来的误差，将DCT变换成整数变化，DCT变换中的浮点运算和量化过程合并，这样就只有一次浮点运算过程。

H264的整数变化和量化，公式如下：

$Y = AXA^T$

$Y=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} & \frac{1}{2} & \frac{1}{2} \\ \sqrt{\frac{1}{2}}cos\frac{\Pi }{8} & \sqrt{\frac{1}{2}}cos\frac{3\Pi }{8} & \sqrt{\frac{1}{2}}cos\frac{3\Pi }{8} &\sqrt{\frac{1}{2}}cos\frac{\Pi }{8}\\ \frac{1}{2} & -\frac{1}{2} & -\frac{1}{2} & \frac{1}{2} \\ \sqrt{\frac{1}{2}}cos\frac{3\Pi }{8} & \sqrt{\frac{1}{2}}cos\frac{\Pi }{8} & \sqrt{\frac{1}{2}}cos\frac{\Pi }{8} &\sqrt{\frac{1}{2}}cos\frac{3\Pi }{8}\\ \end{bmatrix}X \begin{bmatrix} \frac{1}{2} & \sqrt{\frac{1}{2}}cos\frac{\Pi }{8} & \frac{1}{2} & \sqrt{\frac{1}{2}}cos\frac{3\Pi }{8}\\ \frac{1}{2} & \sqrt{\frac{1}{2}}cos\frac{3\Pi }{8} & -\frac{1}{2} & -\sqrt{\frac{1}{2}}cos\frac{\Pi }{8} \\ \frac{1}{2} & -\sqrt{\frac{1}{2}}cos\frac{3\Pi }{8} & -\frac{1}{2} & \sqrt{\frac{1}{2}}cos\frac{\Pi }{8} \\ \frac{1}{2} & -\sqrt{\frac{1}{2}}cos\frac{\Pi }{8} & \frac{1}{2} & -\sqrt{\frac{1}{2}}cos\frac{3\Pi }{8} \end{bmatrix}$

将DCT变换一步步修改为整数变换，最后H264的DCT变换变成了整数变换。

$Y = \begin{bmatrix} 1 & 1 & 1 & 1\\ 1 & 1 & -1 & -2 \\ 1 & -1 & -1 & -1 \\ 1 & -2 & 2 & -1 \end{bmatrix}X \begin{bmatrix} 1 & 2 & 1 & 1\\ 1 & 1 & -1 & -2 \\ 1 & -1 & -1 & 2 \\ 1 & -2 & 1 & -1 \end{bmatrix}\bigotimes \begin{bmatrix} a^{2} & \frac{ab}{2} & a^{2} & \frac{ab}{2}\\ \frac{ab}{2} & \frac{b^{2}}{4} & \frac{ab}{2} & \frac{b^{2}}{4}\\ a^{2} & \frac{ab}{2}& a^{2}& \frac{ab}{2}\\ \frac{ab}{2} & \frac{b^{2}}{4} & \frac{ab}{2}& \frac{b^{2}}{4} \end{bmatrix}$