AV1 屏幕内容编码

为了提高屏幕捕获内容的压缩性能，AV1采用了几种编码工具，例如用于处理屏幕画面中重复模式的内帧内块复制（IntraBC），以及用于处理颜色数量有限的屏幕块的调色板模式。

帧内块拷贝

AV1 编码中的 Intra Block Copy (IntraBC) 是一种专门设计用于提高屏幕内容编码效率的工具。对IntraBC 工作原理及其在硬件设计中考虑的详细分析：

1. 块向量 (Block Vector, BV):

   • IntraBC 使用一个向量（BV）来指示同一图像中当前块的预测块。这种向量可以在比特流中进行信号传输。

2. BV 的精度:

   • BV 的表示精度为整数点，这意味着它不包含小数部分。

3. 预测过程:

   • IntraBC 模式下的预测过程类似于跨图像预测模式，但主要区别在于：
     • IntraBC：预测块是从当前图像中形成的，且在应用循环滤波器之前。
     • 跨图像预测：预测块是从先前编码的图像的重建样本中形成的，且在应用循环滤波器之后。

4. 编码标志:

   • 在编码当前块之前，首先信号一个标志，指示是否使用 IntraBC。

5. BV 差值计算:

   • 如果标志指示使用 IntraBC，则计算当前 BV 与预测 BV 的差值，并将差值分类为四种类型之一：
     1. 水平和垂直分量都为零。
     2. 水平分量非零，垂直分量为零。
     3. 水平分量为零，垂直分量非零。
     4. 水平和垂直分量都非零。

6. BV 类型信息:

   • 信号 BV 类型信息，然后是 BV 差值。

7. 硬件设计挑战:

   • IntraBC 虽然对编码屏幕内容非常有效，但对硬件设计提出了一些挑战。

8. 循环滤波器禁用:

   • 使用 IntraBC 时，禁用所有循环滤波器（包括去块、CDEF 和 LR 滤波器）。这样做可以避免需要专用的第二图像缓冲区来启用 IntraBC。

9. 预测区域限制:

   • 为了便于并行解码，限制了允许的预测区域。具体来说，如果一个超块的左上角像素坐标为 (x0, y0)，只有在垂直坐标 y 小于 y0 且水平坐标 x 小于 x0 + 2(y0 − y) 时，IntraBC 预测才可用。

10. 硬件写回延迟:

    • 由于硬件写回延迟，最近的重建区域可能无法立即用于 IntraBC 预测，这可能包含一个或多个超块。因此，进一步限制了允许的 IntraBC 预测区域：
      • 如果一个超块的左上角像素坐标为 (x0, y0)，只有在垂直坐标 y 小于 y0 且水平坐标 x 小于 x0 + 2(y0 − y) − D 时，IntraBC 预测才可用，其中 D 表示从当前块左侧开始的水平方向上的像素数。

11. D 的值:

    • 在 AV1 中，D 被设置为超块宽度的两倍，即 256 像素。

12. 图示参考:

    • 下图展示了 IntraBC 预测区域。
      

总结来说，IntraBC 是 AV1 中一种强大的工具，特别适合处理屏幕捕获内容中的重复模式。通过在当前图像内进行“运动补偿”，它能够显著减少编码这些区域所需的比特数。然而，为了在硬件中实现 IntraBC，需要进行一些调整，以确保解码过程的并行性和效率。通过禁用循环滤波器和限制预测区域，AV1 能够在保持高效编码的同时，简化硬件设计。

调色板模式

AV1 编码中的调色板模式（Palette mode）是一种用于提高压缩效率的技术，特别适用于当前块使用 DC_PRED 预测模式进行帧内编码（intra coding）的情况。以下是对调色板模式的分析：

1. 应用条件：

   • 调色板模式可以在亮度（luma）和色度（chroma）块上应用。
   • 仅当块的尺寸大于或等于 8×8 像素，并且宽度和高度都不超过 64 像素时，才能应用调色板模式。

2. 语法元素信号：

   • 启用调色板模式时，会信号几个语法元素，包括：
     • has_palette_y：指示是否对当前编码块应用调色板模式的标志。
     • palette_size_y_minus_2：指定调色板大小的语法元素，实际大小为该值加 2。
     • use_palette_color_cache_y：指示是否为调色板的每个条目继承颜色索引的标志。

3. 颜色索引继承：

   • 如果继承的调色板条目数量少于信号的调色板大小，则剩余的颜色索引将被显式地信号传输。

4. 色度组件共享：

   • 对于色度分量，has_palette_uv 和 palette_size_uv_minus_2 在两个色度颜色组件（Cb 和 Cr）之间共享。
   • 但是，Cb 和 Cr 的调色板中的颜色索引是分别信号传输的。

5. 编码顺序：

   • 调色板模式编码的块中的颜色索引按照对角线扫描顺序进行信号传输和编码。
   • 扫描从右上角开始，到左下角结束。

6. 熵编码上下文：

   • 当前块的第一个颜色索引使用单独的语法 color_index_map_y 进行编码。
   • 剩余的索引使用它们的上一个（top）、左一个（left）和左上一个（top-left）邻近索引作为熵编码的上下文信息。

7. 对角线扫描优化：

   • 这种对角线扫描方法有助于利用图像的空间相关性，尤其是在图像块中颜色变化不大的情况下。

8. 编码效率：

   • 通过减少表示图像块中颜色变化所需的比特数，调色板模式可以显著提高编码效率。

9. 图示参考：

   • 下图展示了调色板模式编码的对角线扫描顺序。
     

总结来说，AV1 编码中的调色板模式通过限制颜色索引的数量，并按照特定的对角线扫描顺序进行编码，有效地压缩了颜色变化有限的图像区域。这种方法特别适合屏幕内容和动画等颜色种类有限的场景，有助于减少编码后视频的数据量，同时保持图像质量。

屏幕内容类型检测

AV1 编码标准中，帧级内容类型检测是一种智能机制，用于在编码每一帧之前分析帧的特性，并决定是否启用特定的编码工具来优化屏幕内容的编码。分析如下：

1. 帧级内容类型检测：

   • 在编码每一帧之前，AV1 可以启用内容类型检测，分析当前输入帧的特性。

2. 分析目的：

   • 检测过程旨在判断当前帧是否可能包含屏幕内容，如文本、图形用户界面等。

3. 编码工具启用：

   • 根据内容类型检测的结果，可能会启用屏幕内容编码工具，如 IntraBC（内部块复制）和调色板模式。

4. 检测过程描述：

   • 使用两个计数器 counter1 和 counter2 来辅助决策。

5. 16x16 亮度块分析：

   • 对当前帧的每个 16x16 亮度块进行分析。如果一个块中只有 2、3 或 4 个不同的亮度值，这表明该块可能包含重复或有限的颜色，这在屏幕内容中很常见。

6. 更新 counter1：

   • 如果一个 16x16 亮度块符合上述条件，counter1 增加 1。

7. 方差计算：

   • 计算每个符合条件的 16x16 亮度块的方差。

8. 更新 counter2：

   • 如果方差大于预定义的阈值，counter2 增加 1。这表明块内的颜色变化超出了一定范围，可能意味着存在边缘或文本。

9. 调色板模式启用条件：

   • 处理完所有亮度块后，使用 counter1 与 FrameWidth×FrameHeight/2560 的比值来决定是否启用调色板模式。这个比值是一个经验公式，用于确定帧中有限颜色区域的比例是否足够高，从而使得调色板模式有利。

10. IntraBC 启用条件：

    • 类似地，使用 counter2 与 FrameWidth×FrameHeight/3072 的比值来决定是否启用 IntraBC。这个比值也是一个经验公式，用于确定帧中存在显著变化区域的比例是否适合使用 IntraBC。

11. 决策依据：

    • 这些计数器的值提供了一种量化的方法来判断帧内容的特性，并据此选择最合适的编码工具。

12. 灵活性：

    • 这种方法允许编码器根据每一帧的实际内容动态选择使用这些工具，以实现最佳的压缩效率。

总结来说，AV1 编码中的内容类型检测是一种动态决策机制，通过分析帧的局部特性来做出全局的编码决策，从而优化屏幕内容的编码。这种方法特别适合于屏幕捕获和其他具有特定模式的视频内容，能够提高编码效率和适应性。