YUV图像格式详解

1.概述

YUV是一种图像颜色编码方式。

相对于常见且直观的RGB颜色编码，YUV的产生自有其意义，它基于人眼对亮度比色彩的敏感度更高的特点，使用Y、U、V三个分量来表示颜色，并通过降低U、V分量的采样率，尽可能保证图像质量的情况下，做到如下3点：

占用更低的存储空间
数据传输效率更高
兼容黑白与彩色显示

具体是怎么做到的，后文中会一一讲解，在此之前，先简单过一下图像基础知识

2.像素

想要深入了解YUV格式，必须得从Bit、Byte级别“看穿看透”它

Bit：位 —— 计算机硬件系统能识别的最基础单位
Byte：字节 —— 计算机文件系统能识别的最基础单位
像素：Pixel —— 显示图像的最基础单位

显示器上的一个像素点对应图像里的一个像素，不管哪种显示器，最终都是以像素为最小单位进行图像呈现。

早期CRT显示器通过显像管中电子枪喷射电子流到屏幕实现。
现在的LCD显示器通过电压改变液晶分子排列实现。
LED和OLED显示器则是通过点阵式发光二极管实现。

不论技术怎么革新，有两点是始终不变的：

显示的基础单元是像素
每个像素的色彩由红、绿、蓝三原色混合实现

三原色是什么？显示器像素点的颜色数据是怎么排列存储的？

带着问题先了解下RGB，为YUV的了解做个铺垫

3.RGB

RGB：用R、G、B三个分量来表示像素点颜色

R：红（Red）
G：绿（Green）
B：蓝（Blue）

这三种颜色就称为三原色，它们以不同比例混合能生成其他任意颜色

RGB表示一帧图像：

每个像素点背后都包含一组R、G、B分量，像素点的颜色就是它们的混合
R、G、B每个分量分别占1个byte，也就是8个bit (也有其他精度，本博文不作研究)

一张分辨率 1280 * 720 的RGB图片，占用 1280 * 720 * 3 / 1024 / 1024 = 2.63MB 空间。

4.YUV表示图像

YUV：用Y、U、V三个分量来表示像素颜色

Y 表示亮度（Luminance、缩写Luma），即为灰度值
U 和 V 表示色度（Chrominance、缩写Chroma），即为色调和饱和度

YUV表示一帧图像：

默认Y、U、V每个分量占用存储空间1个byte(也有其他精度，本博文不作研究)

一张分辨率为 1280 * 720 的YUV图片，采用上图里每个像素都包含一组Y、U、V分量的情况下，还是会占用 "1280 * 720 * 3 / 1024 / 1024 = 2.63 MB" 空间。

问题来了，这不是跟RGB占用的空间一样吗？并没有什么优化啊！

前文概述中提到过，YUV是通过降低U、V分量的采样率来实现它占用空间小和传输效率高的优势。

也就是图像每个像素的Y分量都被完整采样全部保存，但是U、V分量只做部分采样，让多个像素按照一些规则共用U、V分量。

5.YUV类别

根据U、V分量的采样率不同，也就是多个像素共用U、V分量的规则不同，YUV有如下几个常见类别：

4:4:4 一个像素一组Y、U、V
4:4:0 垂直方向两个像素共用一组U、V
4:2:2 水平方向两个像素共用一组U、V
4:2:0 水平垂直四个像素共用一组U、V
4:1:1 水平方向四个像素共用一组U、V

(1).YUV444:

每个像素都包含一组完整的Y、U、V分量
YUV444 每个像素占用的存储空间，也就是像素深度(piex_depth)为：3 * 8bit = 24bits
一帧 YUV444 图像占用的空间就是：w * h * 3byte

(2).YUV440:

垂直方向两个相邻的像素共用一组U、V
YUV440的像素深度(piexl_depth)：(1 * 8bit) + (0.5 *8bit) + (0.5 *8bit) = 16bits
一帧 YUV444 图像占用的空间就是：w * h * 2byte

(3).YUV422:

水平方向两个相邻的像素共用一组U、V
YUV422 的像素深度(piexl_depth)：(1 * 8bit) + (0.5 *8bit) + (0.5 *8bit) = 16bits
一帧 YUV444 图像占用的空间就是：w * h * 2byte

(4).YUV411:

水平方向两个相邻的像素共用一组U、V
YUV411 的像素深度(piexl_depth)：(1 * 8bit) + 2*(0.25 *8bit) = 12bits
一帧 YUV444 图像占用的空间就是：w * h * 1.5byte

(5).YUV420:

水平垂直方向四个相邻的像素共用一组U、V
YUV420的像素深度(piexl_depth)：(1 * 8bit) + 2*(0.25 *8bit) = 12bits
一帧YUV444图像占用的空间就是：w * h * 1.5byte

注意：

YUV420 因为是 2x2 矩阵平面的4个像素共用一组U、V
所以它的像素排列顺序在内存空间中有其特定规律，按"Z"字型排列

参考链接：2.7.1.2. Planar YUV formats — The Linux Kernel documentation

(6).综述

如上所述，根据U、V分量不同的采样规则，YUV可以分为多个类别

以上列举的是较为常见的几种，还有其他YUV类别，有兴趣可自行研究

每一类YUV又可以根据Y、U、V三个分量数据的存储排列方式不同细分出不同格式

6.YUV数据存储模式

(1).三种存储模式

planar平面模式：先连续存储所有像素点的 Y 分量，
再连续存 U 分量，
然后连续存 V 分量
Semi-Planar半平面模式：先连续存储所有像素点的 Y 分量，
再交替存储U、V分量
packed 打包模式：连续交替存储每个像素点的 Y、U、V 分量

注：在YUV422中，有时候会看到还有一种 Interleaved 模式，它其实就是 Packed，
只不过YUV422格式中有人觉得用 Interleaved 这个词更形象一些，
所以在YUV422中有时会用 Interleaved 代替 Packed 表述。

(2).三种存储模式图示：

以一张全采样 4x4=16 个像素的 YUV444 格式图像为例，
它在三种模式下各分量在内存空间的排列如下：

Planar：3个矩阵平面分别存储Y、U、V分量数据

Semi-Planar：Semi即为"一半"，一个矩阵平面存Y，存U、V只用Planar的一半一个矩阵平面

Packed：Y、U、V三个分量交替存一个矩阵平面

当然，即便是YUV444全采样类别，三种模式下Y、U、V分量的存储排列也不仅仅只有上述三种，还可以排列出很多花样，产生多种格式，这一点在后面的章节会详细讲到。

(3) Y、U、V分量对应Byte[ ]数组示例

如果要对图像做一些操作，比如图像格式转换，任意区域裁剪，色值修改，像素插值等，就需要在图像最基础单元byte层面，将图像数据从内存中读出解析到byte[ ]数组来操作。

不同模式解析出来的byte[ ]数组个数是不一样的

Planar： 3个byte[ ]，分别对应Y、U、V 分量数据
Semi-Planar：2个byte[ ]，分别对应 Y 和 (U、V)
Packed： 1个byte[ ]，对应（Y、U、V)

Android Camera2中有个很形象的示例：
onImageAvailable(ImageReader reader) 回调获取到的Image图像就是YUV420 planar格式，Image有3个分别包含ByteBuffer的Plane，每个Plane的ByteBuffer解析成byte[ ]后，就会有如下对应关系：

@Override
public void onImageAvailable(ImageReader reader) {
	Image image = reader.acquireNextImage();

	ByteBuffer bufferY = image.getPlanes()[0].getBuffer();
	ByteBuffer bufferU = image.getPlanes()[1].getBuffer();
	ByteBuffer bufferV = image.getPlanes()[2].getBuffer();

	byte[] bytesY = new byte[bufferY.capacity()];
	byte[] bytesU = new byte[bufferU.capacity()];
	byte[] bytesV = new byte[bufferV.capacity()];

	bufferY.get(bytesY);
	bufferU.get(bytesU);
	bufferV.get(bytesV);

	image.close();
}

YUV420 planar:
byetdata[0] —— Y分量, Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8…, Y16, …
byetdata[1] —— U分量, U1, U2, U3, U4……
byetdata[2] —— V分量, V1, V2, V3, V4 ……

假设一下，
如果拿到的不是planar而是YUV420 semi-planar 或 YUV444 packed
图像数据解析成byte[ ]后的对应关系：
YUV420 semi-planar：
byetdata[0] —— Y分量, Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8……
byetdata[1] —— U、V分量, U1, V1, U2, V2……
byetdata[2] 没有

YUV444 packed：
byetdata[0] ——-Y、U、V分量, Y1, U1, V1, Y2, U2, V2, Y3, U3, V3……
byetdata[1] 和byetdata[2] 没有

这么看可能不是太直观，下面就用图示看看不同格式的YUV，它的三个分量是怎么排列存储的

7.YUV格式详细注解

一帧宽：w，高：h 的YUV图像，

以8个像素为例，一些常见YUV格式分量的存储排列如下：

7.1 YUV420

(1).YUV420 Plannar：I420

YUV分量分别存放，先是 w * h 个的 Y，后面跟 w * h * 0.25 个 U，最后是 w * h * 0.25 个 V
每个像素占用空间(像素深度)：1.5byte
总大小为： w * h * 1.5

(2).YUV420 Plannar：YV12

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h * 0.25 个 V，最后是 w * h * 0.25 个 U
每个像素占用空间(像素深度)：1.5byte
总大小为： w * h * 1.5

(3).YUV420 Semi-Planar：NV12

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 U 开始
每个像素占用空间(像素深度)：1.5byte
总大小为： w * h * 1.5

(4).YUV420 Semi-Planar：NV21

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 V开始
每个像素占用空间(像素深度)：1.5byte
总大小为：w * h * 1.5

7.2 YUV422

(1).YUV422 Plannar：I422

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h * 0.5 个 U，最后是 w * h * 0.5 个 V
每个像素占用空间(像素深度)：2byte
总大小为： w * h * 2

(2).YUV422 Plannar：YV16

UV 分量分别存放，先是 w * h 个 Y，后面跟 w * h * 0.5 个 V，最后是 w * h * 0.5 个 U
每个像素占用空间(像素深度)：2byte
总大小为： w * h * 2

(3).YUV422 Semi-Planar：NV61

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 V 开始
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

(4).YUV422 Semi-Planar：NV16

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 U 开始
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

(4).YUV422Packed (Interleaved)：YUVY

Interleaved 即是 Packed ，在 Packed 内部，YUV 的排列顺序是 Y U V Y，两个 Y 共用一组 UV
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

(6).YUV422Packed (Interleaved)：UYVY

YUV 的排列顺序是 UYVY，两个 Y 共用一组 UV
每个像素占用空间(像素深度)：2byte
总大小为：w * h * 2

7.3 YUV444

(1).YUV444 Plannar：I444

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h 个 U，最后是 w * h 个 V
每个像素占用空间(像素深度)：3byte
总大小为： w * h * 3

(2).YUV444 Plannar：YV24

YUV 分量分别存放，先是 w * h 个 Y，后面跟 w * h 个 V，最后是 w * h 个 U
每个像素占用空间(像素深度)：3byte
总大小为：w * h * 3

(3).YUV444 Semi-Planar：NV24

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 U 开始。
每个像素占用空间(像素深度)：3byte
总大小为：w * h * 3

(4).YUV444 Semi-Planar：NV42

Y 分量单独存放，UV 分量交错存放，UV 在排列的时候，从 V 开始。
每个像素占用空间(像素深度)：3byte
总大小为：w * h * 3

8.YUV格式详图

下图即为YUV常见格式详细图示，方便后续查阅

最后一列仍是以8个像素点为例，简略地表示每个格式Y、U、V分量的存储排列

9.结束语

关于YUV格式就先讲解这么多。

在此篇博文撰写过程中，也参考了多篇官方和非官方的资料文档。

非官方的博文资料有的会出现一些纰漏，比如某种格式NV24，是UV交替还是VU交替，有的个人文档里就表述错了，遇到这种问题就需要参考官方资料进行比对。

感谢这些官方机构和个人博主们。

参考链接如下：

官方参考链接：
2. Image Formats — The Linux Kernel documentation
2.10. YUV Formats — The Linux Kernel documentation
2.7.1.2. Planar YUV formats — The Linux Kernel documentation
YUV - VideoLAN Wiki
Video Rendering with 8-Bit YUV Formats | Microsoft Learn

个人博客参考连接：
YUV 格式详解，只看这一篇就够了（转） - 知乎
YUV图像的常见格式（图示）_yuv图片-CSDN博客
YUV格式到底是什么？-CSDN博客
【精选】YUV格式详解【全】_编码笔记的博客-CSDN博客
音视频基础之YUV格式-CSDN博客
【精选】安卓camera2 API获取YUV420_888格式详解_yuv_420_888-CSDN博客