音视频封装格式解析（1）——H264格式简析，I/P/B帧是什么？H264压缩原理

news2024/10/6 5:55:29

文章目录

  • 1. H264编码参数
  • 2. H264编码原理
    • 2.1 压缩原理
    • 2.2 编码结构解析
  • 3. NALU结构
  • 4. H264 annexb模式
  • 5. 补充说明
    • 5.1 I帧
    • 5.2 P帧
    • 5.3 B帧

1. H264编码参数

视频质量和⽹络带宽占⽤是相⽭盾的。通常情况下，视频流占⽤的带宽越⾼则视频质量也越⾼，需要的⽹络带宽也越⼤。
评判⼀种视频编解码技术的优劣，是⽐较在相同的带宽条件下，哪个视频质量更好；在相同的视频质量条件下，哪个占⽤的⽹络带宽更少（⽂件体积⼩）。然⽽在我们⾁眼分辨的范围内，当码率⾼到⼀定
程度时，就没有什么差别了。所以码率设置有它的最优值
1）pc视频推荐码率

2）手机端视频推荐码率

2. H264编码原理

假设传入帧率25，19201080，的RGB24图像，需要的带宽是：
19201080325 /1024 /1024 = 148.315MB/s = 1186.523Mbps，非常大，所以需要视频压缩和编码技术。
视频由单张图片帧组成，每张图片帧之间的像素块存在相似性，因此可以进行图像压缩。

2.1 压缩原理

H264，采用帧内和帧间压缩（I、P、B帧策略），并采用16*16的分块大小，对视频图像进行压缩编码。
I帧：帧内编码帧，I帧通常是每个GOP的第一个帧，是一个完整图像经过空间压缩后的产物。
P帧：前向预测编码帧，参考前一个（I帧或P帧）的时间冗余信息，以此压缩传输数据量。
B帧：双向预测帧，参考前一个I或P帧及后一个P帧之间的时间冗余信息，以此压缩传输数据量。
压缩率：B>P>I

2.2 编码结构解析

H264为方便网络传输，提供了视频编码和分片策略。
因此H264将其组织成为序列(GOP)、图⽚(pictrue)、⽚(Slice)、宏块(Macroblock)、⼦块(subblock)五个层次。
GOP （图像组）主要⽤作形容⼀个IDR帧 到下⼀个IDR帧之间的间隔了多少个帧。
Reference（参考周期）指两个P帧之间的距离。

IDR：即时编码刷新帧，一个序列的第一个图像叫做IDR图像，IDR都是I帧图像。
核心作用：解码重同步，当解码器解码到IDR图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新寻找参数集，开始一个新的序列。
IDR之后的图像永远不会使用IDR之前的图像数据进行解码，但I帧可以。

总结：码率不变的前提下，GOP值越⼤，P、B帧的数量会越多，平均每个I、P、B帧所占⽤的字节数就越多，也就更容易获取较好的图像质量；Reference越⼤，B帧的数量越多，同理也更容易获得较好的图像质量。
但并不是GOP值越高，图像质量一定越高，但遇到场景切换时，H264编码器自动强制插入一个IDR帧，此时实际的GOP值减小了。并且，P、B帧是由I帧预测过来的，图像中的错误会传播，知道下一个IDR帧才会恢复，所以不宜设置的过大。
同时，由于P、B帧较为复杂，过多的P、B帧会影响编码效率。

（⼀个序列就是⼀段内容差别不是很⼤的图像编码后⽣成的⼀串数据流。当运动变化⽐较少的时候，⼀个序列可以很⻓，因为运动变化的少就代表图像画⾯的内容变动很⼩，所以就可以编⼀个I帧，然后⼀直P帧、B帧了。当运动变化多时，可能⼀个序列就⽐较短了，⽐如就包含⼀个I帧和3、4个P帧。）

3. NALU结构


H264原始码流，由一个接一个的NALU（网络抽象单元）组成。
NALU结构分为两层，包含视频编码层（VCL）和NAL(⽹络提取层)。
视频编码层（VCL即 Video Coding Layer）：包括核心压缩引擎和块、宏块于片的语法级别定义，尽可能独立于网络进行高效编码。
网络提取层（NAL即NetWork Abstraction Layer）：将VCL产生的比特字符串适配到多元的网络、环境中，覆盖了所有片级以上的语法级别。
RBSP：Raw Byte Sequence Payload。原始字节序列负荷。

SPS：序列参数集，SPS中保存了一组编码视频序列(Coded video sequence)的全局参数。
PPS: 图像参数集，对应的是一个序列中某一副或者某几副图像的参数
I帧、P帧、B帧
发I帧之前，至少要发一次SPS和PPS

在VCL进行数据传输或存储之前，编码的VCL数据被映射或封装进NAL单元。
一个NALU单元=startCode（3、4个字节） + 头部信息（1个字节） + 原始字节序列负荷RBSP

H.264标准指出，当数据流是储存在介质上时，在每个NALU 前添加起始码：0x000001 或 0x00000001，⽤来指示⼀个NALU 的起始和终⽌位置：
在这样的机制下，在码流中检测起始码，作为⼀个NALU得起始标识，当检测到下⼀个起始 码时，当前NALU结束。
3字节的0x000001只有⼀种场合下使⽤，就是⼀个完整的帧被编为多个slice（⽚）的时 候，包含这些slice的NALU 使⽤3字节起始码。其余场合都是4字节0x00000001的。


0x68 & 0x1f = 0x07 :sps
0x68 & 0x1f = 0x08 :pps
0x68 & 0x1f = 0x05 :I帧


4. H264 annexb模式

ES–Elementary Streams (原始流) 是直接从编码器出来的数据流
container 容器
H264有两种封装：

⼀种是annexb模式，传统模式，有startcode，SPS和PPS是在ES中。
⼀种是mp4模式，⼀般mp4 mkv flv都是mp4模式，没有startcode，SPS和PPS以及其它信息 被封装在container中，每⼀个frame前⾯4个字节是这个frame的⻓度。
很多解码器只⽀持annexb这种模式，因此需要将mp4做转换：在ffmpeg中⽤ h264_mp4toannexb_filter可以做转换。

    // 转成annexb模式
    // 1 获取相应的比特流过滤器
    //FLV/MP4/MKV等结构中，h264需要h264_mp4toannexb处理。添加SPS/PPS等信息。
    const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb");
    AVBSFContext *bsf_ctx = NULL;
    // 2 初始化过滤器上下文
    av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext;
    // 3 添加解码器属性
    avcodec_parameters_copy(bsf_ctx->par_in, ifmt_ctx->streams[idx]->codecpar);
    av_bsf_init(bsf_ctx);

    av_bsf_send_packet  av_bsf_receive_packet

5. 补充说明

I P B三种帧的说明

5.1 I帧

I帧:帧内编码帧 ，I帧表示关键帧，你可以理解为这⼀帧画⾯的完整保留；解码时只需要本帧数
据就可以完成（因为包含完整画⾯）
I帧特点:

  1. 它是⼀个全帧压缩编码帧。它将全帧图像信息进⾏JPEG压缩编码及传输;
  2. 解码时仅⽤I帧的数据就可重构完整图像;
  3. I帧描述了图像背景和运动主体的详情;
  4. I帧不需要参考其他画⾯⽽⽣成;
  5. I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
  6. I帧是帧组GOP的基础帧(如果为IDR则为第⼀帧),在⼀组中只有⼀个IDR帧，⼀个或多个I
    帧(包括IDR帧);
  7. I帧不需要考虑运动⽮量;
  8. I帧所占数据的信息量⽐较⼤。

5.2 P帧

P帧:前向预测编码帧。P帧表示的是这⼀帧跟之前的⼀个关键帧（或P帧）的差别，解码时需
要⽤之前缓存的画⾯叠加上本帧定义的差别，⽣成最终画⾯。（也就是差别帧，P帧没有完整
画⾯数据，只有与前⼀帧的画⾯差别的数据）

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动⽮量,取预测
差值和运动⽮量⼀起传送。在接收端根据运动⽮量从I帧中找出P帧“某点”的预测值并与差值
相加以得到P帧“某点”样值,从⽽可得到完整的P帧。

P帧特点:

  1. P帧是I帧后⾯相隔1~2帧的编码帧;
  2. P帧采⽤运动补偿的⽅法传送它与前⾯的I或P帧的差值及运动⽮量(预测误差);
  3. 解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
  4. P帧属于前向预测的帧间编码。它只参考前⾯最靠近它的I帧或P帧;
  5. P帧可以是其后⾯P帧的参考帧,也可以是其前后的B帧的参考帧;
  6. 由于P帧是参考帧,它可能造成解码错误的扩散;
  7. 由于是差值传送,P帧的压缩⽐较⾼。

5.3 B帧

B帧:双向预测内插编码帧。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换⾔之，要解码B帧，不仅要取得之前的缓存画⾯，还要解码之后的画⾯，通过前后画⾯的与本帧数据的叠加取得最终的画⾯。B帧压缩率⾼，但是解码时CPU会⽐较累。

B帧的预测与重构：
B帧以前⾯的I或P帧和后⾯的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动⽮量,并
取预测差值和运动⽮量传送。接收端根据运动⽮量在两个参考帧中“找出(算出)”预测值并与
差值求和,得到B帧“某点”样值,从⽽可得到完整的B帧。

B帧特点：
1）B帧是由前⾯的I或P帧和后⾯的P帧来进⾏预测的;
2）B帧传送的是它与前⾯的I或P帧和后⾯的P帧之间的预测误差及运动⽮量;
3）B帧是双向预测编码帧;
4）B帧压缩⽐最⾼,因为它只反映两参考帧间运动主体的变化情况,预测⽐较准确;
5）B帧不是参考帧,不会造成解码错误的扩散。
注:I、B、P各帧是根据压缩算法的需要，是⼈为定义的,它们都是实实在在的物理帧。⼀般来
说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。可⻅使⽤B帧能节省⼤量
空间，节省出来的空间可以⽤来保存多⼀些I帧，这样在相同码率下，可以提供更好的画质。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1611365.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

zig v0.12.0 发布 — x-cmd 提供 zig 快捷安装方法和 x zig 模块

zig v0.12.0 发布 — x-cmd 提供 zig 快捷安装方法和 x zig 模块

文章目录 简介功能特点v0.12.0 新特性[重新设计 Autodoc 的工作原理](https://ziglang.org/download/0.12.0/release-notes.html#Redesign-How-Autodoc-Works)语法变更各类标准库变更构建系统变更 常见用法**使用案例**:竞品和相关项目进一步阅读 简介 Zig 是一种通用编程语言…
阅读更多...
OpenCV基本图像处理操作（九）——特征匹配

OpenCV基本图像处理操作（九）——特征匹配

Brute-Force蛮力匹配 Brute-Force蛮力匹配是一种简单直接的模式识别方法，经常用于计算机视觉和数字图像处理领域中的特征匹配。该方法通过逐一比较目标图像中的所有特征点与源图像中的特征点来寻找最佳匹配。这种方法的主要步骤包括： 特征提取&#xff…
阅读更多...
VOC2012数据集免费获取

VOC2012数据集免费获取

你是否遇到过如下情况： 使用官方网站下载数据集，emmm这效率 我放到网盘中了，有需要的自取 https://pan.quark.cn/s/f8b457086b6c
阅读更多...
1.为什么选择Vue框架

1.为什么选择Vue框架

参考：百战程序员 为什么选择Vue框架 Vue是什么？ 渐进式 JavaScript 框架，易学易用，性能出色，适用场景丰富的 Web 前端框架 为什么要学习Vue Vue是目前前端最火的框架之一Vue是目前企业技术栈中要求的知识点Vue可以…
阅读更多...
开源贡献代码之​探索一下CPython

开源贡献代码之​探索一下CPython

探索一下Cython 本篇文章将会围绕最近给Apache提的一个feature为背景，展开讲讲CPython遇到的问题，以及尝试自己从0写一个库出来，代码也已经放星球了，感兴趣的同学可以去下载学习。 0.背景 最近在给apache arrow提的一个feature因为…
阅读更多...
Unity UGUI透明区域点击无效

Unity UGUI透明区域点击无效

是这样的&#xff0c;我有一张图&#xff0c;客户给的是1920*1080&#xff0c;但只有中间部分是按钮&#xff0c;是有效像素。为了让空白区域点击无效。需要设置如下 并且加上下面这句 this.GetComponent<Image>().alphaHitTestMinimumThreshold 0.1f;
阅读更多...
设计模式学习笔记 - 开源实战三（中）：剖析Google Guava中用到的设计模式

设计模式学习笔记 - 开源实战三（中）：剖析Google Guava中用到的设计模式

概述 上篇文章&#xff0c;我通过 Google Guava 这样一个优秀的开源类库&#xff0c;讲解了如何在业务开发中&#xff0c;发现跟业务无关、可以复用的通用功能模块&#xff0c;并将它们抽离出来&#xff0c;设计成独立的类库、框架或功能组件。 本章再来学习下&#xff0c;Go…
阅读更多...
Vue3——组件基础

Vue3——组件基础

组件基础 1. 组件定义与使用 1.1 代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>组件基础&l…
阅读更多...
力扣-LCP 02.分式化简

力扣-LCP 02.分式化简

题解&#xff1a; class Solution:def fraction(self, cont: List[int]) -> List[int]:# 初始化分子和分母为 0 和 1n, m 0, 1# 从最后一个元素开始遍历 cont 列表for a in cont[::-1]:# 更新分子和分母&#xff0c;分别为 m 和 (m * a n)n, m m, (m * a n)# 返回最终的…
阅读更多...
程序员如何应对久坐带来的不良影响

程序员如何应对久坐带来的不良影响

久坐是程序员工作中常见的问题&#xff0c;它可能对身体健康产生多种负面影响。为了应对这些影响&#xff0c;程序员可以采取以下措施&#xff1a; 定时休息&#xff1a;每隔45分钟至1小时&#xff0c;起身活动5-10分钟。这可以帮助缓解长时间坐姿带来的身体压力&#xff0c;促…
阅读更多...
YOLOv9改进策略 | 添加注意力篇 | 挤压和激励单元SENetV2助力YOLOv9细节涨点（全网独家首发）

YOLOv9改进策略 | 添加注意力篇 | 挤压和激励单元SENetV2助力YOLOv9细节涨点（全网独家首发）

一、本文介绍 本文给大家带来的改进机制是SENetV2&#xff0c;其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型&#xff0c;而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制但是相对于SENetV1来说…
阅读更多...
Aws Nat Gateway

Aws Nat Gateway

要点 NAT网关要能访问外网&#xff0c;所以需要部署在有互联网网关的Public子网中。 关键&#xff1a; NAT网关创建是选择子网&#xff0c;一定要选择公有子网&#xff08;有互联网网关子网&#xff09; 特别注意&#xff1a; 新建nat网关的时候&#xff0c;选择的子网一定…
阅读更多...
Ubuntu无法安装向日癸15.2.0.63062_amd64.deb最新版

Ubuntu无法安装向日癸15.2.0.63062_amd64.deb最新版

Ubuntu安装向日葵远程控制 安装包下载 安装方式 方式一&#xff1a;运行安装包安装 方式二&#xff1a;终端命令安装 通过以下教程可以快速的安装向日葵远程控制&#xff0c;本教程适用于Ubuntu18.04/20.04/22.04 安装包下载 进入向日葵远程控制下载官网下载向日葵远程控制Lin…
阅读更多...
使用Python+opencv实现自动扫雷

使用Python+opencv实现自动扫雷

大家好&#xff0c;相信许多人很早就知道有扫雷这么一款经典的游戏&#xff0c;更是有不少人曾听说过中国雷圣&#xff0c;也是中国扫雷第一、世界综合排名第二的郭蔚嘉的顶顶大名。扫雷作为一款在Windows9x时代就已经诞生的经典游戏&#xff0c;从过去到现在依然都有着它独特的…
阅读更多...
Spark-机器学习（3）回归学习之线性回归

Spark-机器学习（3）回归学习之线性回归

在之前的文章中&#xff0c;我们了解我们的机器学习&#xff0c;了解我们spark机器学习中的特征提取和我们的tf-idf&#xff0c;word2vec算法。想了解的朋友可以查看这篇文章。同时&#xff0c;希望我的文章能帮助到你&#xff0c;如果觉得我的文章写的不错&#xff0c;请留下你…
阅读更多...
安居水站：水站经营秘籍：年入30万不是梦。水站创业指南。

安居水站：水站经营秘籍：年入30万不是梦。水站创业指南。

在这个快节奏的社会里&#xff0c;初创企业家们总是在寻找一条明路&#xff0c;以在竞争激烈的市场中立足。为了帮助他们更好地实现这一目标&#xff0c;我根据经验决定制定一份水站经营指导手册。这份手册将详细阐述如何从零起步&#xff0c;如何运营&#xff0c;如何进行市场…
阅读更多...
开源博客项目Blog .NET Core源码学习（16：App.Hosting项目结构分析-4）

开源博客项目Blog .NET Core源码学习（16：App.Hosting项目结构分析-4）

本文学习并分析App.Hosting项目中前台页面的文章专栏页面和文章详情页面。< 文章专栏页面 文章专栏页面总体上为左右布局&#xff0c;左侧显示文章列表&#xff0c;右侧从上向下为关键词搜索、分类导航、热门文章等内容。整个页面使用了layui中的面包屑导航、表单、模版、流…
阅读更多...
【C++初阶】List使用特性及其模拟实现

【C++初阶】List使用特性及其模拟实现

1. list的介绍及使用 1.1 list的介绍 1. list是可以在常数范围内在任意位置进行插入和删除的序列式容器&#xff0c;并且该容器可以前后双向迭代。 2. list的底层是双向链表结构&#xff0c;双向链表中每个元素存储在互不相关的独立节点中&#xff0c;在节点中通过指针指向其前…
阅读更多...
利用OpenCV4.9制作自己的线性滤波器！

利用OpenCV4.9制作自己的线性滤波器！

返回:OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 上一篇&#xff1a;OpenCV4.9使用 inRange 的阈值操作 下一篇 :OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 目标 在本教程中&#xff0c;您将学习如何&#xff1a; 使用 OpenCV 函数 f…
阅读更多...
Android JetPack Compose+Room----实现搜索记录功能

Android JetPack Compose+Room----实现搜索记录功能

文章目录 需求概述功能展示实现搜索功能使用的技术1.Android Jetpack room2.Android JetPack Compose 代码实现编写搜索界面接入Room实现搜索功能的管理引入依赖定义包结构定义操作表的Dao类定义数据库的基础配置定义数据库的Dao管理类使用数据库升级 源码地址 需求概述 搜索功…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023