ffmpeg视频编码

news2024/11/20 18:16:59

一、视频编码流程

使用ffmpeg解码视频帧主要可分为两大步骤:初始化编码器编码视频帧,以下代码以h264为例

1. 初始化编码器

初始化编码器包含以下步骤:

(1)查找编码器

videoCodec = avcodec_find_encoder_by_name(videoCodecName);
if (!videoCodec) {
    release();
    return false;
}

(2)设置编码器上下文参数

pCodecCtx = avcodec_alloc_context3(videoCodec);
pCodecCtx->time_base = { 1, m_fps }; // 设置编码器上下文的时间基准
pCodecCtx->framerate = { m_fps, 1 };
pCodecCtx->bit_rate = videoBitrate;
pCodecCtx->gop_size = 25;//影响视频的压缩效率、随机访问性能以及编码复杂度,对视频质量、文件大小和编码/解码性能也有影响
pCodecCtx->width = in_w;
pCodecCtx->height = in_h;
pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;// AV_PIX_FMT_NV12,AV_PIX_FMT_YUV420P
pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO;
av_opt_set(pCodecCtx->priv_data, "preset", "superfast", 0); // 设置编码速度
// 以下为根据对应的编码格式设置相关的参数
if (pCodecCtx->codec_id == AV_CODEC_ID_H264)
{
    pCodecCtx->keyint_min = m_fps;
    av_opt_set(pCodecCtx->priv_data, "profile", "main", 0);
    av_opt_set(pCodecCtx->priv_data, "b-pyramid", "none", 0);
    av_opt_set(pCodecCtx->priv_data, "tune", "zerolatency", 0);
}
else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG2VIDEO)
    pCodecCtx->max_b_frames = 2;
else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG1VIDEO)
    pCodecCtx->mb_decision = 2;

(3)打开编码器

if (avcodec_open2(pCodecCtx, videoCodec, NULL) < 0) // 将编码器上下文和编码器进行关联
{
    release();
    return false;
}

(4)设置图像帧参数

// 初始化编码帧
in_frame = av_frame_alloc();
if (!in_frame) {

    return false;
}
// 设置 AVFrame 的其他属性
in_frame->width = pCodecCtx->width;
in_frame->height = pCodecCtx->height;
in_frame->format = pCodecCtx->pix_fmt;

// 计算所需缓冲区大小
int size = av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);
in_frame_buf = (uint8_t*)av_malloc(size); // 分配图像帧内存空间
// 填充 AVFrame
av_image_fill_arrays(in_frame->data, in_frame->linesize, in_frame_buf, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);

(5)创建格式转换上下文
ffmpeg的libx264编码器只支持输入格式为P,如果输入格式不是YUV420P,则需要转换

// 创建缩放上下文,图像缩放和格式转换上下文
if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
    sws_ctx = sws_getContext(in_w, in_h, videoSrcFormat,
        in_w, in_h, AV_PIX_FMT_YUV420P,
        SWS_BILINEAR, NULL, NULL, NULL);
    if (!sws_ctx) {
        release();
        return false;
    }
}

(6)封装设置和打开文件
如果要将编码后数据进行封装(如封装成mp4文件),则需要使用AVFormatContext,并设置视频流

// 打开格式上下文
 if (avformat_alloc_output_context2(&pFormatCtx, NULL, NULL, mp4_file) < 0) {
    release();
    return false;
 }
  // 初始化视频码流
video_st = avformat_new_stream(pFormatCtx, pCodecCtx->codec);
if (!video_st) {
    std::cout << "avformat_new_stream error" << endl;
    return false;
}
fmt = pFormatCtx->oformat;
video_st->id = pFormatCtx->nb_streams - 1;
avcodec_parameters_from_context(video_st->codecpar, pCodecCtx);
pFormatCtx->video_codec_id = pFormatCtx->oformat->video_codec;

// 打开文件
if (avio_open(&pFormatCtx->pb, mp4_file, AVIO_FLAG_READ_WRITE) < 0) {
    //std::cout << "output file open fail!" << endl;
    swprintf(buf, 1024, L"avio_open error");
    logger.logg(buf);
    return false;
}
// 输出格式信息
av_dump_format(pFormatCtx, 0, mp4_file, 1);

2. 编码视频帧

(1)将编码数据送往解码器

    
    // data为需要编码的数据地址,为uint8_t类型的指针,size为输入帧的大小
    // 如果输入数据格式不是YUV420P则需要转化
    if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
        if (sws_scale(sws_ctx, (const uint8_t* const*)&data, mVideoSrcStride, 0, in_h, in_frame->data, in_frame->linesize) < 0) {
            
            return false;
        }
    }
    else {
        memcpy(in_frame->data[0],  data, size);
    }

    in_frame->pts = videoPktCount; // videoPktCount为输入帧的序号
   
    // 编码
    int ret = avcodec_send_frame(pCodecCtx, in_frame);//avcodec_send_frame() 函数用于将解码器处理的视频帧发送给编码器
    if (ret < 0) {
        return false;
    }

(2)接收编码数据

AVPacket* vicdeo_pkt = av_packet_alloc();
while (ret >= 0) {
    ret = avcodec_receive_packet(pCodecCtx, &vicdeo_pkt);//用于从编码器接收编码后的数据包
    if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
        break;
    else if (ret < 0) {
        //cout << "Error during encoding" << endl;
        return false;
    }

    // Prepare packet for muxing
    pkt.stream_index = video_st->index;
    av_packet_rescale_ts(&pkt, pCodecCtx->time_base, video_st->time_base);//用于将 AVPacket 中的时间戳(PTS和DTS)从一个时间基转换到另一个时间基
    pkt.pos = -1;//在某些情况下,如果数据包的原始位置是未知的,或者该数据包不是从文件中读取的,而是由其他方式生成的,那么可能会将 pos 设置为 -1。

    ret = av_interleaved_write_frame(pFormatCtx, &pkt); //用于将一个 AVPacket 写入到一个输出媒体文件中
    if (ret < 0) {
        
        return false;
    }
    
    // Free the packet
    av_packet_unref(&pkt);
}
++videoPktCount; // 每编码完成一帧,videoPktCount加一
av_packet_free(&vicdeo_pkt);
videoPkt = nullptr;

二、使用ffmpeg实现对内存中的视频帧数据编码

以下代码实现了ffmpeg对视频流数据进行编码的主要过程,可分为初始化编码器(InitEncoder)和编码视频帧(DecodeVideoFrame)


extern "C" {
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
#include <libavutil/opt.h>
#include <libavutil/mathematics.h>
#include <libavutil/timestamp.h>
#include <libswresample/swresample.h>
#include <libswscale/swscale.h>
#include <libavutil/imgutils.h>
#include <libavutil/error.h>
}

bool mHasVideo = false;
char* mp4_file = "test.mp4";
int in_w = 1920;
int in_h = 1080;
int m_fps = 30;
int64_t videoBitrate = 6000000;
int      mVideoSrcChannel = 0;
int      mVideoSrcStride[1] = { 0 };
int64_t   videoPktCount = 0;

AVPixelFormat videoSrcFormat = AV_PIX_FMT_YUV420P; // 输入的像素格式

AVStream* video_st = nullptr;
const AVCodec* videoCodec = nullptr; // 视频编码器
AVCodecContext* pCodecCtx = nullptr; // 视频编码器上下文

uint8_t* in_frame_buf = nullptr;
AVFrame* in_frame = nullptr;
SwsContext* sws_ctx = nullptr;

// 初始化编码器
bool InitEncoder() {
     /****   编码器设置      ****/
    // 查找编码器
    videoCodec = avcodec_find_encoder_by_name(videoCodecName);
    if (!videoCodec) {
        release();
        return false;
    }
    pCodecCtx = avcodec_alloc_context3(videoCodec);
    pCodecCtx->time_base = { 1, m_fps }; // 设置编码器上下文的时间基准
    pCodecCtx->framerate = { m_fps, 1 };
    pCodecCtx->bit_rate = videoBitrate;
    pCodecCtx->gop_size = 25;//影响视频的压缩效率、随机访问性能以及编码复杂度,对视频质量、文件大小和编码/解码性能也有影响
    pCodecCtx->width = in_w;
    pCodecCtx->height = in_h;
    pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;// AV_PIX_FMT_NV12,AV_PIX_FMT_YUV420P
    pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO;
    av_opt_set(pCodecCtx->priv_data, "preset", "superfast", 0);

    // 以下为根据对应的编码格式设置相关的参数
    if (pCodecCtx->codec_id == AV_CODEC_ID_H264)
    {
        pCodecCtx->keyint_min = m_fps;
        av_opt_set(pCodecCtx->priv_data, "profile", "main", 0);
        av_opt_set(pCodecCtx->priv_data, "b-pyramid", "none", 0);
        av_opt_set(pCodecCtx->priv_data, "tune", "zerolatency", 0);
    }
    else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG2VIDEO)
        pCodecCtx->max_b_frames = 2;
    else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG1VIDEO)
        pCodecCtx->mb_decision = 2;

    if (avcodec_open2(pCodecCtx, videoCodec, NULL) < 0) // 将编码器上下文和编码器进行关联
    {
        release();
        return false;
    }

    /****   封装设置      ****/
    if (avformat_alloc_output_context2(&pFormatCtx, NULL, NULL, mp4_file) < 0) {
        swprintf(buf, 1024, L"avformat_alloc_output_context2 error");
        logger.logg(buf);
        return false;
    }
    
    // 初始化视频码流
    video_st = avformat_new_stream(pFormatCtx, pCodecCtx->codec);
    if (!video_st) {
        std::cout << "avformat_new_stream error" << endl;
        return false;
    }
    video_st->id = pFormatCtx->nb_streams - 1;
    avcodec_parameters_from_context(video_st->codecpar, pCodecCtx);
    pFormatCtx->video_codec_id = pFormatCtx->oformat->video_codec;
    

    // 打开文件
    if (avio_open(&pFormatCtx->pb, mp4_file, AVIO_FLAG_READ_WRITE) < 0) {
        release();
        return false;
    }
    // 输出格式信息
    av_dump_format(pFormatCtx, 0, mp4_file, 1);
    
    /****** 输入参数 *********/
    // 初始化编码帧
    in_frame = av_frame_alloc();
    if (!in_frame) {

        return false;
    }
    // 设置 AVFrame 的其他属性
    in_frame->width = pCodecCtx->width;
    in_frame->height = pCodecCtx->height;
    in_frame->format = pCodecCtx->pix_fmt;

    // 计算所需缓冲区大小
    int size = av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);
    in_frame_buf = (uint8_t*)av_malloc(size);
    // 填充 AVFrame
    av_image_fill_arrays(in_frame->data, in_frame->linesize, in_frame_buf, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);


    // 创建缩放上下文,图像缩放和格式转换上下文
    if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
        sws_ctx = sws_getContext(in_w, in_h, videoSrcFormat,
            in_w, in_h, AV_PIX_FMT_YUV420P,
            SWS_BILINEAR, NULL, NULL, NULL);
        if (!sws_ctx) {
            release();
            return false;
        }
    }

    av_image_fill_linesizes(mVideoSrcStride, videoSrcFormat, in_w); // 计算图像的行大小,格式转换时会用上
    
    videoPktCount = 0;
    
    

}

bool DecodeVideoFrame(uint8_t* data, int size) {

    // data为需要编码的数据地址,为uint8_t类型的指针,size为输入帧大小
    // 如果输入数据格式不是YUV420P则需要转化
    if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
        if (sws_scale(sws_ctx, (const uint8_t* const*)&data, mVideoSrcStride, 0, in_h, in_frame->data, in_frame->linesize) < 0) {
            
            return false;
        }
    }
    else {
        memcpy(in_frame->data[0],  data, size);
    }

    in_frame->pts = videoPktCount; // videoPktCount为输入帧的序号
   
    // 编码
    int ret = avcodec_send_frame(pCodecCtx, in_frame);//avcodec_send_frame() 函数用于将解码器处理的视频帧发送给编码器
    if (ret < 0) {
        return false;
    }

    AVPacket* vicdeo_pkt = av_packet_alloc();
    while (ret >= 0) {
        ret = avcodec_receive_packet(pCodecCtx, &vicdeo_pkt);//用于从编码器接收编码后的数据包
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            break;
        else if (ret < 0) {
            
            return false;
        }

        // Prepare packet for muxing
        vicdeo_pkt.stream_index = video_st->index;
        av_packet_rescale_ts(&pkt, pCodecCtx->time_base, video_st->time_base);//用于将 AVPacket 中的时间戳(PTS和DTS)从一个时间基转换到另一个时间基
        vicdeo_pkt.pos = -1;//在某些情况下,如果数据包的原始位置是未知的,或者该数据包不是从文件中读取的,而是由其他方式生成的,那么可能会将 pos 设置为 -1。

        ret = av_interleaved_write_frame(pFormatCtx, vicdeo_pkt); //用于将一个 AVPacket 写入到一个输出媒体文件中
        if (ret < 0) {
            
            return false;
        }
        
        // Free the packet
        av_packet_unref(vicdeo_pkt);
        
    }
    av_packet_free(&vicdeo_pkt);
    videoPkt = nullptr;
    ++videoPktCount; // 每编码完成一帧,videoPktCount加一
}

void release() {
    
    if (in_frame_buf) {
        av_free(in_frame_buf);
        in_frame_buf = nullptr;
    }
    if (in_frame) {
        av_frame_free(&in_frame);
        in_frame = nullptr;
    }
   
    if (pCodecCtx) {
        avcodec_close(pCodecCtx);
        avcodec_free_context(&pCodecCtx);
        pCodecCtx = nullptr;

    }
    if (sws_ctx) {
        sws_freeContext(sws_ctx);
        sws_ctx = nullptr;
    }

    if (pFormatCtx) {
        avio_close(pFormatCtx->pb);
        avformat_free_context(pFormatCtx);
        pFormatCtx = nullptr;
    }
}
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2244176.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Elasticsearch 查询时 term、match、match_phrase、match_phrase_prefix 的区别

Elasticsearch 查询时 term、match、match_phrase、match_phrase_prefix 的区别 keyword 与 text 区别term 查询match 查询match_phrase 查询match_phrase_prefix 查询写在最后 在讲述 es 查询时 term、match、match_phrase、match_phrase_prefix 的区别之前&#xff0c;先来了…

ERROR TypeError: AutoImport is not a function

TypeError: AutoImport is not a function 原因&#xff1a;unplugin-auto-import 插件版本问题 Vue3基于Webpack&#xff0c;在vue.config.js中配置 当unplugin-vue-components版本小于0.26.0时&#xff0c;使用以下写法 const { defineConfig } require("vue/cli-se…

iOS 18 导航栏插入动画会导致背景短暂变白的解决

问题现象 在最新的 iOS 18 系统中,如果我们执行导航栏的插入动画,可能会造成导航栏背景短暂地变为白色: 如上图所示:我们分别向主视图和 Sheet 弹出视图的导航栏插入了消息,并应用了动画效果。可以看到,前者的导航栏背景会在消息插入那一霎那“变白”,而后者则没有任何…

PHP屏蔽海外IP的访问页面(源代码实例)

PHP屏蔽海外IP的访问页面&#xff08;源代码实例&#xff09;&#xff0c;页面禁用境外IP地址访问 <?php/*** 屏蔽海外ip访问* 使用ip2long函数得到ip转为整数的值&#xff0c;判断值是否在任一一个区间中* 以下是所有国内ip段* 调用方法&#xff1a;IschinaIp($ALLIPS)* …

SpringBoot 增量部署发布(第2版)

一、背景介绍 书接上一篇《SpringBoot 增量部署发布_springboot增量部署-CSDN博客》&#xff0c;上一篇内容实现了将静态资源与jar分离&#xff0c;但是即使是打包成**-exec.jar&#xff0c;解压jar文件&#xff0c;可以看到里面包含了static&#xff0c;resource目录&#xf…

单片机智能家居火灾环境安全检测-分享

目录 前言 一、本设计主要实现哪些很“开门”功能&#xff1f; 二、电路设计原理图 电路图采用Altium Designer进行设计&#xff1a; 三、实物设计图 四、程序源代码设计 五、获取资料内容 前言 传统的火灾报警系统大多依赖于简单的烟雾探测器或温度传感器&#xff0c;…

C++:指针和引用

指针的基础 数据在内存当中是怎么样被存储的 数据在内存中的存储方式取决于数据的类型和计算机的体系结构 基本数据类型 整数类型&#xff1a;整数在内存中以二进制补码的形式存储。对于有符号整数&#xff0c;最高位为符号位&#xff0c;0 表示正数&#xff0c;1 表示负数。…

MySQL更换瀚高语法更换

MySQL更换瀚高语法更换 一、前言二、语句 一、前言 水一篇,mysql更换瀚高之后&#xff0c;一些需要更换的语法介绍 > 二、语句 MySQL瀚高MySQL用法瀚高用法说明ifnull(x,y)coalesce(x,y)相同相同用于检查两个表达式并返回第一个非空表达式。如果第一个表达式不是 NULL&…

亚马逊云服务器(AWS):功能、优势与使用指南

亚马逊云服务器&#xff08;AWS&#xff09;概述 亚马逊云服务器&#xff08;Amazon Web Services&#xff0c;简称AWS&#xff09;是全球领先的云计算平台&#xff0c;提供一系列强大且灵活的云服务&#xff0c;帮助企业和开发者通过云基础设施实现数据存储、计算、分析和机器…

国产三维CAD 2025新动向:推进MBD模式,联通企业设计-制造数据

本文为CAD芯智库原创整理&#xff0c;未经允许请勿复制、转载&#xff01; 上一篇文章阿芯分享了影响企业数字化转型的「MBD」是什么、对企业优化产品设计流程有何价值——这也是国产三维CAD软件中望3D 2024发布会上&#xff0c;胡其登先生&#xff08;中望软件产品规划与GTM中…

小试牛刀-Anchor安装和基础测试

目录 一、编写目的 二、安装步骤 2.1 安装Rust 设置rustup镜像 安装Rust 2.2 安装node.js 2.3 安装Solana-CLI 2.4 安装Anchor CLI 三、Program测试 四、可能出现的问题 Welcome to Code Blocks blog 本篇文章主要介绍了 [Anchor安装和基础测试] 博主广交技术好友&…

如何在 Ubuntu 上安装 Emby 媒体服务器

Emby 是一个开源的媒体服务器解决方案&#xff0c;它能让你整理、流媒体播放和分享你的个人媒体收藏&#xff0c;包括电影、音乐、电视节目和照片。Emby 帮你集中多媒体内容&#xff0c;让你无论在家还是在外都能轻松访问。它还支持转码&#xff0c;让你能够播放各种格式的内容…

php交友源码交友系统源码相亲交友系统源码php社交系统php婚恋源码php社区交友源码vue 仿交友社交语聊技术栈

关于PHP交友、相亲、婚恋、社区交友系统的源码以及Vue仿交友社交语聊技术栈&#xff0c;以下是一些详细信息和建议&#xff1a; 一、PHP交友系统源码 系统架构设计 前端展示层&#xff1a;负责向用户提供直观友好的界面&#xff0c;包括注册登录页面、个人资料页面、匹配页面、…

【装饰珠——分组背包】

题目 代码 #include <bits/stdc.h> using namespace std; const int N 1e410; int cnt[5]; // 存兼容i等级及以下的孔的数目的桶 int l[N], p[N]; // l[i] i号珠子等级 p[i] i号珠子的上限 int w[N][8], f[N]; // w[i][j] i号珠子镶嵌j个的值 f[i] 孔数为i的最大值…

数据库审计工具--Yearning 3.1.9普民的使用指南

1 页面登录 登录地址:18000 &#xff08;不要勾选LDAP&#xff09; 2 修改用户密码 3 DML/DDL工单申请及审批 工单申请 根据需要选择【DML/DDL/查询】中的一种进行工单申请 填写工单信息提交SQL检测报错修改sql语句重新进行SQL检测&#xff0c;如检测失败可以进行SQL美化后…

Misc_01转二维码(不是二进制)

例题ctfhub/隐写v2.0 打开是一张图片 文件分离得到zip&#xff0c;爆破密码得到7878 打开得到0和1&#xff0c; !!!不是二进制转图片&#xff0c;直接是二维码 缩小能看到 000000000000000000000000000000000000000000000000000000000000000000000 000000000000000000000000…

AI工具百宝箱|任意选择与Chatgpt、gemini、Claude等主流模型聊天的Anychat,等你来体验!

文章推荐 AI工具百宝箱&#xff5c;使用Deep Live Cam&#xff0c;上传一张照片就可以实现实时视频换脸...简直太逆天&#xff01; Anychat 这是一款可以与任何模型聊天 &#xff08;chatgpt、gemini、perplexity、claude、metal llama、grok 等&#xff09;的应用。 在页面…

[论文阅读] 异常检测综述 Deep Learning for Anomaly Detection: A Review(一)

深度学习在异常检测中的应用&#xff1a;综述 摘要 异常检测&#xff0c;又称离群点检测或新奇性检测&#xff0c;在各个研究领域中数十年来一直是一个持续且活跃的研究领域。仍然存在一些独特的问题复杂性和挑战&#xff0c;需要先进的方法来解决。近年来&#xff0c;基于深…

PaddlePaddle 开源产业级文档印章识别PaddleX-Pipeline “seal_recognition”模型 开箱即用篇(一)

AI时代到来&#xff0c;各行各业都在追求细分领域垂直类深度学习模型&#xff0c;今天给大家介绍一个PaddlePaddle旗下&#xff0c;基于PaddleX Pipeline 来完成印章识别的模型“seal_recognition”。 官方地址&#xff1a;https://github.com/PaddlePaddle/PaddleX/blob/relea…

Ubuntu 22.04 上快速搭建 Samba 文件共享服务器

Samba 简介 Samba 是一个开源软件&#xff0c;它扮演着不同操作系统间沟通的桥梁。通过实现 SMB&#xff08;Server Message Block&#xff09;协议&#xff0c;Samba 让文件和打印服务在 Windows、Linux 和 macOS 之间自由流动。 以下是 Samba 的特点&#xff1a; 跨平台兼…