音视频开发实战03-FFmpeg命令行工具移植

news2024/12/25 12:26:41

一，背景

作为一个音视频开发者，在日常工作中经常会使用ffmpeg 命令来做很多事比如转码ffmpeg -y -i test.mov -g 150 -s 1280x720 -codec libx265 -r 25 test_h265.mp4 ，水平翻转视频：ffmpeg -i src.mp4 -vf hflip -acodec copy -vcodec h264 -b 22000000 out.mp4，视频截取：ffmpeg -i input.wmv -ss 00:00:30.0 -c copy -t 00:00:10.0 output.wmv 等等，一个简单的命令就可以解决很多事情，如果通过执行一些命令就能完成日常开发工作，那么能极大的提升我们的开发效率，但是这些命令只能在PC上使用，在移动端是无法直接使用的，这也就引出了这篇文章的所要讲的内容–FFmpeg命令行工具编译

编译好的工程：https://github.com/bookzhan/bzffmpegcmd 想偷懒的可以直接跳过本文，直接使用或者直接看源码，记得给一个Start，不过建议完整看完本文，你收获的会更多

由于ffmpeg命令是一个功能完备且比较独立的模块，因此在开发中我们一般都编译为一个独立的SO，在需要的地方作为动态库引入就好了，话不多说，我们来看看FFmpeg官方在PC上实现ffmpeg命令的过程：

二，FFmpeg实现ffmpeg命令的方式

本文使用的FFmpeg版本为6.0，其它版本大同小异

通过查看源码，不难发现FFmpeg实现ffmpeg命令是通过fftools/ffmpeg.c文件来实现的，通常这种.c都有一个入口函数，也就是我们常见的main函数，在ffmpeg.c的入口函数为int main(int argc, char **argv) 其中argc是args count的缩写，在c函数中传指针都需要指定指针的长度，根据这个长度来防止访问越界，char **argv是一个二级指针，里面存放的是参数，类似于ffmpge, -i , test.mov, out.mp4的字符串
在这里插入图片描述
进一步查看main函数，就可以发现这个函数很短，但是基本流程都包括了，详见下面的注释：

int main(int argc, char **argv)
{
    int ret;
    BenchmarkTimeStamps ti;
    init_dynload();//加载动态库的，用于处理Windows，dll库的
    register_exit(ffmpeg_cleanup);//程序结束的回调
    setvbuf(stderr,NULL,_IONBF,0); /* win32 runtime needs this */
    av_log_set_flags(AV_LOG_SKIP_REPEATED);
    parse_loglevel(argc, argv, options);
#if CONFIG_AVDEVICE
    avdevice_register_all();//老版本还有很多需要注册的，包括编码器，解码器，解复用等，新版的不需要处理了
#endif
    avformat_network_init();//只是需要初始化一次就好了
    show_banner(argc, argv, options);
    /* parse options and open all input/output files */
    ret = ffmpeg_parse_options(argc, argv);
    if (ret < 0)
        exit_program(1);
    if (nb_output_files <= 0 && nb_input_files == 0) {
        show_usage();
        av_log(NULL, AV_LOG_WARNING, "Use -h to get full help or, even better, run 'man %s'\n", program_name);
        exit_program(1);
    }
    /* file converter / grab */
    if (nb_output_files <= 0) {
        av_log(NULL, AV_LOG_FATAL, "At least one output file must be specified\n");
        exit_program(1);
    }
    current_time = ti = get_benchmark_time_stamps();
    if (transcode() < 0)//核心流程
        exit_program(1);
    if (do_benchmark) {
        int64_t utime, stime, rtime;
        current_time = get_benchmark_time_stamps();
        utime = current_time.user_usec - ti.user_usec;
        stime = current_time.sys_usec  - ti.sys_usec;
        rtime = current_time.real_usec - ti.real_usec;
        av_log(NULL, AV_LOG_INFO,
               "bench: utime=%0.3fs stime=%0.3fs rtime=%0.3fs\n",
               utime / 1000000.0, stime / 1000000.0, rtime / 1000000.0);
    }
    av_log(NULL, AV_LOG_DEBUG, "%"PRIu64" frames successfully decoded, %"PRIu64" decoding errors\n",
           decode_error_stat[0], decode_error_stat[1]);
    if ((decode_error_stat[0] + decode_error_stat[1]) * max_error_rate < decode_error_stat[1])
        exit_program(69);
    exit_program(received_nb_signals ? 255 : main_return_code);
    return main_return_code;
}

三，ffmpeg.c文件编译

如上所示，我们之需要把ffmpeg.c的main函数调用起来就好，听起来是不是很简单[手动狗头]，那我们就来编译首先请按照：Android音视频开发实战01-环境搭建 把Native开发的环境搭建起来，包括ffmpeg的include的文件特别是config.h文件，以及ffmpeg so文件，最终的文件结构如下：
在这里插入图片描述

3.1 依赖文件处理

fftools 文件夹里面的文件很多，我们没有必要全部copy进去，先把ffmpeg.h，ffmpeg.c文件copy进去，然后看看哪里有报错，就把报错的文件的文件copy进去，最终需要的文件如下：（里面cpp和ffmpeg_cmd文件是后来新建的，请先忽略）
在这里插入图片描述

3.2 调用main函数

我们可以写一个jni函数把main函数直接调用起来，不会jni的可以参考：音视频开发实战02-JNI，写一个命令然后执行
我们把main函数调用起来之后会发现，命令执行成功了，但是app退出了类似发生crash了，入坑了？
在这里插入图片描述
没得办法只能一步步看源码，此处省略10086个字，最终在这个函数中发现了猫腻，如下：
在这里插入图片描述
没错，ffmpeg.c文件在运行过程中有很多地方调用了这个函数，退出的原因就在于执行了exit函数，exit在Linux系统中的实现就是退出进程，但是Android App运行起来后就一个主进程，退出后整个App就退出了，如果作为电脑的命令行工具那么没有问题，每一次执行都是新开一个进程，执行完后进程释放，但是作为作为Android应用那就不行了，我们注释掉之后，程序能够正常运行，不再退出。

3.3 程序健壮性处理

我们在接入一个陌生库的时候步骤一般如下：

  1. 先看License，看协议是否符合开源规范，常见的开源协议可以参考这篇文章：https://www.cnblogs.com/findumars/p/9874836.html
  2. 导入SDK，成功跑起来
  3. 异常参数调用测试
  4. 重复调用测试
  5. 多线程调用测试
  6. 内存泄漏检查
  7. 代码review确保没有高危代码

1，2，3没什么好说的，我们做后面的测试

3.3.1 重复调用测试

我们在重复调用main函数之后，你会惊奇的发现，程序会crash，FFmpeg会这么坑我，不可能，绝对不可能，接着看代码吧，此处省略10086个字，最终你会发现，ffmpeg.c文件里面的变量都是静态变量，如果是想PC那样作为进程来调用，那么自然没有问题，每次进程起来，这些变量就相当于是初始值，如果是面向对象编程也不存在这样的问题，每次new 一个Class那么这些变量也就恢复初始值了，嗨~吃了没有对象的亏！那么现在只能在每次程序运行完成后把这些变量的值重置。在ffmpeg_cleanup函数中把这些变量重置，如下：

static void ffmpeg_cleanup(int ret) {
   	//...
    progress_avio = NULL;

    input_files = NULL;
    nb_input_files = 0;

    output_files = NULL;
    nb_output_files = 0;

    filtergraphs = NULL;
    nb_filtergraphs = 0;

    ffmpeg_exited = 1;
}

3.3.2 多线程调用测试

在3.3.1中我们知道ffmpeg.c中有很多变量是静态的，那么在我们处理完后单线程调用肯定是没有什么问题的，但是在多线程调用的情况下，那么这些变量的读写就会串掉，随手测试一把就会发现疯狂的crash，加锁！C语言的加锁一般都是使用pthread提供的pthread_mutex_lock，其中cmdLock作为静态变量，全局唯一，如下：

	if (!cmdLockHasInit) {
        pthread_mutex_init(&cmdLock, NULL);//初始化
        cmdLockHasInit = 1;
    }
    pthread_mutex_lock(&cmdLock);
    //...处理逻辑
    pthread_mutex_unlock(&cmdLock);

3.3.3 内存泄漏检查

内存泄漏检查没有太多好说的，重复运行多次后观察内存增长情况就好了，这里经过测试ffmpeg.c没有什么问题
在这里插入图片描述

3.3.4 代码review确保没有高危代码

这一步不可少，这一步是确保代码健壮性的重要保障，即使常规case已经测试过了，这一步也可以提前做，不过我喜欢放在全部run起来之后再做，一开始就review代码很容易劝退。我们这里review代码不需要很仔细，重点要关注流程。
在我review代码的过程中发现ffmpeg.c有很多地方调用了exit_program方法，特别是在状态不对，发生错误的时候，在原先的实现中exit_program是直接把整个进程退出了，那么exit_program之后的代码就不会执行，但是我们不能退出进程，而且要确保exit_program方法执行完，后面的代码不能被调用，因为很多资源都被释放，状态已经不对了，代码往下执行会发生不可预知的问题。
因此我们需要修改调用exit_program的地方，改成retrun exit_program(), 同时让exit_program的返回值改成int，把传入的错误码再返回回去，确保错误码能够被传递到调用方，需要修改的地方很多，具体的请直接查看代码。
在这里插入图片描述

四，程序封装

4.1 支持以字符串的方式调用ffmpeg

我们可以看到ffmpeg.c的main函数的入参是一个二级指针，可以理解为一个二维数组，调用的时候很不方便，我们希望在使用的时候和在PC命令工具里面一样输入一个ffmpeg命令就可以直接使用，那么就涉及到命令的解析，如下：

char *pCommand = (char *) command;
    int stingLen = (int) (strlen(command) + 1);
    char *argv[stingLen];

    char *buffer = NULL;
    int index = 0;
    int isStartYH = 0;
    for (int i = 0; i < stingLen; ++i) {
        char str = *pCommand;
        pCommand++;
        if (NULL == buffer) {
            buffer = malloc(512);
            memset(buffer, 0, 512);
            argv[index++] = buffer;
        }
        //保证引号成对出现
        if (str == '"') {
            if (isStartYH) {
                isStartYH = 0;
            } else {
                isStartYH = 1;
            }
            continue;
        }
        if (str != ' ' || isStartYH) {
            *buffer = str;
            buffer++;
        } else {
            buffer = NULL;
        }
    }
    //手动告诉它结束了,防止出现意外
    argv[index] = 0;
    int ret = exe_ffmpeg_cmd(index, argv, handle, progressCallBack, totalTime);
    for (int i = 0; i < index; ++i) {
        free(argv[i]);
    }

经过这样处理之后，我们输入类似ffmpeg -i src.mp4 out.mp4之后就可以自动解析参数传入main函数了

4.2 支持进度回调

由于FFmpeg的命令一般都是处理音视频的，相对来说耗时较长，如果没有进度的话是很让人抓狂的一件事，ffmpeg处理音视频的流程一般来说很固定，如下：

  1. 读取文件
  2. 读取文件，视频流，音频流元信息
  3. 分配解码器
  4. 初始化输出文件
  5. 添加视频流，音频流
  6. 初始化编码器
  7. 解复用，循环读取音视频信息
  8. 解码
  9. 编码
  10. 复用-写音视频数据
  11. 完成
    我们要做进度回调的话一般都是在第10步去做处理，根据写入的音视频数据的时间戳/视频的总时间，那么就能得到我们想要的视频处理进度了，结合音视频开发实战02-JNI 所讲的回调函数的写法，我们可以很容易的实现
static int write_packet(Muxer *mux, OutputStream *ost, AVPacket *pkt)
{
	//...
    //回调处理
    enum AVMediaType mediaType;
    if (ost->hasVideoStream) {
        mediaType = AVMEDIA_TYPE_VIDEO;
    } else {
        mediaType = AVMEDIA_TYPE_AUDIO;
    }
    if (NULL != ost->st && NULL != pkt && pkt->dts > 0 && ost->duration > 0 &&
        NULL != ost->progressCallBack && mediaType == ost->st->codecpar->codec_type) {
        if (ost->writePacketCount % 2 == 0) {
            int64_t temp = pkt->dts * 1000 * ost->st->time_base.num /
                           ost->st->time_base.den;
            float progress = temp * 1.0f / ost->duration;
            ost->progressCallBack(ost->callBackHandle, 0, progress);
        }
        ost->writePacketCount++;
    }
    //回调处理结束
}

核心代码到这里就结束了，还有一些其他的封装就不再这里讲了，具体的可以去git库里面查看

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/751196.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

爬虫相关知识与面试题目

爬虫相关知识与面试题目

常见的反爬虫和应对方法 参考:https://www.cnblogs.com/bsdr/p/5151891.html 0x01 常见的反爬虫 这几天在爬一个网站&#xff0c;网站做了很多反爬虫工作&#xff0c;爬起来有些艰难&#xff0c;花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的…
阅读更多...
判断 Mac显卡 mps 是否可以正常运行

判断 Mac显卡 mps 是否可以正常运行

文章目录 Mac MPS介绍判断 Mac mps 是否可以正常运行Mac 指定 mps 进行推理示例Mac M1 GPU 训练 相比 CPU 速度提升对比&#x1f4d9; 开心搬砖每一天 Mac MPS介绍 使用 Apple 的 Metal Performance Shaders (MPS) 作为 PyTorch 的后端来启用加速 GPU 训练。 MPS 后端扩展了 P…
阅读更多...
SpringBoot源码分析(5)--createApplicationContext创建应用上下文

SpringBoot源码分析(5)--createApplicationContext创建应用上下文

文章目录 一、前言二、ApplicationContext简述2.1、Spring IOC容器实现方式 三、createApplicationContext/创建应用上下文3.1、DefaultResourceLoader3.2、AbstractApplicationContext3.3、GenericApplicationContext3.3.1、SimpleAliasRegistry3.3.2、DefaultSingletonBeanRe…
阅读更多...
ARM中栈的种类与运用

ARM中栈的种类与运用

1. 栈的概念 栈&#xff0c;本身是一段内存&#xff0c;程序运行时用于保存一些临时数据&#xff0c;如局部变量、参数、返回地址等等。 学习了数据结构&#xff0c;对栈的概念相信大家都不陌生&#xff0c;后进先出的数据结构&#xff0c;即最后进栈的元素最先出栈。但是在C语…
阅读更多...
用html+javascript打造公文一键排版系统5：二级标题排版

用html+javascript打造公文一键排版系统5：二级标题排版

公文中二级标题的一般以&#xff08;X&#xff09;标注&#xff08;其中X为由"一二三四五六七八九十"中的字符组成的字符串&#xff09;&#xff0c;用楷体字加粗。 首先我们要判断一段文字是否包含二级标题&#xff0c;最简单的方法 就是判断文字中的头一个字符是否…
阅读更多...
springBoot整合二维码

springBoot整合二维码

一、引入坐标 <!-- 二维码 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.2.1</version></dependency><dependency><groupId>com.google.zxing</group…
阅读更多...
Unhandled error during execution of component event handler at

Unhandled error during execution of component event handler at

Unhandled error during execution of component event handler at 执行组件事件处理程序期间出现未处理的错误 在 意思就是有些地方的值用早了,在没有数据之前就使用了 我这次报错是子组件的表单校验 调用事件就报错了 解决方法 setTimeout(() > { //调用方法 }, 0); 就是…
阅读更多...
chapter10：SpringBoot与缓存

chapter10：SpringBoot与缓存

尚硅谷SpringBoot整合教程 1. JSR107 缓存开发规范&#xff0c;Java Caching 定义了5个核心接口&#xff0c; 分别是CachingProvider&#xff0c;CacheManager&#xff0c;Cache&#xff0c;Entry和Expiry。 CachingProvider&#xff1a;定义了创建&#xff0c;配置&#xff…
阅读更多...
【bug】flameshot在ubuntu上的4K屏幕，双屏幕上用不了截图

【bug】flameshot在ubuntu上的4K屏幕，双屏幕上用不了截图

问题 直接在4K屏幕上运行flameshot截图&#xff0c;直接黑屏 主屏 &#xff1a;4K 副屏&#xff1a;2k 解决 2.1长按1-2秒开机键&#xff0c;先回到桌面。 2.2 设置主屏缩放为125% 2.3 设置键盘快捷键命令为env QT_AUTO_SCREEN_SCALE_FACTOR1 flameshot gui 替代flameshot的…
阅读更多...
第51步 深度学习图像识别：Convolutional Vision Transformer建模（Pytorch）

第51步 深度学习图像识别：Convolutional Vision Transformer建模（Pytorch）

基于WIN10的64位系统演示 一、写在前面 &#xff08;1&#xff09;Convolutional Vision Transformers Convolutional Vision Transformer&#xff08;ConViT&#xff09;是一种结合了卷积神经网络&#xff08;Convolutional Neural Networks&#xff0c;简称CNN&#xff09…
阅读更多...
飞机【频闪灯、导航灯】效果的设置——灯和灯的光晕

飞机【频闪灯、导航灯】效果的设置——灯和灯的光晕

一、飞机外部灯光系统——频闪灯和防撞灯——闪烁效果 二、实现的原理 如下图所示&#xff0c;灯效果的组成包含两部分&#xff0c;一是灯本身&#xff0c;二是灯光产生的光晕 灯—— 就是一个球&#xff08;Sphere&#xff09;,给它一个Emission(自发光)材质光晕——光晕的…
阅读更多...
云苍穹各类参数使用说明

云苍穹各类参数使用说明

目录 公共参数 云参数 应用参数 单据参数 单据类型参数 用户选项参数 列表选项参数 公共参数 不推荐使用 参数值获取&#xff1a; // 获取整体公共参数 Map<String,Object> publicParamWhole SystemParamServiceHelper.loadPublicParametersFromCache();// 获取某…
阅读更多...
vscode安装文件下载缓慢

vscode安装文件下载缓慢

官网下载vscode安装文件太慢大部分是因为vscode官网服务器跟我们国内的链接速度有关&#xff0c;当我们去官网下载&#xff08;Download Visual Studio Code - Mac, Linux, Windows&#xff09;一般都会出现下面的情况 下载速度几乎为0。 解决办法&#xff0c;鼠标右键复制下载…
阅读更多...
C语言a---b

C语言a---b

C语言的编译遵循贪心读法&#xff0c;也就是说&#xff0c;对于有歧义的符号&#xff0c;编译器会一直读取&#xff0c;直到它的意思完结&#xff1b; a---b&#xff0c;是a-- -b还是a- --b&#xff0c;根据贪心法则&#xff0c;读到第二个减号&#xff0c;意思完结&#xff0c…
阅读更多...
今日分享——语音同声翻译软件

今日分享——语音同声翻译软件

安娜和卡洛是一对在旅行时偶遇的年轻男女&#xff0c;他们互有好感&#xff0c;但他们来自不同的国家&#xff0c;说着不同的语言。每次面对彼此的时候&#xff0c;他们总是陷入语言的困扰&#xff0c;无法用自己熟悉的语言表达内心的情感。因此他俩都十分需要一款翻译语音的软…
阅读更多...
【从零开始进行高精度手眼标定 eye in hand（小白向）3 非线性高精度标定法编程实现】

【从零开始进行高精度手眼标定 eye in hand（小白向）3 非线性高精度标定法编程实现】

从零开始进行高精度手眼标定 eye in hand&#xff08;小白向&#xff09;1 原理推导 前言原理推导算法框图 MATLAB编程计算相关优化工具箱的安装&#xff08;不安装会报错&#xff09;数据读取目标函数计算完整代码实验验证 传送门&#xff1a; 1.【从零开始进行高精度手眼标定…
阅读更多...
2023.7.13-【if】与【for】的配合使用:键入一个整数，输出结果用1234567890循环填充，填充的位数等于键入的整数

2023.7.13-【if】与【for】的配合使用:键入一个整数，输出结果用1234567890循环填充，填充的位数等于键入的整数

功能描述&#xff1a; 例如我们输入一个整数&#xff1a;25。输出的结果为1234567890123456789012345&#xff0c;共计25个数填充了这个输出结果。 程序&#xff1a; #define _CRT_SECURE_NO_WARNINGS 1 #include<stdio.h> int main() {int a;int b; int c;int i;prin…
阅读更多...
fiddler抓包工具使用大全

fiddler抓包工具使用大全

目录 Fiddler基础知识 HTTP协议 Fiddler的使用 HTTPS抓包 Fiddler过滤会话 对request设置断点 对response设置断点 Fiddler的编码和解码 Fiddler基础知识 Fiddler是强大的抓包工具&#xff0c;它的原理是以web代理服务器的形式进行工作的&#xff0c;使用的代理地址是&…
阅读更多...
Camtasia Studio 2023怎么导出mp4格式的视频的详细教程介绍

Camtasia Studio 2023怎么导出mp4格式的视频的详细教程介绍

很多用户刚接触Camtasia Studio 2023&#xff0c;不熟悉如何保存mp4格式的视频。在今天的文章中小编为大家带来了Camtasia Studio 2023保存为mp4格式的视频的详细教程介绍。 Camtasia Studio 2023保存为mp4格式的视频的详细教程 1、 打开Camtasia Studio。 Camtasia Studio- …
阅读更多...
Linux 删除 颜色转义字符 乱码 \x1b

Linux 删除 颜色转义字符 乱码 \x1b

目录 Linux颜色控制 方式一&#xff1a;添加sed正则命令 方式二&#xff1a;将输出写入文件再读取 Git颜色控制 使用Python paramiko ssh 获取 git 输出时&#xff0c;出现乱码&#xff0c;实际上是终端输出的ANSI颜色转义字符&#xff0c;用于控制终端颜色展示&#xff1a;…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023