【FFMPEG源码分析】从ffplay源码摸清ffmpeg框架(一)

news2024/11/27 10:36:56

ffplay入口

ffmpeg\fftools\ffplay.c
int main(int argc, char **argv)
{
    /*******************start 动态库加载/网络初始化等**************/
    int flags;
    VideoState *is;
    init_dynload();
    av_log_set_flags(AV_LOG_SKIP_REPEATED);
    parse_loglevel(argc, argv, options);
    /* register all codecs, demux and protocols */
#if CONFIG_AVDEVICE
    avdevice_register_all();
#endif
    avformat_network_init();
    signal(SIGINT , sigterm_handler); /* Interrupt (ANSI).    */
    signal(SIGTERM, sigterm_handler); /* Termination (ANSI).  */
    show_banner(argc, argv, options);
    parse_options(NULL, argc, argv, options, opt_input_file);
    if (!input_filename) {
        show_usage();
        av_log(NULL, AV_LOG_FATAL, "An input file must be specified\n");
        av_log(NULL, AV_LOG_FATAL,
               "Use -h to get full help or, even better, run 'man %s'\n", program_name);
        exit(1);
    }
    /*******************end动态库加载/网络初始化等**************/
    /*******************start 视频帧显示窗口初始化*******************/
    if (display_disable) {
        video_disable = 1;
    }
    flags = SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER;
    if (audio_disable)
        flags &= ~SDL_INIT_AUDIO;
    else {
        /* Try to work around an occasional ALSA buffer underflow issue when the
         * period size is NPOT due to ALSA resampling by forcing the buffer size. */
        if (!SDL_getenv("SDL_AUDIO_ALSA_SET_BUFFER_SIZE"))
            SDL_setenv("SDL_AUDIO_ALSA_SET_BUFFER_SIZE","1", 1);
    }
    if (display_disable)
        flags &= ~SDL_INIT_VIDEO;
    if (SDL_Init (flags)) {
        av_log(NULL, AV_LOG_FATAL, "Could not initialize SDL - %s\n", SDL_GetError());
        av_log(NULL, AV_LOG_FATAL, "(Did you set the DISPLAY variable?)\n");
        exit(1);
    }
    SDL_EventState(SDL_SYSWMEVENT, SDL_IGNORE);
    SDL_EventState(SDL_USEREVENT, SDL_IGNORE);
    if (!display_disable) {
        int flags = SDL_WINDOW_HIDDEN;
        if (alwaysontop)
#if SDL_VERSION_ATLEAST(2,0,5)
            flags |= SDL_WINDOW_ALWAYS_ON_TOP;
#else
            av_log(NULL, AV_LOG_WARNING, "Your SDL version doesn't support SDL_WINDOW_ALWAYS_ON_TOP. Feature will be inactive.\n");
#endif
       if (borderless)
            flags |= SDL_WINDOW_BORDERLESS;
        else
            flags |= SDL_WINDOW_RESIZABLE;

#ifdef SDL_HINT_VIDEO_X11_NET_WM_BYPASS_COMPOSITOR
        SDL_SetHint(SDL_HINT_VIDEO_X11_NET_WM_BYPASS_COMPOSITOR, "0");
#endif
        window = SDL_CreateWindow(program_name, SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED, default_width, default_height, flags);
        SDL_SetHint(SDL_HINT_RENDER_SCALE_QUALITY, "linear");
        if (window) {
            renderer = SDL_CreateRenderer(window, -1, SDL_RENDERER_ACCELERATED | SDL_RENDERER_PRESENTVSYNC);
            if (!renderer) {
                av_log(NULL, AV_LOG_WARNING, "Failed to initialize a hardware accelerated renderer: %s\n", SDL_GetError());
                renderer = SDL_CreateRenderer(window, -1, 0);
            }
            if (renderer) {
                if (!SDL_GetRendererInfo(renderer, &renderer_info))
                    av_log(NULL, AV_LOG_VERBOSE, "Initialized %s renderer.\n", renderer_info.name);
            }
        }
        if (!window || !renderer || !renderer_info.num_texture_formats) {
            av_log(NULL, AV_LOG_FATAL, "Failed to create window or renderer: %s", SDL_GetError());
            do_exit(NULL);
        }
    }
    /*******************end 视频帧显示窗口初始化*******************/
    
    /******************* 下载数据/demux/decoder*******************/
    is = stream_open(input_filename, file_iformat);
    if (!is) {
        av_log(NULL, AV_LOG_FATAL, "Failed to initialize VideoState!\n");
        do_exit(NULL);
    }
    event_loop(is);
    return 0;
}

从上面main函数入口来看，main中大部分是一些init工作，而ffmpeg的核心工作demux/decoder的工作都封装在stream_open中了。
想要摸清ffmpeg的框架，学习思路是追踪音视频数据的流动过程。

  1. 原始数据通过什么模块获取？
  2. 如何通过原始数据匹配到对应的demuxer ，如: ts, mp4, mov, avi等？
  3. 如何通过demuxer后的audio/video数据匹配到对应的decoder， 如：h264， vp9， aac等？
  4. ffmpeg中数据流转的驱动模型是什么样的？也就是数据是从什么地方驱动开始下载/demux/decode ?
static VideoState *stream_open(const char *filename,
                               const AVInputFormat *iformat)
{
    VideoState *is = av_mallocz(sizeof(VideoState));
    is->last_video_stream = is->video_stream = -1;
    is->last_audio_stream = is->audio_stream = -1;
    is->last_subtitle_stream = is->subtitle_stream = -1;
    is->filename = av_strdup(filename);
    is->iformat = iformat;
    is->ytop    = 0;
    is->xleft   = 0;
    is->continue_read_thread = SDL_CreateCond();
    /* start video display */
   frame_queue_init(&is->pictq, &is->videoq, VIDEO_PICTURE_QUEUE_SIZE, 1);
   frame_queue_init(&is->subpq, &is->subtitleq, SUBPICTURE_QUEUE_SIZE, 0);
   frame_queue_init(&is->sampq, &is->audioq, SAMPLE_QUEUE_SIZE, 1);
   packet_queue_init(&is->videoq);
   packet_queue_init(&is->audioq);
   packet_queue_init(&is->subtitleq);
   
   init_clock(&is->vidclk, &is->videoq.serial);
   init_clock(&is->audclk, &is->audioq.serial);
   init_clock(&is->extclk, &is->extclk.serial);
   is->audio_clock_serial = -1;
   startup_volume = av_clip(startup_volume, 0, 100);
   startup_volume = av_clip(SDL_MIX_MAXVOLUME * startup_volume / 100, 0, SDL_MIX_MAXVOLUME);
   is->audio_volume = startup_volume;
   is->muted = 0;
   is->av_sync_type = av_sync_type;
   is->read_tid     = SDL_CreateThread(read_thread, "read_thread", is);
   if (!is->read_tid) {
        av_log(NULL, AV_LOG_FATAL, "SDL_CreateThread(): %s\n", SDL_GetError());
fail:
        stream_close(is);
        return NULL;
    return is;
}

从上面的代码看，stream_open主要是用于初始化VideoState这个结构体，初始化audio/video/subtitile解码后数据的buffer queque。结构体的具体细节先暂不深入。
另外在stream_open中创建了一个thread: read_thread, 看来干活的是这个了。。。

static int read_thread(void *arg)
{
    VideoState *is = arg;
    AVPacket *pkt = av_packet_alloc();
    AVFormatContext *ic = avformat_alloc_context();
    //启动数据下载模块，demux模块
    avformat_open_input(&ic, is->filename, is->iformat, &format_opts);
    is->ic = ic;
    av_format_inject_global_side_data(ic);
    if (find_stream_info) {
        AVDictionary **opts = setup_find_stream_info_opts(ic, codec_opts);
        avformat_find_stream_info(ic, opts);
    }
    if (!video_disable)
        st_index[AVMEDIA_TYPE_VIDEO] =
            av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO,
                                st_index[AVMEDIA_TYPE_VIDEO], -1, NULL, 0);
    if (!audio_disable)
        st_index[AVMEDIA_TYPE_AUDIO] =
            av_find_best_stream(ic, AVMEDIA_TYPE_AUDIO,
                                st_index[AVMEDIA_TYPE_AUDIO],
                                st_index[AVMEDIA_TYPE_VIDEO],
                                NULL, 0);
    if (!video_disable && !subtitle_disable)
        st_index[AVMEDIA_TYPE_SUBTITLE] =
            av_find_best_stream(ic, AVMEDIA_TYPE_SUBTITLE,
                                st_index[AVMEDIA_TYPE_SUBTITLE],
                                (st_index[AVMEDIA_TYPE_AUDIO] >= 0 ?
                                 st_index[AVMEDIA_TYPE_AUDIO] :
                                 st_index[AVMEDIA_TYPE_VIDEO]),
                                NULL, 0);
    // 启动decoder thread
    stream_component_open(is, st_index[AVMEDIA_TYPE_AUDIO]);
    stream_component_open(is, st_index[AVMEDIA_TYPE_VIDEO]);
    stream_component_open(is, st_index[AVMEDIA_TYPE_SUBTITLE]);

    for (;;) {
        if (is->abort_request)
            break;
        if (is->paused != is->last_paused) {
            is->last_paused = is->paused;
            if (is->paused)
                is->read_pause_return = av_read_pause(ic);
            else
                av_read_play(ic);
        }
        //读取demux后的数据，并存入audio/video/subtitle的buffer queue中
        av_read_frame(ic, pkt);
        /* check if packet is in play range specified by user, then queue, otherwise discard */
        stream_start_time = ic->streams[pkt->stream_index]->start_time;
        pkt_ts = pkt->pts == AV_NOPTS_VALUE ? pkt->dts : pkt->pts;
        pkt_in_play_range = duration == AV_NOPTS_VALUE ||
                (pkt_ts - (stream_start_time != AV_NOPTS_VALUE ? stream_start_time : 0)) *
                av_q2d(ic->streams[pkt->stream_index]->time_base) -
                (double)(start_time != AV_NOPTS_VALUE ? start_time : 0) / 1000000
                <= ((double)duration / 1000000);
        if (pkt->stream_index == is->audio_stream && pkt_in_play_range) {
            packet_queue_put(&is->audioq, pkt);
        } else if (pkt->stream_index == is->video_stream && pkt_in_play_range
                   && !(is->video_st->disposition & AV_DISPOSITION_ATTACHED_PIC)) {
            packet_queue_put(&is->videoq, pkt);
        } else if (pkt->stream_index == is->subtitle_stream && pkt_in_play_range) {
            packet_queue_put(&is->subtitleq, pkt);
        } else {
            av_packet_unref(pkt);
        }
    }
    ..............;
    return 0;
}

从上面read_thread代码看，主要是通过avformat_open_input(…)启动数据下载和demux，再通过stream_component_open(…) 启动audio/video/subtitle的decoder。最后启动死循环通过av_read_frame(…) 读取demux出来的audio/video/subtitle存入对应的buffer queue供decoder使用。
下面再看看decoder是如何消耗数据的？以及decoder完成的数据缓存在什么地方？

static int stream_component_open(VideoState *is, int stream_index)
{
    AVFormatContext *ic = is->ic;
    const AVCodec *codec;
    const char *forced_codec_name = NULL;
    AVDictionary *opts = NULL;
    const AVDictionaryEntry *t = NULL;
    int sample_rate;
    AVChannelLayout ch_layout = { 0 };
    int ret = 0;
    int stream_lowres = lowres;

    AVCodecContext *avctx = avcodec_alloc_context3(NULL);
    avcodec_parameters_to_context(avctx, ic->streams[stream_index]->codecpar);
    const AVCodec * codec = avcodec_find_decoder(avctx->codec_id);
    avctx->codec_id = codec->id;
    AVDictionary *opts = filter_codec_opts(codec_opts, avctx->codec_id, ic, ic->streams[stream_index], codec);
    avcodec_open2(avctx, codec, &opts))；
   
    is->eof = 0;
    ic->streams[stream_index]->discard = AVDISCARD_DEFAULT;
    switch (avctx->codec_type) {
    case AVMEDIA_TYPE_AUDIO:
        /* prepare audio output */
        audio_open(is, &ch_layout, sample_rate, &is->audio_tgt))‘
        decoder_init(&is->auddec, avctx, &is->audioq, is->continue_read_thread))；
        decoder_start(&is->auddec, audio_thread, "audio_decoder", is))；
        static SDL_AudioDeviceID audio_dev;
        SDL_PauseAudioDevice(audio_dev, 0);
        break;
    case AVMEDIA_TYPE_VIDEO:
        is->video_stream = stream_index;
        is->video_st = ic->streams[stream_index];
        decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread))；
        decoder_start(&is->viddec, video_thread, "video_decoder", is))；
        is->queue_attachments_req = 1;
        break;
    case AVMEDIA_TYPE_SUBTITLE:
        is->subtitle_stream = stream_index;
        is->subtitle_st = ic->streams[stream_index];
        decoder_init(&is->subdec, avctx, &is->subtitleq, is->continue_read_thread))；
         decoder_start(&is->subdec, subtitle_thread, "subtitle_decoder", is))
        break;
    default:
        break;
    }
    ....................;
    return ret;
}

ffplay内部结构图

通过stream_component_open函数的代码可以看出，先初始化decoder，再创建thread。
至此， ffplay的大致脉络已经摸清楚了，具体看下图:
ffplay_thread
结构关系图：
ff_state
后面的文章继续深入分析demuxer和decoder。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/331842.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SSJ-21A AC220V静态【时间继电器】

SSJ-21A AC220V静态【时间继电器】

系列型号&#xff1a; SSJ-11B静态时间继电器&#xff1b;SSJ-21B静态时间继电器 SSJ-21A静态时间继电器&#xff1b;SSJ-22A静态时间继电器 SSJ-22B静态时间继电器SSJ-42B静态时间继电器 SSJ-42A静态时间继电器SSJ-41A静态时间继电器 SSJ-41B静态时间继电器SSJ-32B静态时间继电…
阅读更多...
dev-c++解决中文输出乱码问题

dev-c++解决中文输出乱码问题

之前写c程序老是出现编译输出乱码的问题&#xff0c;就去博客&#xff0c;百度查阅了一番找了找了办法。废话不多说直接上操作。 首先打开dev-c-》工具-》编译选项 在第一行输入 -fexec-charsetgbk//生成gbk格式 -fexec-charsetUFT-8//生成UFT-8格式 也可以输入UFT-8格式&…
阅读更多...
获取主机RDP连接凭据

获取主机RDP连接凭据

为了避免每次连接服务器都进行身份验证&#xff0c;经常使用RDP的用户可能勾选保存连接凭据&#xff0c;以便进行快速的身份验证。这些凭据都使用数据保护API以加密形式存储在windows的凭据管理器中&#xff0c;路径为“%USERPROFILE%\AppData\Local\Microsoft\Credentials”执…
阅读更多...
C语言---宏

C语言---宏

专栏&#xff1a;C语言 个人主页&#xff1a;HaiFan. 专栏简介&#xff1a;本专栏主要更新一些C语言的基础知识&#xff0c;也会实现一些小游戏和通讯录&#xff0c;学时管理系统之类的&#xff0c;有兴趣的朋友可以关注一下。 #define预处理预定义符号define#define定义标识符…
阅读更多...
云片验证码分析思路

云片验证码分析思路

本文仅供学习参考&#xff0c;又不懂的可以联系博主 目标链接: aHR0cHM6Ly93d3cueXVucGlhbi5jb20vcHJvZHVjdC9jYXB0Y2hh接口分析 captcha/get 验证码图片获取接口&#xff0c;GET请求&#xff0c;包含四个参数cb、i、k、captchaId 接口返回&#xff0c;如果是滑动验证码&…
阅读更多...
「敏捷建模」敏捷设计理念的纪律

「敏捷建模」敏捷设计理念的纪律

本文概述了敏捷软件开发团队的设计策略。这些策略对于扩展敏捷软件开发以满足现代IT组织的实际需求至关重要。敏捷的设计方法与传统方法截然不同&#xff0c;显然也更有效。重要的是要了解&#xff1a; 敏捷设计实践 敏捷设计理念 整个敏捷生命周期的设计 1.敏捷设计实践 从高…
阅读更多...
大数据概述

大数据概述

一、大数据时代 大数据时代 三次信息化浪潮&#xff1a;个人计算机80年-互联网95年-物联网、云计算和大数据(2010年) 发展时间较短&#xff0c;大数据人才缺失大数据人才 培训出来的&#xff1a;Java-》大数据 优点&#xff1a;对于大数据技术的细节会比较清楚 缺点&#xff1…
阅读更多...
为什么Redis集群的最大槽数是16384个？

为什么Redis集群的最大槽数是16384个？

对于客户端请求的key&#xff0c;根据公式HASH_SLOTCRC16(key) mod 16384&#xff0c;计算出映射到哪个分片上&#xff0c;然后Redis会去相应的节点进行操作&#xff01; 为什么有16384个槽&#xff1f; Redis集群并没有使用一致性hash而是引入了哈希槽的概念。Redis 集群有16…
阅读更多...
金仓数据库事务日志与检查点

金仓数据库事务日志与检查点

事务日志与检查点 WAL文件&#xff0c;在金仓数据库中&#xff0c;事务日志文件称为Write Ahead Log&#xff08;预写式日志&#xff0c;简称WAL&#xff09;。 WAL存储了数据库系统中所有更改和操作的历史&#xff0c;相当于Oracle的REDO。 WAL机制是在这个写数据的过程中加…
阅读更多...
[Android开发基础4] 意图与意图过滤器

[Android开发基础4] 意图与意图过滤器

文章目录 意图&#xff08;Intent&#xff09; 简介 显式意图 隐式意图 意图过滤器&#xff08;IntentFiler&#xff09; action data category 意图&#xff08;Intent&#xff09; 简介 Intent被称为意图&#xff0c;是程序中各组件进行交互的一种重要方式&#xff0c…
阅读更多...
第四章.误差反向传播法—简单层的实现（加法层(AddLayer)+乘法层(MulLayer)）

第四章.误差反向传播法—简单层的实现（加法层(AddLayer)+乘法层(MulLayer)）

第四章.误差反向传播法 4.1 简单层的实现 本章主要讲述的是加法层(AddLayer)和乘法层(MulLayer)的实现过程。 1.加法层(AddLayer) 从正向传播和反向传播两个层面进行分析。 1).示例&#xff1a; 以zxy为对象&#xff0c;观察它的传播。zxy的导数&#xff1a;∂z/∂x1,∂z/∂…
阅读更多...
从CNN到Transformer：基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

从CNN到Transformer：基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

我国高分辨率对地观测系统重大专项已全面启动&#xff0c;高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成&#xff0c;将成为保障国家安全的基础性和战略性资源。随着小卫星星座的普及&#xff0c;对地观测已具备多次以上的全球覆盖…
阅读更多...
DVWA靶场通关和源码分析

DVWA靶场通关和源码分析

文章目录一、Brute Force1.low2、medium3、High4、Impossible二、Command Injection1、Low2、Medium3、High三、CSRF1、Low2、Medium3、High4、Impossible四、File Inclusion1、Low2、Medium3、High五、File Upload1、Low2、Medium3、High4、Impossible六、 SQL注入1、Low2、Me…
阅读更多...
关于catkin的一些笔记以及资料连接

关于catkin的一些笔记以及资料连接

大佬们早就不用catkin_make编译节点了&#xff0c;快来瞅瞅他们使用的啥 https://zhuanlan.zhihu.com/p/399753815 https://catkin-tools.readthedocs.io/en/latest/index.html# ROS 编译系统 catkin 详解 https://www.jianshu.com/p/7fccfe18d7d3 ROS学习笔记&#xff08;六…
阅读更多...
【20230206-0209】哈希表小结

【20230206-0209】哈希表小结

哈希表一般哈希表都是用来快速判断一个元素是否出现在集合里。哈希函数哈希碰撞--解决方法&#xff1a;拉链法和线性探测法。拉链法&#xff1a;冲突的元素都被存储在链表中线性探测法&#xff1a;一定要保证tableSize大于dataSize&#xff0c;利用哈希表中的空位解决碰撞问题。…
阅读更多...
linux性能优化-内存buffer/cache区分

linux性能优化-内存buffer/cache区分

# 注意不同版本的free输出可能会有所不同 $ freetotal used free shared buff/cache available Mem: 8169348 263524 6875352 668 1030472 7611064 Swap: 0 0 0本文目的用来区分free中…
阅读更多...
linux——守护进程守护刷抖音程序不被意外退出

linux——守护进程守护刷抖音程序不被意外退出

先搞清楚几个概念&#xff1a;udev:设备管理工具&#xff0c;以守护进程的方式工作。位于应用层&#xff0c;主要用于监听内核硬件状态&#xff0c;它能够根据系统中的硬件设备的状态动态更新设备文件&#xff0c;包括设备文件的创建&#xff0c;删除等守护进程&#xff1a;守护…
阅读更多...
vue 最详细教学篇（三）

vue 最详细教学篇（三）

文章目录vue2-cli 项目文件分析示例项目解析router-linkrouterrouter-viewmain.jspackage.jsonvue2-cli 项目 vue-cli>> 文件分析 从上图分析项目文件 1. node_modules // npm 所有下载文件包都在里面 2. public // 根目录文件, 存放index.html和一些脚本文件 3. sr…
阅读更多...
CSDN每日一练：小桥流水人家

CSDN每日一练：小桥流水人家

题目名称&#xff1a;小桥流水人家 时间限制&#xff1a;1000ms内存限制&#xff1a;256M 题目描述 在n*m的地图上&#xff0c;存在一个喷水点(x,y). 如果相邻的位置低于有水的地方&#xff0c;水就能流到相邻的某位置。 已知各个地方的海拔高度&#xff0c;求水的最大覆盖个格…
阅读更多...
[js基础]ECMAScript2015(ES6)精要知识点(下)

[js基础]ECMAScript2015(ES6)精要知识点(下)

模块化模块就是在单个文件中声明的JavaScript代码。我们可以用JS代码直接从其他文件中导入函数、变量和类。在NodeJS之前&#xff0c;由于没有过于复杂的开发场景&#xff0c;前端是不存在模块化的&#xff0c;后端才有模块化。NodeJS诞生之后&#xff0c;它使用CommonJS的模块…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023