FFmpeg 播放器实现音视频同步的几种方式

news2025/1/9 15:04:42

我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染，本文将实现播放器的最后一个重要功能：音视频同步。

老人们经常说，播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。

音视频的同步方式有 3 种，即：音视频分别向系统时钟同步、音频向视频同步及视频向音频同步。

1播放器结构
在实现音视频同步之前，我们先简单说下本文播放器的大致结构，方便后面实现不同的音视频同步方式。

如上图所示，音频解码和视频解码分别占用一个独立线程，线程里有一个解码循环，解码循环里不断对音视频编码数据进行解码，音视频解码帧不设置缓存 Buffer , 进行实时渲染，极大地方便了音视频同步的实现。

音视频解码线程独立分离的播放器模式，简单灵活，代码量小，面向初学者，可以很方便实现音视频同步。

音视和视频解码流程非常相似，所以我们可以将二者的解码器抽象为一个基类：
 

class DecoderBase : public Decoder {
public:
    DecoderBase()
    {};
    virtual~ DecoderBase()
    {};
    //开始播放
    virtual void Start();
    //暂停播放
    virtual void Pause();
    //停止
    virtual void Stop();
    //获取时长
    virtual float GetDuration()
    {
        //ms to s
        return m_Duration * 1.0f / 1000;
    }
    //seek 到某个时间点播放
    virtual void SeekToPosition(float position);
    //当前播放的位置，用于更新进度条和音视频同步
    virtual float GetCurrentPosition();
    virtual void ClearCache()
    {};
    virtual void SetMessageCallback(void* context, MessageCallback callback)
    {
        m_MsgContext = context;
        m_MsgCallback = callback;
    }
    //设置音视频同步的回调
    virtual void SetAVSyncCallback(void* context, AVSyncCallback callback)
    {
        m_AVDecoderContext = context;
        m_AudioSyncCallback = callback;
    }
 
protected:
    //解码数据的回调
    virtual void OnFrameAvailable(AVFrame *frame) = 0;
 
    AVCodecContext *GetCodecContext() {
        return m_AVCodecContext;
    }
private:
    int InitFFDecoder();
    void UnInitDecoder();
    //启动解码线程
    void StartDecodingThread();
    //音视频解码循环
    void DecodingLoop();
    //更新显示时间戳
    void UpdateTimeStamp();
    //音视频同步
    void AVSync();
    //解码一个packet编码数据
    int DecodeOnePacket();
    //线程函数
    static void DoAVDecoding(DecoderBase *decoder);
 
    //封装格式上下文
    AVFormatContext *m_AVFormatContext = nullptr;
    //解码器上下文
    AVCodecContext  *m_AVCodecContext = nullptr;
    //解码器
    AVCodec         *m_AVCodec = nullptr;
    //编码的数据包
    AVPacket        *m_Packet = nullptr;
    //解码的帧
    AVFrame         *m_Frame = nullptr;
    //数据流的类型
    AVMediaType      m_MediaType = AVMEDIA_TYPE_UNKNOWN;
    //文件地址
    char       m_Url[MAX_PATH] = {0};
    //当前播放时间
    long             m_CurTimeStamp = 0;
    //播放的起始时间
    long             m_StartTimeStamp = -1;
    //总时长 ms
    long             m_Duration = 0;
    //数据流索引
    int              m_StreamIndex = -1;
    //锁和条件变量
    mutex               m_Mutex;
    condition_variable  m_Cond;
    thread             *m_Thread = nullptr;
    //seek position
    volatile float      m_SeekPosition = 0;
    volatile bool       m_SeekSuccess = false;
    //解码器状态
    volatile int  m_DecoderState = STATE_UNKNOWN;
    void* m_AVDecoderContext = nullptr;
    AVSyncCallback m_AudioSyncCallback = nullptr;//用作音视频同步
};

篇幅有限，代码贴多了容易导致视觉疲劳，这里只贴出几个关键函数。

解码循

void DecoderBase::DecodingLoop() {
    LOGCATE("DecoderBase::DecodingLoop start, m_MediaType=%d", m_MediaType);
    {
        std::unique_lock<std::mutex> lock(m_Mutex);
        m_DecoderState = STATE_DECODING;
        lock.unlock();
    }
 
    for(;;) {
        while (m_DecoderState == STATE_PAUSE) {
            std::unique_lock<std::mutex> lock(m_Mutex);
            LOGCATE("DecoderBase::DecodingLoop waiting, m_MediaType=%d", m_MediaType);
            m_Cond.wait_for(lock, std::chrono::milliseconds(10));
            m_StartTimeStamp = GetSysCurrentTime() - m_CurTimeStamp;
        }
 
        if(m_DecoderState == STATE_STOP) {
            break;
        }
 
        if(m_StartTimeStamp == -1)
            m_StartTimeStamp = GetSysCurrentTime();
 
        if(DecodeOnePacket() != 0) {
            //解码结束，暂停解码器
            std::unique_lock<std::mutex> lock(m_Mutex);
            m_DecoderState = STATE_PAUSE;
        }
    }
    LOGCATE("DecoderBase::DecodingLoop end");
}

 获取当前时间戳。

void DecoderBase::UpdateTimeStamp() {
    LOGCATE("DecoderBase::UpdateTimeStamp");
    //参照 ffplay 
    std::unique_lock<std::mutex> lock(m_Mutex);
    if(m_Frame->pkt_dts != AV_NOPTS_VALUE) {
        m_CurTimeStamp = m_Frame->pkt_dts;
    } else if (m_Frame->pts != AV_NOPTS_VALUE) {
        m_CurTimeStamp = m_Frame->pts;
    } else {
        m_CurTimeStamp = 0;
    }
 
    m_CurTimeStamp = (int64_t)((m_CurTimeStamp * av_q2d(m_AVFormatContext->streams[m_StreamIndex]->time_base)) * 1000);
 
}

解码一个 packet 的编码数据

int DecoderBase::DecodeOnePacket() {
    int result = av_read_frame(m_AVFormatContext, m_Packet);
    while(result == 0) {
        if(m_Packet->stream_index == m_StreamIndex) {
            if(avcodec_send_packet(m_AVCodecContext, m_Packet) == AVERROR_EOF) {
                //解码结束
                result = -1;
                goto __EXIT;
            }
 
            //一个 packet 包含多少 frame?
            int frameCount = 0;
            while (avcodec_receive_frame(m_AVCodecContext, m_Frame) == 0) {
                //更新时间戳
                UpdateTimeStamp();
                //同步
                AVSync();
                //渲染
                LOGCATE("DecoderBase::DecodeOnePacket 000 m_MediaType=%d", m_MediaType);
                OnFrameAvailable(m_Frame);
                LOGCATE("DecoderBase::DecodeOnePacket 0001 m_MediaType=%d", m_MediaType);
                frameCount ++;
            }
            LOGCATE("BaseDecoder::DecodeOneFrame frameCount=%d", frameCount);
            //判断一个 packet 是否解码完成
            if(frameCount > 0) {
                result = 0;
                goto __EXIT;
            }
        }
        av_packet_unref(m_Packet);
        result = av_read_frame(m_AVFormatContext, m_Packet);
    }
 
__EXIT:
    av_packet_unref(m_Packet);
    return result;
}

音视频向系统时钟同步

音视频向系统时钟同步，顾名思义，系统时钟的更新是按照时间的增加而增加，获取音视频解码帧时与系统时钟进行对齐操作。

简而言之就是，当前音频或视频播放时间戳大于系统时钟时，解码线程进行休眠，直到时间戳与系统时钟对齐。

音视频向系统时钟同步。

void DecoderBase::AVSync() {
    LOGCATE("DecoderBase::AVSync");
    long curSysTime = GetSysCurrentTime();
    //基于系统时钟计算从开始播放流逝的时间
    long elapsedTime = curSysTime - m_StartTimeStamp;
 
    //向系统时钟同步
    if(m_CurTimeStamp > elapsedTime) {
        //休眠时间
        auto sleepTime = static_cast<unsigned int>(m_CurTimeStamp - elapsedTime);//ms
        av_usleep(sleepTime * 1000);
    }
}

音视频向系统时钟同步可以最大限度减少丢帧跳帧现象，但是前提是系统时钟不能受其他耗时任务影响。

音频向视频同步
音频向视频同步，就是音频的时间戳向视频的时间戳对齐。由于视频有固定的刷新频率，即 FPS ，我们根据 PFS 确定每帧的渲染时长，然后以此来确定视频的时间戳。

当音频时间戳大于视频时间戳，或者超过一定的阈值，音频播放器一般插入静音帧、休眠或者放慢播放。反之，就需要跳帧、丢帧或者加快音频播放。


 

void DecoderBase::AVSync() {
    LOGCATE("DecoderBase::AVSync");
    if(m_AVSyncCallback != nullptr) {
        //音频向视频同步,传进来的 m_AVSyncCallback 用于获取视频时间戳
        long elapsedTime = m_AVSyncCallback(m_AVDecoderContext);
        LOGCATE("DecoderBase::AVSync m_CurTimeStamp=%ld, elapsedTime=%ld", m_CurTimeStamp, elapsedTime);
 
        if(m_CurTimeStamp > elapsedTime) {
            //休眠时间
            auto sleepTime = static_cast<unsigned int>(m_CurTimeStamp - elapsedTime);//ms
            av_usleep(sleepTime * 1000);
        }
    }
}

音频向视频同步时，解码器设置。

//创建解码器
m_VideoDecoder = new VideoDecoder(url);
m_AudioDecoder = new AudioDecoder(url);
 
//设置渲染器
m_VideoDecoder->SetVideoRender(OpenGLRender::GetInstance());
m_AudioRender = new OpenSLRender();
m_AudioDecoder->SetVideoRender(m_AudioRender);
 
//设置视频时间戳回调
m_AudioDecoder->SetAVSyncCallback(m_VideoDecoder, VideoDecoder::GetVideoDecoderTimestampForAVSync);

音频向视频同步方式的优点是，视频可以将每一帧播放出来，画面流畅度最优。

但是由于人耳对声音相对眼睛对图像更为敏感，音频在与视频对齐时，插入静音帧、丢帧或者变速播放操作，用户可以轻易察觉，体验较差。

4视频向音频同步
视频向音频同步的方式比较常用，刚好利用了人耳朵对声音变化比眼睛对图像变化更为敏感的特点。

音频按照固定的采样率播放，为视频提供对齐基准，当视频时间戳大于音频时间戳时，渲染器不进行渲染或者重复渲染上一帧，反之，进行跳帧渲染。
 

void DecoderBase::AVSync() {
    LOGCATE("DecoderBase::AVSync");
    if(m_AVSyncCallback != nullptr) {
        //视频向音频同步,传进来的 m_AVSyncCallback 用于获取音频时间戳
        long elapsedTime = m_AVSyncCallback(m_AVDecoderContext);
        LOGCATE("DecoderBase::AVSync m_CurTimeStamp=%ld, elapsedTime=%ld", m_CurTimeStamp, elapsedTime);
 
        if(m_CurTimeStamp > elapsedTime) {
            //休眠时间
            auto sleepTime = static_cast<unsigned int>(m_CurTimeStamp - elapsedTime);//ms
            av_usleep(sleepTime * 1000);
        }
    }
}

音频向视频同步时，解码器设置。

//创建解码器
m_VideoDecoder = new VideoDecoder(url);
m_AudioDecoder = new AudioDecoder(url);
 
//设置渲染器
m_VideoDecoder->SetVideoRender(OpenGLRender::GetInstance());
m_AudioRender = new OpenSLRender();
m_AudioDecoder->SetVideoRender(m_AudioRender);
 
//设置音频时间戳回调
m_VideoDecoder->SetAVSyncCallback(m_AudioDecoder, AudioDecoder::GetAudioDecoderTimestampForAVSync);

结语

播放器实现音视频同步的这三种方式中，选择哪一种方式合适要视具体的使用场景而定，比如你对画面流畅度要求很高，可以选择音频向视频同步；你要单独实现视频或音频播放，直接向系统时钟同步更为方便。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/685925.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

深度学习管理工具

深度学习管理工具

1. mlflow https://zhuanlan.zhihu.com/p/363673389 官方文档&#xff1a; https://www.mlflow.org/docs/latest/index.html https://zhuanlan.zhihu.com/p/67173051 在跟踪实验时&#xff0c;通过运行 mlflow ui 后在 http&#xff1a;// localhost&#xff1a;5000 中进行…
阅读更多...
ranger，hive，hdfs的三者的权限管理

ranger，hive，hdfs的三者的权限管理

ranger&#xff0c;hive&#xff0c;hdfs的三者的权限管理 情况一&#xff1a;连接datagrip 用户在hdfs上的权限 可以看出只给了用户write权限&#xff0c;尝试登录xwq用户&#xff0c;在datagrip上登录成功 经过实验验证&#xff1a;要想使用datagrip或者hive-cli登录hive…
阅读更多...
C++11【一】

C++11【一】

文章目录 一、C11简介二、右值引用三、可变参数模板四、 empacle_back(移动构造/赋值)五、简单特性 一、C11简介 C11是C编程语言的一个版本&#xff0c;于2011年发布。C11引入了很多新特性&#xff0c;比如&#xff1a;类型推导(auto关键字)、Lambda表达式、线程库、列表初始化…
阅读更多...
电源浪涌保护器加装后备保护器的作用

电源浪涌保护器加装后备保护器的作用

随着现代化技术的发展&#xff0c;信息化系统集成度越来越高。设备敏感度高&#xff0c;抗冲击能力低&#xff0c;极易受到电涌脉冲的危害。电涌保护器&#xff08;SPD&#xff09;作为专业的防电涌产品&#xff0c;应用越来越广&#xff0c;SPD的应用涉及很多的专业知识&#…
阅读更多...
孩子创新思维秘籍

孩子创新思维秘籍

头脑风暴最重要的原则之一就七个字&#xff0c; 要数量&#xff0c;不要质量。 意思就是说&#xff0c;你尽可能的去胡思乱想&#xff0c;胡说八道&#xff0c;天马行空就对了。 我们从这一大堆古灵精怪的玩意儿里面去筛选那些真正有价值的东西&#xff0c;可以拓展的方案。 然…
阅读更多...
【技术选型】Redis的几种集群方案、及优缺点对比

【技术选型】Redis的几种集群方案、及优缺点对比

文章目录 背景一、主从模式二、哨兵模式三、Redis Cluster四、各大厂的Redis集群方案客户端分片代理分片Codis 五、Redis集群方案解决方案六、Redis集群方案原理总结 背景 在服务开发中&#xff0c;单机都会存在单点故障的问题&#xff0c;及服务部署在一台服务器上&#xff0…
阅读更多...
GCP学习笔记（二）——大数据和机器学习

GCP学习笔记（二）——大数据和机器学习

文章目录 一、数据读取和处理1.Pub/Sub代码实践PublishingSubscribing 2. Dataflow使用Python搭建Pipeline 3. Dataproc4. Cloud Data Fusion5. 其他工具Cloud Composer &#xff08;Apache Airflow&#xff09;Cloud Scheduler 二、可视化与分析1. Looker2. Looker Studio3. B…
阅读更多...
【数据结构与算法C++实现】2、二分查找与简单递归

【数据结构与算法C++实现】2、二分查找与简单递归

原视频为左程云的B站教学 文章目录 1 二分法1.1 在有序数组中查找特定元素1.2 在一个有序数组中查找>某个数的最左侧的位置1.3 在一个有序数组中查找<某个数最右侧位置1.4 局部最小值问题&#xff08;无序数组使用二分法的案例&#xff09; 2 简单的递归思想 1 二分法 …
阅读更多...
在AI热潮中，过早的卖掉Datadog股票是个非常错误的决定

在AI热潮中，过早的卖掉Datadog股票是个非常错误的决定

来源&#xff1a;猛兽财经 作者&#xff1a;猛兽财经 Datadog股价 Datadog&#xff08;DDOG&#xff09;目前的股价比其历史高点低了50%左右&#xff0c;比近期低点高了50%左右。 猛兽财经上次关注Datadog是在4月份&#xff0c;当时由于该股的增长前景已经恶化&#xff0c;所以…
阅读更多...
windows电脑hbuilderx打包iOS app及上架app store教程

windows电脑hbuilderx打包iOS app及上架app store教程

ios应用&#xff0c;无法像安卓应用一样&#xff0c;上传到自己的服务器让互联网用户下载进行安装&#xff0c;所以需要将生成的app上传到app store&#xff0c;然后用户到app store安装app。 由于官网的教程是使用mac电脑生成证书和上架的&#xff0c;但是很多使用hbuilderx打…
阅读更多...
实践指南 | 风控引擎快速接入不同数据源的操作说明

实践指南 | 风控引擎快速接入不同数据源的操作说明

随着互联网垂直电商、消费金融等领域的快速崛起&#xff0c;用户及互联网、金融平台受到欺诈的风险也急剧增加。网络黑灰产已形成完整的、成熟的产业链&#xff0c;每年千亿级别的投入规模&#xff0c;超过1000万的“从业者”&#xff0c;其专业度也高于大多数技术人员&#xf…
阅读更多...
Templates 虽然工具将近被淘汰，但依然会有一些场景会被使用-eclipse 格式化注释

Templates 虽然工具将近被淘汰，但依然会有一些场景会被使用-eclipse 格式化注释

Templates 是一款-eclipse 格式化注释模板。虽然工具将近被淘汰&#xff0c;但依然会有一些场景会被使用&#xff0c;今天就来分享一下自己用过的一款&#xff0c;已经去掉不常用的&#xff0c;保留必要的模板内容。 设置方法如下&#xff1a; 设置Code Templates&#xff0c…
阅读更多...
Java-定时任务

Java-定时任务

文章目录 补充&#xff1a;cron表达式基本知识方式一&#xff1a;使用sleep方法方式二&#xff1a;JDK Timer和TimerTask方式三&#xff1a;JDK ScheduledExecutorService方式四&#xff1a; Spring Task 中 的 Scheduler方法五、Quartz框架方式六&#xff1a;XXL-JOB将xxl-job…
阅读更多...
canvas实现简易画板

canvas实现简易画板

效果图如下&#xff1a; 实现功能&#xff1a; 1、改变画笔粗细 2、保存签名实现下载功能 3、使用橡皮擦功能 4、清空画布 5、改变画笔颜色 实现代码如下 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta …
阅读更多...
ChatGPT新功能曝光：可记住用户信息、上传文件和工作区

ChatGPT新功能曝光：可记住用户信息、上传文件和工作区

&#x1f989; AI新闻 &#x1f680; ChatGPT新功能曝光&#xff1a;可记住用户信息、上传文件和工作区 摘要&#xff1a;一张神秘截图曝光了ChatGPT新功能&#xff0c;包括可记住用户信息的"My profile"、上传和管理文件的"My files"以及可以让AI使用不…
阅读更多...
从Wi-Fi，蓝牙，到4G，5G，到卫星网络，频谱共享已无处不在

从Wi-Fi，蓝牙，到4G，5G，到卫星网络，频谱共享已无处不在

在智能手机像牙刷一样普及的今天&#xff0c;频谱共享&#xff0c;成为了近些年通信界的一个热词儿。频谱因为通信的重要而变得越发重要&#xff0c;又因为频谱是一种稀缺资产&#xff0c;而使用需求又在日益飞速地增长&#xff0c;所以成为重中之重。智能手机、物联网、军事和…
阅读更多...
【QT】枚举常用宏到底有什么作用？（Q_ENUM，Q_FLAG，Q_DECLARE_FLAGS，Q_DECLARE_OPERATORS_FOR_FLAGS）

【QT】枚举常用宏到底有什么作用？（Q_ENUM，Q_FLAG，Q_DECLARE_FLAGS，Q_DECLARE_OPERATORS_FOR_FLAGS）

目录 1. Q_ENUM宏 与 QMetaEnum类1.1 Q_ENUM宏的作用1.2 使用Q_ENUM注意的问题1.3 在写有关枚举的代码时&#xff0c;我们可能遇到这种情况&#xff1a;需要用到枚举的字符串&#xff0c;该怎么办&#xff1f;1.4 下面通过一段简单的代码来说明Q_ENUM的作用 2. Q_FLAG宏2.1 Q_F…
阅读更多...
satellite: 利用TLE动态计算并实时显示多颗卫星的位置及轨迹

satellite: 利用TLE动态计算并实时显示多颗卫星的位置及轨迹

本示例的目的是介绍演示如何在vue+satellite项目中利用两行根数动态地计算，并显示多个卫星的位置及轨迹。每秒钟更新一下卫星的位置和角度，加载当前时间到固定时间（如720分钟后）的一段轨迹。 直接复制下面的 vue+openlayers源示例代码，操作2分钟即可运行实现效果 文章目…
阅读更多...
DDD领域驱动设计基本理解

DDD领域驱动设计基本理解

DDD是一种软件设计思想和方法论&#xff0c;以领域为核心构建软件设计体系&#xff0c;将业务模型抽象成领域模型进行拆解和封装。本文简要介绍DDD的基本概念和常用的分层设计架构&#xff0c;并结合业务场景进行领域驱动设计的实战分析&#xff0c;以加深理解。 1、DDD领域驱动…
阅读更多...
opencv通过轮廓去除虚线

opencv通过轮廓去除虚线

思路&#xff1a; 将虚线膨胀为实线&#xff0c;通过高度和宽度找到轮廓&#xff0c;再将轮廓内的面积涂白色 img cv2.imread(imagePath) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) gray_test gray.copy() binary_test cv2.adaptiveThreshold(clean_gray(gray_test),25…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023