Qt-FFmpeg开发-视频播放(3)

news2024/11/25 12:27:50

Qt-FFmpeg开发-视频播放【软解码 + OpenGL显示RGB图像】

文章目录

  • Qt-FFmpeg开发-视频播放【软解码 + OpenGL显示RGB图像】
    • 1、概述
    • 2、实现效果
    • 3、FFmpeg软解码流程
    • 4、主要代码
      • 4.1 解码代码
      • 4.2 OpenGL显示RGB图像代码
    • 5、完整源代码

更多精彩内容
👉个人内容分类汇总 👈
👉音视频开发 👈

1、概述

  • 最近研究了一下FFmpeg开发,功能实在是太强大了,网上ffmpeg3、4的文章还是很多的,但是学习嘛,最新的还是不能放过,就选了一个最新的ffmpeg n5.1.2版本,和3、4版本api变化还是挺大的;
  • 在这个Demo里主要使用Qt + FFmpeg开发一个简单的视频播放器,这里使用的是硬解码,软解码在之前的文章中有;
  • 同时为了尽可能的简单,这里没有进行音频解码和播放,只是单独的进行视频解码播放;
  • 在之前的文章中使用了QPainter进行绘制显示,这里为了降低CPU占用率,改为使用了OpenGL进行显示,但是这里是将FFmpeg解码后的YUV420P图像转换位RGB图像后再使用OpenGL显示,只修改了显示部分代码,解码部分和之前一样。

开发环境说明

  • 系统:Windows10、Ubuntu20.04
  • Qt版本:V5.12.5
  • 编译器:MSVC2017-64、GCC/G++64
  • FFmpeg版本:n5.1.2
    • 官方下载
    • 我使用的库

2、实现效果

  1. 使用ffmpeg音视频库【软解码】实现的视频播放器;
  2. 支持打开本地视频文件(如mp4、mov、avi等)、网络视频流(rtsp、rtmp、http等);
  3. 支持视频匀速播放;
  4. 采用【OpenGL显示RGB】图像,支持自适应窗口缩放,支持使用QOpenGLWidget、QOpenGLWindow显示;
  5. 视频播放支持实时开始/关闭、暂停/继续播放;
  6. 视频解码、线程控制、显示各部分功能分离,低耦合度。
  7. 采用最新的5.1.2版本ffmpeg库进行开发,超详细注释信息,将所有踩过的坑、解决办法、注意事项都得很写清楚。

在这里插入图片描述

  • 下图中使用OpenGL显示RGB图像CPU占用率是使用QPainter显示的一半,由于我使用的是非常老的笔记本的集显测试,所以GPU占用率比较高。

在这里插入图片描述

3、FFmpeg软解码流程

在这里插入图片描述

4、主要代码

  • 啥也不说了,直接上代码,一切有注释

4.1 解码代码

  • videodecode.h文件

    /******************************************************************************
     * @文件名     videodecode.h
     * @功能       视频解码类,在这个类中调用ffmpeg打开视频进行解码
     *
     * @开发者     mhf
     * @邮箱       1603291350@qq.com
     * @时间       2022/09/15
     * @备注
     *****************************************************************************/
    #ifndef VIDEODECODE_H
    #define VIDEODECODE_H
    
    #include <QString>
    #include <QSize>
    
    struct AVFormatContext;
    struct AVCodecContext;
    struct AVRational;
    struct AVPacket;
    struct AVFrame;
    struct SwsContext;
    struct AVBufferRef;
    class QImage;
    
    class VideoDecode
    {
    public:
        VideoDecode();
        ~VideoDecode();
    
        bool open(const QString& url = QString());    // 打开媒体文件,或者流媒体rtmp、strp、http
        QImage read();                               // 读取视频图像
        void close();                                 // 关闭
        bool isEnd();                                 // 是否读取完成
        const qint64& pts();                          // 获取当前帧显示时间
    
    private:
        void initFFmpeg();                            // 初始化ffmpeg库(整个程序中只需加载一次)
        void showError(int err);                      // 显示ffmpeg执行错误时的错误信息
        qreal rationalToDouble(AVRational* rational); // 将AVRational转换为double
        void clear();                                 // 清空读取缓冲
        void free();                                  // 释放
    
    private:
        AVFormatContext* m_formatContext = nullptr;   // 解封装上下文
        AVCodecContext*  m_codecContext  = nullptr;   // 解码器上下文
        SwsContext*      m_swsContext    = nullptr;   // 图像转换上下文
        AVPacket* m_packet = nullptr;                 // 数据包
        AVFrame*  m_frame  = nullptr;                 // 解码后的视频帧
        int    m_videoIndex   = 0;                    // 视频流索引
        qint64 m_totalTime    = 0;                    // 视频总时长
        qint64 m_totalFrames  = 0;                    // 视频总帧数
        qint64 m_obtainFrames = 0;                    // 视频当前获取到的帧数
        qint64 m_pts          = 0;                    // 图像帧的显示时间
        qreal  m_frameRate    = 0;                    // 视频帧率
        QSize  m_size;                                // 视频分辨率大小
        char*  m_error = nullptr;                     // 保存异常信息
        bool   m_end = false;                         // 视频读取完成
        uchar* m_buffer = nullptr;                    // YUV图像需要转换位RGBA图像,这里保存转换后的图形数据
    };
    
    #endif // VIDEODECODE_H
    
  • videodecode.cpp文件

    #include "videodecode.h"
    #include <QDebug>
    #include <QImage>
    #include <QMutex>
    #include <qdatetime.h>
    
    
    extern "C" {        // 用C规则编译指定的代码
    #include "libavcodec/avcodec.h"
    #include "libavformat/avformat.h"
    #include "libavutil/avutil.h"
    #include "libswscale/swscale.h"
    #include "libavutil/imgutils.h"
    
    }
    
    #define ERROR_LEN 1024  // 异常信息数组长度
    #define PRINT_LOG 1
    
    VideoDecode::VideoDecode()
    {
    //    initFFmpeg();      // 5.1.2版本不需要调用了
    
        m_error = new char[ERROR_LEN];
    }
    
    VideoDecode::~VideoDecode()
    {
        close();
    }
    
    /**
     * @brief 初始化ffmpeg库(整个程序中只需加载一次)
     *        旧版本的ffmpeg需要注册各种文件格式、解复用器、对网络库进行全局初始化。
     *        在新版本的ffmpeg中纷纷弃用了,不需要注册了
     */
    void VideoDecode::initFFmpeg()
    {
        static bool isFirst = true;
        static QMutex mutex;
        QMutexLocker locker(&mutex);
        if(isFirst)
        {
            //        av_register_all();         // 已经从源码中删除
            /**
             * 初始化网络库,用于打开网络流媒体,此函数仅用于解决旧GnuTLS或OpenSSL库的线程安全问题。
             * 一旦删除对旧GnuTLS和OpenSSL库的支持,此函数将被弃用,并且此函数不再有任何用途。
             */
            avformat_network_init();
            isFirst = false;
        }
    }
    
    /**
     * @brief      打开媒体文件,或者流媒体,例如rtmp、strp、http
     * @param url  视频地址
     * @return     true:成功  false:失败
     */
    bool VideoDecode::open(const QString &url)
    {
        if(url.isNull()) return false;
    
        AVDictionary* dict = nullptr;
        av_dict_set(&dict, "rtsp_transport", "tcp", 0);      // 设置rtsp流使用tcp打开,如果打开失败错误信息为【Error number -135 occurred】可以切换(UDP、tcp、udp_multicast、http),比如vlc推流就需要使用udp打开
        av_dict_set(&dict, "max_delay", "3", 0);             // 设置最大复用或解复用延迟(以微秒为单位)。当通过【UDP】 接收数据时,解复用器尝试重新排序接收到的数据包(因为它们可能无序到达,或者数据包可能完全丢失)。这可以通过将最大解复用延迟设置为零(通过max_delayAVFormatContext 字段)来禁用。
        av_dict_set(&dict, "timeout", "1000000", 0);         // 以微秒为单位设置套接字 TCP I/O 超时,如果等待时间过短,也可能会还没连接就返回了。
    
        // 打开输入流并返回解封装上下文
        int ret = avformat_open_input(&m_formatContext,          // 返回解封装上下文
                                      url.toStdString().data(),  // 打开视频地址
                                      nullptr,                   // 如果非null,此参数强制使用特定的输入格式。自动选择解封装器(文件格式)
                                      &dict);                    // 参数设置
        // 释放参数字典
        if(dict)
        {
            av_dict_free(&dict);
        }
        // 打开视频失败
        if(ret < 0)
        {
            showError(ret);
            free();
            return false;
        }
    
        // 读取媒体文件的数据包以获取流信息。
        ret = avformat_find_stream_info(m_formatContext, nullptr);
        if(ret < 0)
        {
            showError(ret);
            free();
            return false;
        }
        m_totalTime = m_formatContext->duration / (AV_TIME_BASE / 1000); // 计算视频总时长(毫秒)
    #if PRINT_LOG
        qDebug() << QString("视频总时长:%1 ms,[%2]").arg(m_totalTime).arg(QTime::fromMSecsSinceStartOfDay(int(m_totalTime)).toString("HH:mm:ss zzz"));
    #endif
    
        // 通过AVMediaType枚举查询视频流ID(也可以通过遍历查找),最后一个参数无用
        m_videoIndex = av_find_best_stream(m_formatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
        if(m_videoIndex < 0)
        {
            showError(m_videoIndex);
            free();
            return false;
        }
    
        AVStream* videoStream = m_formatContext->streams[m_videoIndex];  // 通过查询到的索引获取视频流
    
        // 获取视频图像分辨率(AVStream中的AVCodecContext在新版本中弃用,改为使用AVCodecParameters)
        m_size.setWidth(videoStream->codecpar->width);
        m_size.setHeight(videoStream->codecpar->height);
        m_frameRate = rationalToDouble(&videoStream->avg_frame_rate);  // 视频帧率
    
        // 通过解码器ID获取视频解码器(新版本返回值必须使用const)
        const AVCodec* codec = avcodec_find_decoder(videoStream->codecpar->codec_id);
        m_totalFrames = videoStream->nb_frames;
    
    #if PRINT_LOG
        qDebug() << QString("分辨率:[w:%1,h:%2] 帧率:%3  总帧数:%4  解码器:%5")
                    .arg(m_size.width()).arg(m_size.height()).arg(m_frameRate).arg(m_totalFrames).arg(codec->name);
    #endif
    
        // 分配AVCodecContext并将其字段设置为默认值。
        m_codecContext = avcodec_alloc_context3(codec);
        if(!m_codecContext)
        {
    #if PRINT_LOG
            qWarning() << "创建视频解码器上下文失败!";
    #endif
            free();
            return false;
        }
    
        // 使用视频流的codecpar为解码器上下文赋值
        ret = avcodec_parameters_to_context(m_codecContext, videoStream->codecpar);
        if(ret < 0)
        {
            showError(ret);
            free();
            return false;
        }
    
        m_codecContext->flags2 |= AV_CODEC_FLAG2_FAST;    // 允许不符合规范的加速技巧。
        m_codecContext->thread_count = 8;                 // 使用8线程解码
    
        // 初始化解码器上下文,如果之前avcodec_alloc_context3传入了解码器,这里设置NULL就可以
        ret = avcodec_open2(m_codecContext, nullptr, nullptr);
        if(ret < 0)
        {
            showError(ret);
            free();
            return false;
        }
    
        // 分配AVPacket并将其字段设置为默认值。
        m_packet = av_packet_alloc();
        if(!m_packet)
        {
    #if PRINT_LOG
            qWarning() << "av_packet_alloc() Error!";
    #endif
            free();
            return false;
        }
        // 分配AVFrame并将其字段设置为默认值。
        m_frame = av_frame_alloc();
        if(!m_frame)
        {
    #if PRINT_LOG
            qWarning() << "av_frame_alloc() Error!";
    #endif
            free();
            return false;
        }
    
        // 分配图像空间
        int size = av_image_get_buffer_size(AV_PIX_FMT_RGBA, m_size.width(), m_size.height(), 4);
        /**
         * 【注意:】这里可以多分配一些,否则如果只是安装size分配,大部分视频图像数据拷贝没有问题,
         *         但是少部分视频图像在使用sws_scale()拷贝时会超出数组长度,在使用使用msvc debug模式时delete[] m_buffer会报错(HEAP CORRUPTION DETECTED: after Normal block(#32215) at 0x000001AC442830370.CRT delected that the application wrote to memory after end of heap buffer)
         *         特别是这个视频流http://vfx.mtime.cn/Video/2019/02/04/mp4/190204084208765161.mp4
         */
        m_buffer = new uchar[size + 1000];    // 这里多分配1000个字节就基本不会出现拷贝超出的情况了,反正不缺这点内存
    //    m_image = new QImage(m_buffer, m_size.width(), m_size.height(), QImage::Format_RGBA8888);  // 这种方式分配内存大部分情况下也可以,但是因为存在拷贝超出数组的情况,delete时也会报错
        m_end = false;
        return true;
    }
    
    /**
     * @brief
     * @return
     */
    QImage VideoDecode::read()
    {
        // 如果没有打开则返回
        if(!m_formatContext)
        {
            return QImage();
        }
    
        // 读取下一帧数据
        int readRet = av_read_frame(m_formatContext, m_packet);
        if(readRet < 0)
        {
            avcodec_send_packet(m_codecContext, m_packet); // 读取完成后向解码器中传如空AVPacket,否则无法读取出最后几帧
        }
        else
        {
            if(m_packet->stream_index == m_videoIndex)     // 如果是图像数据则进行解码
            {
                // 计算当前帧时间(毫秒)
    #if 1       // 方法一:适用于所有场景,但是存在一定误差
                m_packet->pts = qRound64(m_packet->pts * (1000 * rationalToDouble(&m_formatContext->streams[m_videoIndex]->time_base)));
                m_packet->dts = qRound64(m_packet->dts * (1000 * rationalToDouble(&m_formatContext->streams[m_videoIndex]->time_base)));
    #else       // 方法二:适用于播放本地视频文件,计算每一帧时间较准,但是由于网络视频流无法获取总帧数,所以无法适用
                m_obtainFrames++;
                m_packet->pts = qRound64(m_obtainFrames * (qreal(m_totalTime) / m_totalFrames));
    #endif
                // 将读取到的原始数据包传入解码器
                int ret = avcodec_send_packet(m_codecContext, m_packet);
                if(ret < 0)
                {
                    showError(ret);
                }
            }
        }
        av_packet_unref(m_packet);  // 释放数据包,引用计数-1,为0时释放空间
    
        int ret = avcodec_receive_frame(m_codecContext, m_frame);
        if(ret < 0)
        {
            av_frame_unref(m_frame);
            if(readRet < 0)
            {
                m_end = true;     // 当无法读取到AVPacket并且解码器中也没有数据时表示读取完成
            }
            return QImage();
        }
    
        m_pts = m_frame->pts;
    
        // 为什么图像转换上下文要放在这里初始化呢,是因为m_frame->format,如果使用硬件解码,解码出来的图像格式和m_codecContext->pix_fmt的图像格式不一样,就会导致无法转换为QImage
        if(!m_swsContext)
        {
            // 获取缓存的图像转换上下文。首先校验参数是否一致,如果校验不通过就释放资源;然后判断上下文是否存在,如果存在直接复用,如不存在进行分配、初始化操作
            m_swsContext = sws_getCachedContext(m_swsContext,
                                                m_frame->width,                     // 输入图像的宽度
                                                m_frame->height,                    // 输入图像的高度
                                                (AVPixelFormat)m_frame->format,     // 输入图像的像素格式
                                                m_size.width(),                     // 输出图像的宽度
                                                m_size.height(),                    // 输出图像的高度
                                                AV_PIX_FMT_RGBA,                    // 输出图像的像素格式
                                                SWS_BILINEAR,                       // 选择缩放算法(只有当输入输出图像大小不同时有效),一般选择SWS_FAST_BILINEAR
                                                nullptr,                            // 输入图像的滤波器信息, 若不需要传NULL
                                                nullptr,                            // 输出图像的滤波器信息, 若不需要传NULL
                                                nullptr);                          // 特定缩放算法需要的参数(?),默认为NULL
            if(!m_swsContext)
            {
    #if PRINT_LOG
                qWarning() << "sws_getCachedContext() Error!";
    #endif
                free();
                return QImage();
            }
        }
    
        // AVFrame转QImage
        uchar* data[]  = {m_buffer};
        int    lines[4];
        av_image_fill_linesizes(lines, AV_PIX_FMT_RGBA, m_frame->width);  // 使用像素格式pix_fmt和宽度填充图像的平面线条大小。
        ret = sws_scale(m_swsContext,             // 缩放上下文
                        m_frame->data,            // 原图像数组
                        m_frame->linesize,        // 包含源图像每个平面步幅的数组
                        0,                        // 开始位置
                        m_frame->height,          // 行数
                        data,                     // 目标图像数组
                        lines);                   // 包含目标图像每个平面的步幅的数组
        QImage image(m_buffer, m_frame->width, m_frame->height, QImage::Format_RGBA8888);
        av_frame_unref(m_frame);
    
        return image;
    }
    
    /**
     * @brief 关闭视频播放并释放内存
     */
    void VideoDecode::close()
    {
        clear();
        free();
    
        m_totalTime     = 0;
        m_videoIndex    = 0;
        m_totalFrames   = 0;
        m_obtainFrames  = 0;
        m_pts           = 0;
        m_frameRate     = 0;
        m_size          = QSize(0, 0);
    }
    
    /**
     * @brief  视频是否读取完成
     * @return
     */
    bool VideoDecode::isEnd()
    {
        return m_end;
    }
    
    /**
     * @brief    返回当前帧图像播放时间
     * @return
     */
    const qint64 &VideoDecode::pts()
    {
        return m_pts;
    }
    
    /**
     * @brief        显示ffmpeg函数调用异常信息
     * @param err
     */
    void VideoDecode::showError(int err)
    {
    #if PRINT_LOG
        memset(m_error, 0, ERROR_LEN);        // 将数组置零
        av_strerror(err, m_error, ERROR_LEN);
        qWarning() << "DecodeVideo Error:" << m_error;
    #else
        Q_UNUSED(err)
    #endif
    }
    
    /**
     * @brief          将AVRational转换为double,用于计算帧率
     * @param rational
     * @return
     */
    qreal VideoDecode::rationalToDouble(AVRational* rational)
    {
        qreal frameRate = (rational->den == 0) ? 0 : (qreal(rational->num) / rational->den);
        return frameRate;
    }
    
    /**
     * @brief 清空读取缓冲
     */
    void VideoDecode::clear()
    {
        // 因为avformat_flush不会刷新AVIOContext (s->pb)。如果有必要,在调用此函数之前调用avio_flush(s->pb)。
        if(m_formatContext && m_formatContext->pb)
        {
            avio_flush(m_formatContext->pb);
        }
        if(m_formatContext)
        {
            avformat_flush(m_formatContext);   // 清理读取缓冲
        }
    }
    
    void VideoDecode::free()
    {
        // 释放上下文swsContext。
        if(m_swsContext)
        {
            sws_freeContext(m_swsContext);
            m_swsContext = nullptr;             // sws_freeContext不会把上下文置NULL
        }
        // 释放编解码器上下文和与之相关的所有内容,并将NULL写入提供的指针
        if(m_codecContext)
        {
            avcodec_free_context(&m_codecContext);
        }
        // 关闭并失败m_formatContext,并将指针置为null
        if(m_formatContext)
        {
            avformat_close_input(&m_formatContext);
        }
        if(m_packet)
        {
            av_packet_free(&m_packet);
        }
        if(m_frame)
        {
            av_frame_free(&m_frame);
        }
        if(m_buffer)
        {
            delete [] m_buffer;
            m_buffer = nullptr;
        }
    }
    

4.2 OpenGL显示RGB图像代码

  • 鼠标右键->Add New…

    在这里插入图片描述

  • 创建两个GLSL着色器文件

    在这里插入图片描述

  • 创建一个资源文件,将刚创建的两个GLSL文件添加进资源文件

    在这里插入图片描述

  • 结果如下图所示

    在这里插入图片描述

  • 顶点着色器 vertex.vsh

    #version 330 core
    layout (location = 0) in vec3 aPos;
    layout (location = 1) in vec2 aTexCord;
    out vec2 TexCord;    // 纹理坐标
    void main()
    {
        gl_Position =  vec4(aPos, 1.0);
        TexCord = aTexCord;
    }
    
  • 片段着色器fragment.fsh

    #version 330 core
    out vec4 FragColor;
    in  vec2 TexCord;            // 纹理坐标
    uniform sampler2D texture;  // 纹理采样器
    void main()
    {
        FragColor = texture2D(texture, TexCord);  // 采样纹理函数
    }
    
  • OpenGL显示RGB图像这里可以采用QOpenGLWidget或者QOpenGLWIndow进行显示

  • playimage.h

    /******************************************************************************
     * @文件名     playimage.h
     * @功能       使用OpenGL实现RGB图像的绘制,可通过USE_WINDOW宏切换使用QOpenGLWindow还是QOpenGLWidget
     *
     * @开发者     mhf
     * @邮箱       1603291350@qq.com
     * @时间       2022/10/14
     * @备注
     *****************************************************************************/
    #ifndef PLAYIMAGE_H
    #define PLAYIMAGE_H
    
    #include <QWidget>
    #include <QOpenGLFunctions_3_3_Core>
    #include <qopenglshaderprogram.h>
    #include <QOpenGLTexture>
    
    #define USE_WINDOW 0    // 1:使用QOpenGLWindow显示, 0:使用QOpenGLWidget显示
    
    #if USE_WINDOW
    #include <QOpenGLWindow>
    class PlayImage : public QOpenGLWindow, public  QOpenGLFunctions_3_3_Core
    #else
    #include <QOpenGLWidget>
    class PlayImage : public QOpenGLWidget, public  QOpenGLFunctions_3_3_Core
    #endif
    {
        Q_OBJECT
    public:
    #if USE_WINDOW
        explicit PlayImage(UpdateBehavior updateBehavior = NoPartialUpdate, QWindow *parent = nullptr);
    #else
        explicit PlayImage(QWidget* parent = nullptr, Qt::WindowFlags f = Qt::WindowFlags());
    #endif
         ~PlayImage() override;
    
        void updateImage(const QImage& image);
    
    
    protected:
        void initializeGL() override;               // 初始化gl
        void resizeGL(int w, int h) override;       // 窗口尺寸变化
        void paintGL() override;                    // 刷新显示
    
    private:
        QOpenGLShaderProgram* m_program = nullptr;
        QOpenGLTexture* m_texture = nullptr;
    
        GLuint VBO = 0;       // 顶点缓冲对象,负责将数据从内存放到缓存,一个VBO可以用于多个VAO
        GLuint VAO = 0;       // 顶点数组对象,任何随后的顶点属性调用都会储存在这个VAO中,一个VAO可以有多个VBO
        GLuint EBO = 0;       // 元素缓冲对象,它存储 OpenGL 用来决定要绘制哪些顶点的索引
        QSize  m_size;
        QSizeF  m_zoomSize;
        QPointF m_pos;
    };
    
    #endif // PLAYIMAGE_H
    
    
  • playimage.cpp

    #include "playimage.h"
    
    
    #if USE_WINDOW
    PlayImage::PlayImage(QOpenGLWindow::UpdateBehavior updateBehavior, QWindow *parent):QOpenGLWindow(updateBehavior, parent)
    {
    }
    #else
    PlayImage::PlayImage(QWidget *parent, Qt::WindowFlags f): QOpenGLWidget(parent, f)
    {
    
    }
    #endif
    
    
    PlayImage::~PlayImage()
    {
        if(!isValid()) return;        // 如果控件和OpenGL资源(如上下文)已成功初始化,则返回true。
        this->makeCurrent(); // 通过将相应的上下文设置为当前上下文并在该上下文中绑定帧缓冲区对象,为呈现此小部件的OpenGL内容做准备。
        // 释放纹理
        if(m_texture)
        {
            m_texture->destroy();
            delete m_texture;
        }
        this->doneCurrent();    // 释放上下文
        // 释放
        glDeleteBuffers(1, &VBO);
        glDeleteBuffers(1, &EBO);
        glDeleteVertexArrays(1, &VAO);
    }
    
    /**
     * @brief        传入Qimage图片显示
     * @param image
     */
    void PlayImage::updateImage(const QImage& image)
    {
        if(image.isNull()) return;
    
        m_size = image.size();
        if(!m_texture)
        {
            m_texture = new QOpenGLTexture(image.mirrored());
            resizeGL(this->width(), this->height());
        }
        else
        {
            m_texture->destroy();
            m_texture->setData(image.mirrored());
        }
        this->update();
    }
    // 三个顶点坐标XYZ,VAO、VBO数据播放,范围时[-1 ~ 1]直接
    static GLfloat vertices[] = {  // 前三列点坐标,后两列为纹理坐标
         1.0f,  1.0f, 0.0f, 1.0f, 1.0f,      // 右上角
         1.0f, -1.0f, 0.0f, 1.0f, 0.0f,      // 右下
        -1.0f, -1.0f, 0.0f, 0.0f, 0.0f,      // 左下
        -1.0f,  1.0f, 0.0f, 0.0f, 1.0f      // 左上
    };
    static GLuint indices[] = {
        0, 1, 3,
        1, 2, 3
    };
    void PlayImage::initializeGL()
    {
        initializeOpenGLFunctions();
    
        m_program = new QOpenGLShaderProgram(this);
        m_program->addShaderFromSourceFile(QOpenGLShader::Vertex, ":/vertex.vsh");
        m_program->addShaderFromSourceFile(QOpenGLShader::Fragment, ":/fragment.fsh");
        m_program->link();
    
        // 返回属性名称在此着色器程序的参数列表中的位置。如果名称不是此着色器程序的有效属性,则返回-1。
        GLuint posAttr = GLuint(m_program->attributeLocation("aPos"));
        GLuint texCord = GLuint(m_program->attributeLocation("aTexCord"));
    
        glGenVertexArrays(1, &VAO);
        glBindVertexArray(VAO);
    
        glGenBuffers(1, &VBO);
        glBindBuffer(GL_ARRAY_BUFFER, VBO);
        glGenBuffers(1, &EBO);    // 创建一个EBO
        glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, EBO);
    
    
        // 为当前绑定到的缓冲区对象创建一个新的数据存储target。任何预先存在的数据存储都将被删除。
        glBufferData(GL_ARRAY_BUFFER,        // 为VBO缓冲绑定顶点数据
                           sizeof (vertices),      // 数组字节大小
                           vertices,               // 需要绑定的数组
                           GL_STATIC_DRAW);        // 指定数据存储的预期使用模式,GL_STATIC_DRAW: 数据几乎不会改变
        glBufferData(GL_ELEMENT_ARRAY_BUFFER, sizeof(indices), indices, GL_STATIC_DRAW);  // 将顶点索引数组传入EBO缓存
        // 设置顶点坐标数据
        glVertexAttribPointer(posAttr,                     // 指定要修改的通用顶点属性的索引
                              3,                     // 指定每个通用顶点属性的组件数(如vec3:3,vec4:4)
                              GL_FLOAT,              // 指定数组中每个组件的数据类型(数组中一行有几个数)
                              GL_FALSE,              // 指定在访问定点数据值时是否应规范化 ( GL_TRUE) 或直接转换为定点值 ( GL_FALSE),如果vertices里面单个数超过-1或者1可以选择GL_TRUE
                              5 * sizeof(GLfloat),   // 指定连续通用顶点属性之间的字节偏移量。
                              nullptr);              // 指定当前绑定到目标的缓冲区的数据存储中数组中第一个通用顶点属性的第一个组件的偏移量。初始值为0 (一个数组从第几个字节开始读)
        // 启用通用顶点属性数组
        glEnableVertexAttribArray(posAttr);                // 属性索引是从调用glGetAttribLocation接收的,或者传递给glBindAttribLocation。
    
        // 设置纹理坐标数据
        glVertexAttribPointer(texCord, 2, GL_FLOAT, GL_FALSE, 5 * sizeof(GLfloat), reinterpret_cast<const GLvoid *>(3 * sizeof (GLfloat)));              // 指定当前绑定到目标的缓冲区的数据存储中数组中第一个通用顶点属性的第一个组件的偏移量。初始值为0 (一个数组从第几个字节开始读)
        // 启用通用顶点属性数组
        glEnableVertexAttribArray(texCord);                // 属性索引是从调用glGetAttribLocation接收的,或者传递给glBindAttribLocation。
    
        // 释放
        glBindBuffer(GL_ARRAY_BUFFER, 0);
        glBindVertexArray(0);                        // 设置为零以破坏现有的顶点数组对象绑定
    
        glClearColor(0.0f, 0.0f, 0.0f, 1.0f);        // 指定颜色缓冲区的清除值(背景色)
    }
    
    void PlayImage::resizeGL(int w, int h)
    {
        if(m_size.width()  < 0 || m_size.height() < 0) return;
    
        // 计算需要显示图片的窗口大小,用于实现长宽等比自适应显示
        if((double(w) / h) < (double(m_size.width()) / m_size.height()))
        {
            m_zoomSize.setWidth(w);
            m_zoomSize.setHeight(((double(w) / m_size.width()) * m_size.height()));   // 这里不使用QRect,使用QRect第一次设置时有误差bug
        }
        else
        {
            m_zoomSize.setHeight(h);
            m_zoomSize.setWidth((double(h) / m_size.height()) * m_size.width());
        }
        m_pos.setX(double(w - m_zoomSize.width()) / 2);
        m_pos.setY(double(h - m_zoomSize.height()) / 2);
        this->update(QRect(0, 0, w, h));
    }
    
    void PlayImage::paintGL()
    {
        glClear(GL_COLOR_BUFFER_BIT);     // 将窗口的位平面区域(背景)设置为先前由glClearColor、glClearDepth和选择的值
        glViewport(m_pos.x(), m_pos.y(), m_zoomSize.width(), m_zoomSize.height());  // 设置视图大小实现图片自适应
    
        m_program->bind();               // 绑定着色器
        if(m_texture)
        {
            m_texture->bind();
        }
    
        glBindVertexArray(VAO);           // 绑定VAO
    
        glDrawElements(GL_TRIANGLES,      // 绘制的图元类型
                       6,                 // 指定要渲染的元素数(点数)
                       GL_UNSIGNED_INT,   // 指定索引中值的类型(indices)
                       nullptr);          // 指定当前绑定到GL_ELEMENT_array_buffer目标的缓冲区的数据存储中数组中第一个索引的偏移量。
        glBindVertexArray(0);
        if(m_texture)
        {
            m_texture->release();
        }
        m_program->release();
    }
    
    

5、完整源代码

  • github
  • gitee

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/27899.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Bio-Helix 艾美捷IRIS11预染蛋白Markers基参及相关研究

IRIS11预染色蛋白梯是11种分子量为3至60kDa的预染色蛋白的组合。11种重组蛋白与蓝色发色团共价偶联&#xff0c;而2条70kDa和260kDa的红色带、一条15kDa的绿色带和一条新设计的60kDa的孔雀绿色带作为参考带。IRIS11预拉伸蛋白质阶梯在SDS聚丙烯酰胺凝胶电泳过程中跟踪蛋白质的大…

[附源码]java毕业设计新冠疫苗线上预约系统

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

【测试沉思录】17. 性能测试中的系统资源分析之四:网络

作者&#xff1a;马海琴 编辑&#xff1a;毕小烦 计算机网络&#xff0c;就是通过光缆、电缆、电话线或无线通讯将两台以上的计算机互连起来的集合&#xff0c;包括广域网、城域网、局域网和无线网。 计算机网络是传输信息的媒介。我们常说的千兆网&#xff0c;是指网络带宽为…

openssl中SM2、SM3、SM4使用实例

目录 openssl的版本如下&#xff1a; SM3使用实例 1. SM3的扎凑实例 SM2使用实例 1. 生成SM2密钥对 2.查看SM2密钥对 3.生成自签名证书 4.查看证书详情 5.私钥签名消息 6.证书验证消息签名 SM4 使用实例 openssl的版本如下&#xff1a; SM3使用实例 SM3是中华人民共…

前端框架 Nextjs 实现React SEO优化

目录 一、Nextjs框架创建React项目 二、路由的使用 1、静态路由 2、动态路由 3、Link路由跳转 4、Api路由 5、Api动态路由 三、Nextjs中加载js脚本 四、Nextjs中加载图片 五、Nextjs的公共布局 六、Pages的其他特性 一、Nextjs框架创建React项目 快速入门 | Next.…

YOLOv5~目标检测模型精确度

还是yolo5的基础啊~~ 一些关于目标检测模型的评估指标&#xff1a;IOU、TP&FP&FN&TN、mAP等&#xff0c;并列举了目标检测中的mAP计算。 指标评估(重要的一些定义) IOU 也称重叠度表示计算预测回归框和真实回归框的交并比,计算公式如下: TP&FP&FN&…

2022CTF培训(二)Hook进阶反调试

附件下载链接 Hook进阶 更精准的 Inline Hook 要求 实现防止任务管理器对某进程自身的结束要求不影响任务管理器结束其它进程的功能 Dll 注入程序编写 提权 主要过程如下&#xff1a; 首先,程序需要调用OpenProcessToken函数打开指定的进程令牌&#xff0c;并获取TOKEN…

【架构设计】作为架构师你应该掌握的画图技术

1.前言 大家知道&#xff0c;架构的过程其实就是建模的过程&#xff0c;那自然离不开架构图。那么&#xff0c;我们先来看几个问题。 &#xff08;1&#xff09;什么是架构图&#xff1f; 架构图 架构 图&#xff0c;用图的形式把系统架构展示出来&#xff0c;配上简单的文…

Rust学习笔记——安装、创建、编译、输入输出

目录 一.安装 二.创建 三.编译 四.输入输出 &#xff08;一&#xff09;.输出hello world &#xff08;二&#xff09;.输入 一.安装 Rust Programming Language (rust-lang.org)&#xff0c;这是Rust官网。 直接下载自己对应系统版本即可&#xff0c;小编是linux版。 下…

ARP协议map4(3层网络层的协议)

数据来源 一、广播与广播域概述 1、广播域广播域 广播&#xff1a;将广播地址做为目标地址的数据帧 广播域&#xff1a;网络中能接收到同一个广播所有节点的集合&#xff08;广播域越小越好&#xff0c;这样通信效率更高&#xff09; 下图每个圈都是一个广播域&#xff0c;说…

通关算法题之 ⌈数组⌋ 上

滑动窗口 3. 无重复字符的最长子串 给定一个字符串 s &#xff0c;请你找出其中不含有重复字符的 最长子串 的长度。 输入: s "abcabcbb" 输出: 3 这就是变简单了&#xff0c;连 need 和 valid 都不需要&#xff0c;而且更新窗口内数据也只需要简单的更新计数器 …

(续)SSM整合之SSM整合笔记(ContextLoaderListener)(P179-188)

一 准备工作 1 新建模块ssm com.atguigu.ssm 2 导入依赖 <packaging>war</packaging><properties><spring.version>5.3.1</spring.version> </properties><dependencies><dependency><groupId>org.springframew…

Day10--初步实现自定义tabBar的效果

承接上文配置信息之后。 1.添加tabBar代码文件 我的操作&#xff1a; 1》在文件区新建一个custom-tab-bar文件夹 2》并在其中新建一个index组件 3》文件区展示图 4》最终的效果图&#xff1a; **************************************************************************…

界面组件DevExpress Reporting v22.1亮点 - 报表设计器功能全面升级

DevExpress Reporting是.NET Framework下功能完善的报表平台&#xff0c;它附带了易于使用的Visual Studio报表设计器和丰富的报表控件集&#xff0c;包括数据透视表、图表&#xff0c;因此您可以构建无与伦比、信息清晰的报表。 DevExpress Reporting v22.1版本已正式发布&am…

数据结构之二叉树(前提知识)

文章目录前言**一、树****二、树的相关概念****节点的度****叶节点****分支节点****子节点****父节点****兄弟节点****树的度****节点的层****树的高度****祖先****子孙****森林****三、树的表示****孩子表示法****左孩子右兄弟法****双亲表示法****四、树在实际中的应用****总…

iPhone/iPad屏幕投屏镜像到PC或Mac上面教程分享

AirServer是一款Mac应用程序&#xff0c;可将AirPlay / AirTunes的音频&#xff0c;视频&#xff0c;照片&#xff0c;幻灯片和镜像接收功能添加到Mac电脑。它可以实现将iPhone手机或Mac电脑上的媒体文件以及其他操作投射到Mac电脑上。使用AirServer&#xff0c;可以从Mac&…

如何利用DGL官方库中的rgcn链接预测代码跑自己的数据集(如何在DGL库的链接预测数据集模块定义自己的数据集类)

最近在忙我的省创&#xff0c;是有关于知识图谱的&#xff0c;其中有一个内容是使用rgcn的链接预测方法跑自己的数据集&#xff0c;我是用的dgl库中给出的在pytorch环境下实现rgcn的链接预测的代码&#xff0c;相关链接贴在这里&#xff1a; dgl库中关于rgcn的介绍文档 dgl库…

联盟快应用-如何进行测试?

官方文档&#xff1a;快应用-无需安装&#xff0c;即点即用-厂商联盟官方网站 什么是快应用&#xff1f; 可以简单理解为是另一种小程序。 快应用是一种新的应用形态&#xff0c;以往的手机端应用主要有两种方式&#xff1a;网页、原生应用&#xff1b;网页无需安装&#xff…

阻塞车间调度

阻塞车间调度 当前机器上的作业处理必须保留在该机器上&#xff0c;直到下一台机器可用于处理为止。也就是说如果该作业要执行的下一个工序的机器被使用&#xff0c;则该机器必须被占用。 n个作业必须在m个机器f个工厂上进行处理&#xff0c;在每一个工厂中连续机器之间没有缓…

Android11 framework Handler

Android11 framework Handler引言Handler工作流程MessageQueue主要函数Looper主要函数思考1.一个线程有几个handler&#xff0c;有几个looper2.为什么handler会有内存泄漏3.如果想要在子线程new Handler怎么做&#xff1f;4.子线程中的loop如果消息队列中没有消息处理的时候怎么…