QT + FFMPEG实现简易播放器

项目环境：vs2022 + QT5.14 + ffmpeg5.0(第三方库文件已上传到源码中)

项目技术：要求有QT基础（信号槽、事件机制）、音视频解码操作中对FFMPEG相关API库的调用

项目说明：采用ffmpeg库对视频流进行解封装后转成QImage格式，再通过paintEvent事件将其绘画到窗口。

源码：https://github.com/say-Hai/FFmpeg-videoPlayDemo

项目具体运行流程请查看github源码的md文档（先把代码跑起来再说）

一、代码文件说明

• FFmpegvideoPlayDemo.cpp：程序的窗口类（正常名称为mainwindow，只是vs中会自动根据项目改名）
• main.cpp：QT运行程序的入口（啥也没改）
• PlayImage.cpp：程序视频播放的窗口，继承QWidget，实现对QImage（解码器返回的参数）的更新和重写paintEvent绘图事件
• readThread.cpp：继承QThread的线程类，负责开启/暂停视频的解码操作
• ★videoDecode.cpp：本程序重点，视频的解码类，通过调用FFmpeg的相关库来解码视频得到AVFrame原始格式，并最后通过sws_scale()转换为RGBA格式，再赋值给QImage类后返回。

二、FFmpegvideoPlayDemo

此函数逻辑很简单，很容易看懂，就是通过QT的信号槽机制，调用对应的操作逻辑（如：调用线程执行open函数）

重要成员变量：readThread* m_readThread = NULL;

FFmpegvideoPlayDemo::FFmpegvideoPlayDemo(QWidget* parent)
	: QWidget(parent)
{
	ui.setupUi(this);
	//设置标题
	this->setWindowTitle(QString("VideoPlay Version 1.00"));
	//实例化视频解码线程
	m_readThread = new readThread();
	将解码线程的自定义信号updateImage信号与PlayImage绑定,直接调用槽函数，槽函数不执行完，阻塞
	connect(m_readThread, &readThread::updateImage, ui.playimage, &PlayImage::updateImage, Qt::DirectConnection);
	将解码线程的自定义播放状态改变的信号与窗口线程的on_PlayState槽函数绑定
	connect(m_readThread, &readThread::playState, this, &FFmpegvideoPlayDemo::on_playState);
}

三、readThread

代码逻辑：调用open函数开启QThread的线程（QThread的线程启动机制：调用start()会新建一个新线程执行run()函数）；在run()中调用videoDecode类的open函数进行解码；最后通过while循环来不断发送updateImage信号来让PlayImage类来更新图片

//关键代码：
void readThread::run()
{
	//首先调用open函数,开始视频解码
	bool ret = m_videoDecode->open(m_url);
	if (ret)
	{
		//视频解码成功；设置播放标志位为真
		m_play = true;
		//以当前线程的时间为起点，计算时间
		m_etime2.start();
		//给窗口线程发送视频状态变为play的信号
		emit playState(play);
	}
    //异常处理逻辑
    //...
    
	while (m_play)
	{
		while (m_pause)
		{
			sleepMesc(200);
		}
		QImage image = m_videoDecode->read();
		if (!image.isNull())
		{
			sleepMesc(int(m_videoDecode->pts() - m_etime2.elapsed()));
//★关键代码：
			emit(updateImage(image));
		}
		else
		{
			if (m_videoDecode->isEnd())
			{
				qDebug() << "read Thread over";
				break;
			}
			sleepMesc(1);
		}
	}

	//全部搞完了
	qDebug() << "播放结束";
	//关掉视频解码
	m_videoDecode->close();
	//发送视频播放完的信号
	emit playState(end);
	//到这里，视频解码线程的主要逻辑已经实现完毕
}

四、PlayImage

通过信号槽机制，每当readThread类发送updateImage信号时，自动调用updatePixmap函数来绘画窗口的图形

//关键代码
void PlayImage::updateImage(const QImage& image)
{
	//由于QPixmap用于绘画事件更稳定更快速，这里不处理Image格式的图片
	//直接转换为QPixmap再调用updatePixmap
	updatePixmap(QPixmap::fromImage(image));
}

void PlayImage::updatePixmap(const QPixmap& pixmap)
{
	//因为这里在多线程访问的时候，可能会对m_pixmap造成问题，给这个变量的更新上锁
	m_mutex.lock();
	m_pixmap = pixmap;
	m_mutex.unlock();
	//调用重绘函数paintEvent函数
	update();
}
/// 重写绘图事件
void PlayImage::paintEvent(QPaintEvent* event)
{
	//有图就重绘
	if (!m_pixmap.isNull())
	{
		//实例化一个绘图对象
		QPainter painter(this);
		m_mutex.lock();
		//把图像按父窗口的大小，保持宽高比缩小,原始图片可能不适配播放器尺寸
		QPixmap pixmap = m_pixmap.scaled(this->size(), Qt::KeepAspectRatio);
		m_mutex.unlock();
		//居中绘画
		int x = (this->width() - pixmap.width()) / 2;
		int y = (this->height() - pixmap.height()) / 2;
		painter.drawPixmap(x, y, pixmap);
	}
	//调用QWidget的绘画函数，实现绘制功能
	QWidget::paintEvent(event);
}

五、★videoDecode

ffmpeg相关API函数和结构体实操解码，通过ffmpeg库的解码器实现对url的视频进行解码，返回QImage

最重要的两个函数：（已删除异常处理逻辑，专注于解码流程）有些函数看不懂也没事，可以通过GPT提问

• bool videoDecode::open(const QString& url)：打开解码器，剥去封装格式，解析视频
• QImage videoDecode::read()：处理解码后的数据，生成QImage

bool videoDecode::open(const QString& url)
{
	AVDictionary* dict = NULL;
	//av_dict_set()函数用于向字典中添加或修改键值对，这些参数在FFmpeg库的不同功能中起到配置作用
	av_dict_set(&dict, "rtsp_transport", "tcp", 0);
	av_dict_set(&dict, "max_delay", "3", 0);//设置最大延迟复用，禁止重新排序
	av_dict_set(&dict, "timeout", "1000000", 0);//设置套接字超时

	//打开输入流，并返回解封装上下文
	int ret = avformat_open_input(&m_formatContext,//保存解封装上下文
		url.toStdString().data(),//要打开的视频地址，要转换为char*类型
		NULL,//参数设置，自动选择解码器
		&dict);//参数字典里的参数传进来
    
	ret = avformat_find_stream_info(m_formatContext, NULL);

	m_totalTime = m_formatContext->duration / (AV_TIME_BASE / 1000);

	//信息流获取成功后，我们需要查找视频流ID
	//这里通过AVMediaType枚举查询视频流ID，当然也可以遍历查找
	m_videoIndex = av_find_best_stream(m_formatContext,
		AVMEDIA_TYPE_VIDEO,//媒体类型
		-1,//不指定流索引号，自动查找最佳的视频流
		-1,//不关联其他流，只考虑视频流本身
		NULL,//不需要返回找到的解码器
		0//不设置搜索标准位
	);
	
	//根据索引来获取视频流
	AVStream* videoStream = m_formatContext->streams[m_videoIndex];
    
	m_size.setWidth(videoStream->codecpar->width);
	m_size.setHeight(videoStream->codecpar->height);
    
	m_frameRate = rationalToDouble(&videoStream->avg_frame_rate);

	//获取解码器
	const AVCodec* codec = avcodec_find_decoder(videoStream->codecpar->codec_id);
	m_totalFrames = videoStream->nb_frames;
	m_codecContext = avcodec_alloc_context3(codec);
    
	ret = avcodec_parameters_to_context(m_codecContext, videoStream->codecpar);
    
	//允许使用不符合规范的加速技巧
	m_codecContext->flags2 |= AV_CODEC_FLAG2_FAST;
	//使用8线程解码
	m_codecContext->thread_count = 8;

	ret = avcodec_open2(m_codecContext, NULL, NULL);

	//给原始的数据包分配空间
	m_packet = av_packet_alloc();

	//给处理后的数据分配空间
	m_frame = av_frame_alloc();

	//分配图像空间。计算大小
	int size = av_image_get_buffer_size(AV_PIX_FMT_RGBA,//图像格式为RGBA
		m_size.width(),//图像宽度
		m_size.height(),//图像的高度
		4//每行像素的字节数
	);
	//多分配点图像空间
	m_buffer = new uchar[size + 1000];
	m_end = false;
	return true;
	//到此打开解码器，剥去封装格式，解析视频已经全部实现完，下面实现视频数据读取
}

QImage videoDecode::read()
{

	//有东西，读取下一帧数据
	int readRet = av_read_frame(m_formatContext, m_packet);

	else
	{
		//如果是图像数据(视频流)，就解码
		if (m_packet->stream_index == m_videoIndex)
		{
			//这个虽然有误差，但是适用性更强
		   //显示时间戳,帧在播出的时候该出现的时间,转为毫秒
			m_packet->pts = qRound64(m_packet->pts * (1000 * rationalToDouble(&m_formatContext->streams[m_videoIndex]->time_base)));
			//解码时间戳，帧在解码的时间。
			m_packet->dts = qRound64(m_packet->dts * (1000 * rationalToDouble(&m_formatContext->streams[m_videoIndex]->time_base)));

			//将读取到的原始数据帧传入解码器
			int ret = avcodec_send_packet(m_codecContext, m_packet);

		}
	}
	//要释放数据包
	av_packet_unref(m_packet);
	//处理解码后的数据
	//先接受
	int ret = avcodec_receive_frame(m_codecContext, m_frame);
	//失败
	
	m_pts = m_frame->pts;
	//处理图像转换上下文
	if (!m_swsContext)
	{
		/*
		 * 获取缓存区的图像转换上下文
		 * 首先校验参数是否一致
		 * 校验不通过释放资源
		 * 通过，判断上下文是否存在
		 * 存在，直接复用
		 * 不存在，分配新的，初始化
		*/
		m_swsContext = sws_getCachedContext(m_swsContext,
			m_frame->width,//输入图像的宽
			m_frame->height,//输入图像的高
			(AVPixelFormat)m_frame->format,//输入图像的像素格式
			m_size.width(),//输出图像的宽
			m_size.height(),//输出图像的高
			AV_PIX_FMT_RGBA,//输出图像的像素格式
			SWS_BILINEAR,//选择缩放算法
			NULL,//设置输入图像的滤波器信息
			NULL,//设置输出图像的滤波器信息
			NULL//设定缩放算法需要的参数
		);
	}
	//将解码后的图像格式转换为QImage
	uchar* data[] = { m_buffer };
	int lines[4];
	//使用像素格式pix_fmt和宽度填充图像的平面线条大小
	av_image_fill_linesizes(lines, AV_PIX_FMT_RGBA, m_frame->width);
	//将原图像的大小和颜色空间转换为输出的图像格式
	ret = sws_scale(m_swsContext,//缩放上下文
		m_frame->data,//原图像数据
		m_frame->linesize,//包含原图像每个平面步幅的数组
		0,//开始位置
		m_frame->height,//行数
		data,//目标图像数组
		lines);//包含目标图像每个平面的步幅的数组

	QImage image(m_buffer,//图像数据的指针
		m_frame->width,//image的宽度
		m_frame->height,//image的高度
		QImage::Format_RGBA8888);//图像的像素格式
	av_frame_unref(m_frame);

	return image;

	//到此QImage格式的图像已经处理完毕，视频解码的主要功能已经实现完毕，下面主要是对现有资源的释放关闭
}