一、前言说明
音视频开发除了应用在安防监控、视频网站、各种流媒体app开发之外,还有一个小众的市场,那就是多媒体展厅场景,这个场景目前处于垄断地位的软件是HirenderS3,做的非常早而且非常全面,都是通用的需求,这个场景需求,在播放这块,有几个明显的需求是,播放的视频文件分辨率特别大,一般是4K/8K甚至到16K,展厅的屏幕很大,分辨率小了的话,不够清晰,所以至少会上4K分辨率,一般超过2K的分辨率,一定要上硬解码,不然CPU很可能撑不住,这里问题就来了,在底层(不清楚是操作系统层面还是硬件层面),264只能支持4K硬解,265支持到8K硬解,再往上的分辨率都不支持的,而现在不少的多媒体文件是8K的264格式,12K/16K的265,那怎么办,不开启硬解的话,资源极其紧张,几乎是快占满的节奏,所以要从逻辑层面去优化,一个办法是外接多个显卡对应显示器,文件切割成多个4K或者8K,每个文件指定一个显卡去硬解,显示在指定的显示器上。一个办法是用多个显示窗体拼接,每个播放窗体都可以硬解。
还有个重要需求点是同步问题,如果是本地多个画面拼接,则需要帧同步,不然开起来多画面是不够衔接的,大于1帧的误差能够肉眼可见,多个电脑之间不同播放器也需要帧同步,所以就产生了两种帧同步需求,一个是本地帧同步,一个是网络帧同步,本地帧同步主要是控制同时解码同一帧后同时刷新显示,网络帧同步比较麻烦,因为必须通过网络数据通知当前都是播放第一帧,这个网络通信都是有延迟的,所以还需要考虑延迟的时间。
二、效果图
三、相关代码
#include "synclocal.h"
#include "qthelper.h"
#include "frmplay.h"
SINGLETON_IMPL(SyncLocal)
QDateTime SyncLocal::SyncTime = QDateTime::currentDateTime().addDays(-1);
SyncLocal::SyncLocal(QObject *parent) : QThread(parent)
{
isStop = false;
this->reset();
syncInterval = 5;
syncOffset = 15;
syncSleep = 500;
updateInterval = 10;
}
SyncLocal::~SyncLocal()
{
this->stop();
}
void SyncLocal::run()
{
while (!isStop) {
this->checkPosition();
this->checkSync();
this->checkPause();
this->updateWidget();
count++;
msleep(updateInterval);
//qDebug() << TIMEMS << "111" << updateInterval << count;
}
isStop = false;
this->reset();
}
void SyncLocal::checkPosition()
{
//同步间隔0表示不启用/至少要2个窗体才需要同步
int size = frmPlay::widgets.size();
if (size < 2 || isSync || isPasue) {
count = 0;
return;
}
//永远同步到到第一个窗体/处于非播放状态/或者暂停状态不用继续
frmPlay *widget = frmPlay::widgets.first();
if (!widget->isPlaying() || widget->isPaused()) {
return;
}
//优先执行手动同步指令/-1则同步到第一个窗体/>=0则同步到对应位置
if (syncPosition >= -1) {
position = (syncPosition == -1 ? widget->position() : syncPosition);
count = 0;
isSync = true;
qDebug() << TIMEMS << "hand" << position;
return;
}
//同步间隔0表示不启用
if (syncInterval == 0) {
count = 0;
return;
}
//计算同步间隔需要循环多少次
int maxCount = syncInterval * 1000 / updateInterval;
//到了需要同步的时候执行同步
if (count < maxCount) {
return;
}
count = 0;
//刚开始或者快结束先不同步
position = widget->position();
if (position < 2000 || qAbs(widget->duration() - position) < 2000) {
return;
}
for (int i = 1; i < size; ++i) {
offset = position - frmPlay::widgets.at(i)->position();
qDebug() << TIMEMS << "posi" << position << "\t" << offset;
if (qAbs(offset) >= syncOffset) {
isSync = true;
break;
}
}
}
void SyncLocal::checkSync()
{
//同步标志位为真则先同步
if (isSync) {
count = 0;
isSync = false;
isPasue = true;
SyncTime = QDateTime::currentDateTime();
qDebug() << TIMEMS << "seek" << position;
//先暂停再执行设置进度
foreach (frmPlay *widget, frmPlay::widgets) {
widget->pause();
widget->seek(position);
}
}
}
void SyncLocal::checkPause()
{
//暂停阶段说明刚才执行过同步/等待一段时间重新播放
if (isPasue) {
qint64 time = SyncTime.msecsTo(QDateTime::currentDateTime());
if (time >= syncSleep) {
foreach (frmPlay *widget, frmPlay::widgets) {
widget->next();
}
count = 0;
isPasue = false;
syncPosition = -2;
emit receiveSync(offset);
qDebug() << TIMEMS << "play" << position;
}
}
}
void SyncLocal::updateWidget()
{
//刷新界面用来触发绘制
foreach (frmPlay *widget, frmPlay::widgets) {
widget->updateVideo();
}
}
void SyncLocal::setSyncInterval(int syncInterval)
{
this->reset();
this->syncInterval = syncInterval;
}
void SyncLocal::setSyncOffset(int syncOffset)
{
this->syncOffset = syncOffset;
}
void SyncLocal::setSyncSleep(int syncSleep)
{
this->syncSleep = syncSleep;
}
void SyncLocal::setUpdateInterval(int updateInterval)
{
this->updateInterval = updateInterval;
}
void SyncLocal::stop()
{
if (this->isRunning()) {
this->isStop = true;
this->wait();
}
}
void SyncLocal::reset()
{
this->count = 0;
this->isSync = false;
this->isPasue = false;
this->syncPosition = -2;
}
//-1则同步到第一个窗体/>=0则同步到对应位置
void SyncLocal::sync(qint64 position)
{
//至少要两个窗体才能同步/处于暂停阶段说明上一个同步还没执行完成
if (frmPlay::widgets.size() >= 2 && !isPasue && syncPosition == -2) {
this->syncPosition = position;
}
}
四、相关地址
- 国内站点:https://gitee.com/feiyangqingyun
- 国际站点:https://github.com/feiyangqingyun
- 个人作品:https://blog.csdn.net/feiyangqingyun/article/details/97565652
- 文件地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_sync。
五、功能特点
- 实时帧同步,本地无缝拼接多个视频。
- 支持网络同步,可选主控端和被控端,主控端将本地播放的进度实时同步到被控端。
- 网络同步支持组播、广播、单播三种模式,默认组播,既可以跨网段,也可以避免广播数据风暴。
- 默认开启自动同步,也可以手动同步和复位同步,手动同步是立即执行一次同步,将第一个视频的进度同步到其他视频文件,复位同步是将所有视频播放进度切换到最开始0的位置。
- 支持各种视音频文件,包括但不限于mp4/mov/mkv/rmvb/avi等格式。
- 硬解码和GPU绘制,最大化利用硬件资源,支持qsv/cuda/dxva2/d3d11va/vaapi等硬解码。
- 极低的CPU占用,8K30fps只占不到1%的CPU,解码和绘制全部交给GPU。
- 提供示例按照行列生成多个视频播放窗口,每个窗口可以选择不同的视频文件,在手动同步模式下,可以切换任意一个视频播放进度,会将所有的视频按照这个进度同步。
- 自动循环播放视频文件,无缝切换循环播放,看起来非常丝滑。
- 支持Qt4/Qt5/Qt6所有版本,支持各种操作系统包括国产OS和嵌入式OS。