八、ffmpeg录制视频为yuv文件

news2025/2/27 2:04:48

前言


测试环境：

  • ffmpeg的4.3.2自行编译版本
  • windows环境
  • qt5.12

图片的一些重要知识：

RGB图片

  • 位深度：每一个像素都会使用n个二进制位来存储颜色信息。每一个像素的颜色都是由红（Red）、绿（Green）、蓝（Blue）3个颜色通道合成的，即光的三原色。能表示2的n次方种颜色。

颜色的表示方式：如十进制：rgb(64, 224, 208)。十六进制：#40E0D0。

一张图片的理论大小：辨率是60x50，位深度是24。其理论大小为(60**50)*(24/8)=9000B≈8.79KB

YUV图片(原始图片数据，相当于pcm)

YUV比RGB的优势：（1）YUV比RGB的体积小一半。（2）YUV模式可以从黑白电视转为彩色电视过度

  • Y：表示亮度（Luminance、Luma），占8bit（1字节）。
  • Cb、Cr：表示色度（Chrominance、Chroma）
    • Cb（U）：蓝色色度分量，占8bit（1字节）
    • Cr（V）：红色色度分量，占8bit（1字节）

Y分量对清晰度影响巨大，所以可以减少UV分量以达到压缩的目的。(眼对亮度的敏感程度要高于对色度的敏感程度，人眼对于亮度的分辨要比对颜色的分辨精细一些)。即色度二次采样：如果在色度分量上进行（相对亮度分量）较低分辨率的采样，也就是存储较多的亮度细节、较少的色度细节，这样就可以在不明显降低画面质量的同时减小图像的体积。

注：YUV和RGB是可以进行转换的，如：

公式一：

Y = 0.257R + 0.504G + 0.098B + 16
U = -0.148R - 0.291G + 0.439B + 128
V = 0.439R - 0.368G - 0.071B + 128
 
R = 1.164(Y - 16) + 2.018(U - 128)
G = 1.164(Y - 16) - 0.813(V - 128) - 0.391(U - 128)
B = 1.164(Y - 16) + 1.596(V - 128)

RGB的取值范围是[0,255]
Y的取值范围是[16,235]
UV的取值范围是[16,239]

公式二：

Y = 0.299R + 0.587G + 0.114B
U = 0.564(B - Y) = -0.169R - 0.331G + 0.500B
V = 0.713(R - Y) = 0.500R - 0.419G - 0.081B
 
R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U
    
RGB的取值范围是[0, 1]
Y的取值范围是[0, 1]
UV的取值范围是[-0.5, 0.5]

公式三：

Y = 0.299R + 0.587G + 0.114B
U = -0.169R - 0.331G + 0.500B + 128
V = 0.500R - 0.419G - 0.081B + 128
 
R = Y + 1.403(V - 128)
G = Y - 0.343(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)

RGB的取值范围是[0, 255]
YUV的取值范围是[0, 255]

下面需要重点讲解一下色度二次采样通过何种方式达到高清晰小体积的

采样格式（像素格式）

若要进行色度二次采样，则采样格式有三种，A:B:C，A表示一块A*2个像素的概念区域，一般都是4。B表示第1行的色度采样数目。C表示第2行的色度采样数目（C的值一般要么等于B，要么等于0）。

以下假设YUV每个分量需要1字节

  • 4:4:4 -> yuv444p （8个像素，占24*8位，即24字节，每个像素为24/8=3字节）
  • 4:2:2 -> yuv422p （8个像素，占（24+8）*4位，即16字节，每个像素为16/8=2字节）
  • 4:2:0 -> yuv420p （8个像素，占（16+4*8） *2位，即12字节，每个像素为12/8=1.5字节）

如下是4*2像素的情况下，采样的方式：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

色度二次采样记录每个位置的亮度信息，再记录部分位置的色度信息。结合起来就达到了，尽可能高的分辨率和尽可能大的压缩

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传


采样完成之后，还要考虑YUV三个分量的存储方式（每个Y、U、V分别占一个字节，完整的YUV理论上是3字节，24位）

YUV数据的存储格式（YUV图片相当于pcm图片）

  • Planar（平面），Y、U、V分量分开单独存储，以p结尾
  • Semi-Planar（半平面），Y分量单独存储，U、V分量交错存储，以字母sp结尾
  • Packed（紧凑）又叫Interleaved （交错），Y、U、V分量交错存储

以yuv42p举例，将样式图按照字节流排列如下（下图应该代表24个像素，因为有24个Y分量）

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

采样格式+存储格式=像素格式

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传


命令行其他格式图片转yuv图片

ffmpeg -i 1.png -s 1928x1048 -pixel_format yuv420p out.yuv

yuv转其他图片

ffmpeg -s 1928x1048 -pixel_format yuv420p -i in.yuv out.jpg

命令行播放yuv图片

ffplay -video_size 1928x1048 -pixel_format yuv420p out.yuv

查看ffmpeg支持的像素格式

ffmpeg -pix_fmts | findstr 444

image-20230104145850765

四个分量则是yuva四个分量，a表示透明度

命令行yuv图片转其他格式

ffmpeg -s 564x513 -pix_fmt yuv420p -i out.yuv 1.jpg

命令行查看摄像头的相关信息

ffmpeg -h demuxer=dshow		---查看dshow支持的参数
    -video_size：分辨率
    -pixel_format：像素格式
    -framerate：帧率（每秒采集多少帧画面）
    -list_devices：true表示列出dshow支持的所有设备
    -list_options：true表示列出特定设备支持的所有参数
    
ffmpeg -f dshow -list_options true -i video="Integrated Camera"		---查看摄像头支持的参数（摄像头支持的像素格式和默认录制的格式可能不一样）

ffmpeg -f dshow -i video="Integrated Camera" out.yuv    	---使用摄像头录制视频

录制时的输出信息如下，即录制的视频信息为，分辨率：1280x720，像素格式：yuvj422p，帧率：30fps

Input #0, dshow, from 'video=Integrated Camera':
    Stream #0:0: Video: mjpeg, yuvj422p, 1280x720, 30 fps
 
Output #0, rawvideo, to 'out.yuv':
    Stream #0:0: Video: rawvideo, yuvj422p, 1280x720, 30 fps

自定义参数进行摄像头录制

#    
ffmpeg -f dshow -video_size 640x480 -pixel_format yuyv422 -framerate 30 -i video="Integrated Camera" out.yuv		---自定义参数录制视频    
    
#
ffplay -video_size 1280x720 -pixel_format yuvj422p -framerate 30 out.yuv 		---播放摄像头录制的视频  
    -framerate：帧率

音频录制及播放的最基本要素：

  • 分辨率：如1080x720，-video_size
  • 像素格式：即采样格式，如yuvj422p，-pixel_format
  • 帧率：-framerate

注：YUV中没有声音，只有在最基本的图像信息


完整代码：

RecordYuvThread.h

#ifndef RECORDYUVTHREAD_H
#define RECORDYUVTHREAD_H

#include <QObject>
#include <QThread>

class RecordYuvThread : public QThread
{
    Q_OBJECT
public:
    explicit RecordYuvThread(QObject *parent = nullptr);
    ~RecordYuvThread();

signals:


    // QThread interface
protected:
    virtual void run() override;
};

#endif // RECORDYUVTHREAD_H

RecordYuvThread.cpp

#include "recordyuvthread.h"

#include <QDebug>
#include <QFile>

extern "C" {
// 设备
#include <libavdevice/avdevice.h>
// 格式
#include <libavformat/avformat.h>
// 工具（比如错误处理）
#include <libavutil/avutil.h>
#include <libavutil/imgutils.h>
#include <libavcodec/avcodec.h>
}

#ifdef Q_OS_WIN
    // 格式名称
    #define FMT_NAME "dshow"
    // 设备名称
    #define DEVICE_NAME "video=Integrated Camera"
    // YUV文件名
    #define FILENAME "E:/media/out-yuyv422.yuv"
#else
    #define FMT_NAME "avfoundation"
    #define DEVICE_NAME "0"
    #define FILEPATH "/Users/mj/Desktop/out.yuv"
#endif

#define ERROR_BUF(ret) \
    char errbuf[1024]; \
    av_strerror(ret, errbuf, sizeof (errbuf));

RecordYuvThread::RecordYuvThread(QObject *parent) : QThread(parent)
{
    // 当监听到线程结束时（finished），就调用deleteLater回收内存
    connect(this,&RecordYuvThread::finished,this,[=](){
        this->deleteLater();
        qDebug()<<"RecordYuvThread线程结束";
    });
}

RecordYuvThread::~RecordYuvThread()
{
    // 断开所有的连接
    disconnect();
    // 内存回收之前，正常结束线程
    requestInterruption();
    // 安全退出
    quit();
    wait();
    qDebug() << this << "析构（内存被回收）";
}

void RecordYuvThread::run()
{
    // 获取输入格式对象
    AVInputFormat *fmt = av_find_input_format(FMT_NAME);
    if (!fmt) {
        qDebug() << "av_find_input_format error" << FMT_NAME;
        return;
    }

    // 格式上下文（将来可以利用上下文操作设备）
    AVFormatContext *ctx = nullptr;

    // 设备参数
    AVDictionary *options = nullptr;
    av_dict_set(&options, "video_size", "640x480", 0);
    av_dict_set(&options, "pixel_format", "yuyv422", 0);
    av_dict_set(&options, "framerate", "30", 0);

//    av_dict_set(&options, "video_size", "1280x720", 0);
//    av_dict_set(&options, "pixel_format", "yuyv422", 0);
//    av_dict_set(&options, "framerate", "10", 0);

    // 打开设备
    int ret = avformat_open_input(&ctx, DEVICE_NAME, fmt, &options);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "avformat_open_input error" << errbuf;
        return;
    }

    // 文件名
    QFile file(FILENAME);

    // 打开文件
    if (!file.open(QFile::WriteOnly)) {
        qDebug() << "file open error" << FILENAME;

        // 关闭设备
        avformat_close_input(&ctx);
        return;
    }

    // 计算一帧的大小
    AVCodecParameters *params = ctx->streams[0]->codecpar;
    AVPixelFormat pixFmt = (AVPixelFormat) params->format;

    int imageSize = av_image_get_buffer_size(
                        pixFmt,
                        params->width,
                        params->height,
                        1);

//    qDebug() << imageSize;
//    qDebug() << pixFmt << params->width << params->height;
//    qDebug() << av_pix_fmt_desc_get(pixFmt)->name;
//    int pixSize = av_get_bits_per_pixel(av_pix_fmt_desc_get(pixFmt)) >> 3;
//    int imageSize = params->width * params->height * pixSize;

    // 数据包
    AVPacket *pkt = av_packet_alloc();
    while (!isInterruptionRequested()) {
        // 不断采集数据
        ret = av_read_frame(ctx, pkt);

        if (ret == 0) { // 读取成功
            // 将数据写入文件
            file.write((const char *) pkt->data, imageSize);

            // windows：614400
            // mac：615680
            // qDebug() << pkt->size;

            // 释放资源
            av_packet_unref(pkt);
        } else if (ret == AVERROR(EAGAIN)) { // 资源临时不可用
            continue;
        } else { // 其他错误
            ERROR_BUF(ret);
            qDebug() << "av_read_frame error" << errbuf << ret;
            break;
        }
    }

    // 释放资源
    av_packet_free(&pkt);

    // 关闭文件
    file.close();

    // 关闭设备
    avformat_close_input(&ctx);
}

线程调用：

void MainWindow::on_pushButton_record_yuv_clicked()
{
    if (!m_bIsRecordYuv) { // 点击了“开始录制”
        // 开启线程
        m_pRecordYuvThread = new RecordYuvThread(this);
        m_pRecordYuvThread->start();

        connect(m_pRecordYuvThread, &RecordYuvThread::finished,[this]() { // 线程结束
            m_pRecordYuvThread = nullptr;
            ui->pushButton_record_yuv->setText("开始录制");
        });

        // 设置按钮文字
        ui->pushButton_record_yuv->setText("结束录制");
        m_bIsRecordYuv=true;
    } 
    else { // 点击了“结束录制”
        // 结束线程
        m_pRecordYuvThread->requestInterruption();
        m_pRecordYuvThread = nullptr;

        // 设置按钮文字
        ui->pushButton_record_yuv->setText("开始录制");
        m_bIsRecordYuv=false;
    }
}

注意：.h文件中提前声明了以下全局变量

	RecordYuvThread *m_pRecordYuvThread=nullptr;
    bool m_bIsRecordYuv=false;

注意：本文为个人记录，新手照搬可能会出现各种问题，请谨慎使用


码字不易，如果这篇博客对你有帮助，麻烦点赞收藏，非常感谢！有不对的地方

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1240905.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

中职组网络安全 Server-Hun-1.img Server-Hun-2.img

中职组网络安全 Server-Hun-1.img Server-Hun-2.img

一串密码 smbuser用户和密码登录ssh还是失败提示需要密钥&#xff0c;尝试ftp登录成功 发现密钥存放在.ssh/下&#xff0c;在kali上生成一个密钥&#xff0c;通过上传到.ssh/下&#xff0c;将其替换掉 使用kali生成密钥 登录成功,但是无法拿到root目录下的flag 获取root用户权限…
阅读更多...
分类预测 | Matlab实现基于PSO-PNN粒子群算法优化概率神经网络的数据分类预测

分类预测 | Matlab实现基于PSO-PNN粒子群算法优化概率神经网络的数据分类预测

分类预测 | Matlab实现基于PSO-PNN粒子群算法优化概率神经网络的数据分类预测 目录 分类预测 | Matlab实现基于PSO-PNN粒子群算法优化概率神经网络的数据分类预测分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现基于PSO-PNN粒子群算法优化概率神经网络的数据…
阅读更多...
Scala如何写一个通用的游戏数据爬虫程序

Scala如何写一个通用的游戏数据爬虫程序

以前想要获取一些网站数据的时候&#xff0c;都是通过人工手动复制粘贴&#xff0c;这样的效率及其低下。数据少无所谓&#xff0c;如果需要采集大量数据&#xff0c;手动就显得乏力了。半夜睡不着&#xff0c;爬起来写一段有关游戏商品数据的爬虫通用模板&#xff0c;希望能帮…
阅读更多...
大数据预处理技术

大数据预处理技术

文章目录 前言 大数据技术成为前沿专业 也是现在甚至未来的朝阳产业&#xff0c;大数据有分别是 数据预处理 数据存储 大数据处理和分析 数据可视化 部分组成 &#xff0c;大数据行业有数据则称王&#xff0c;大数据的核心是数据本身 怎么获取有价值的数据呢&#xff1f;本章讲…
阅读更多...
【iOS】知乎日报

【iOS】知乎日报

文章目录 前言一、首页1.网络的异步请求2.避免同一网络请求执行多次3.下拉刷新与上拉加载的实现下拉刷新上拉加载 二、网页1.webView的实现2.webView的滑动加载3.网页与首页内容的同步更新 三、评论区Masonory实现行高自适应 四、收藏中心通过FMDB实现数据持久化1.创建或打开数…
阅读更多...
笔记本外接显示器的一些基本操作

笔记本外接显示器的一些基本操作

1>&#xff0c;安装问题直接问客服&#xff0c;正常情况是将显示屏接上电源&#xff0c;然后用先将显示屏和笔记本的HDMI接口连接即可。 按下组合键 win p ,选择 “复制”。 2>&#xff0c;接上显示屏后&#xff0c;原笔记本无声音&#xff1f; 1、找到笔记本电脑右下…
阅读更多...
【Rxjava详解】(二) 操作符的妙用

【Rxjava详解】(二) 操作符的妙用

文章目录 接口变化操作符mapflatmapdebouncethrottleFirst()takeconcat RxJava 是一个基于 观察者模式的异步编程库&#xff0c;它提供了丰富的操作符来处理和转换数据流。 操作符是 RxJava 的核心组成部分&#xff0c;它们提供了一种灵活、可组合的方式来处理数据流&#xf…
阅读更多...
5-1 Java 网络编程

5-1 Java 网络编程

第1关&#xff1a;URL类与InetAddress类 任务描述 本关任务&#xff1a;了解网络编程基础知识。 相关知识 为了完成本关任务&#xff0c;你需要掌握&#xff1a;1.URL&#xff1b;2.InetAddress。 URL 统一资源定位符&#xff08;Uniform Resource Locator&#xff0c;缩…
阅读更多...
新的centos7.9安装jenkins—（一）

新的centos7.9安装jenkins—（一）

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 因为是用java8&#xff0c;所以还是要最后java8版本的jenkins&#xff0c;版本号是2.346.3&#xff0c;后…
阅读更多...
HTTP四大参数类型及请求参数的方式和如何接收

HTTP四大参数类型及请求参数的方式和如何接收

HTTP 请求中4大参数类型和接收方法。 1、请求头参数head 请求头参数顾名思义&#xff0c;是存放在请求头中发送给服务器的参数&#xff0c;服务器通过解析请求头获取参数内容。通常会存放本次请求的基本设置&#xff0c;以帮助服务器理解并解析本次请求的body体。 参数形式如…
阅读更多...
大模型变身双面人：虚假新闻制造机VS假新闻鉴别大师！

大模型变身双面人：虚假新闻制造机VS假新闻鉴别大师！

大家是怎样看待大型语言模型生成信息的可靠性呢&#xff1f; 尽管大语言模型生成的内容“像模像样”&#xff0c;但这些模型偶尔的失误揭示了一个关键问题&#xff1a;它们生成的内容并不总是真实可靠的。 那么&#xff0c;这种“不保真”特性能否被用来制造虚假信息呢&#x…
阅读更多...
使用Python画一棵树

使用Python画一棵树

&#x1f38a;专栏【不单调的代码】 &#x1f354;喜欢的诗句&#xff1a;更喜岷山千里雪 三军过后尽开颜。 &#x1f386;音乐分享【如愿】 &#x1f970;欢迎并且感谢大家指出我的问题 文章目录 &#x1f339;Turtle模块&#x1f384;效果&#x1f33a;代码&#x1f6f8;代码…
阅读更多...
在 vscode 中的json文件写注释，不报错的解决办法

在 vscode 中的json文件写注释，不报错的解决办法

打开 vscode 的「设置」&#xff0c;搜索&#xff1a;files: associations&#xff0c;然后添加 *.json jsonc最后
阅读更多...
react中模块化样式中:global的作用

react中模块化样式中:global的作用

在react中如果是通过import styles from ./index.less这种方式模块化引入样式的话&#xff0c;那么编译后的less文件里的样式名都会自动添加后缀。而:global的作用就是不让类名添加后缀
阅读更多...
IT 领域中的主要自动化趋势

IT 领域中的主要自动化趋势

48%的IT自动化流程属于IT服务管理&#xff0c;过去一年中&#xff0c;IT运维自动化增长了272%。 IT部门从交付者转变为战略伙伴 今年的《工作自动化指数》数据显示&#xff0c;自动化正在蔓延到组织的各个部门&#xff0c;越来越多的部门采用自动化&#xff0c;并且IT以外的员工…
阅读更多...
城市管理实景三维：打造智慧城市的新引擎

城市管理实景三维：打造智慧城市的新引擎

城市管理实景三维&#xff1a;打造智慧城市的新引擎 在城市管理领域&#xff0c;实景三维技术正逐渐成为推动城市发展的新引擎。通过以精准的数字模型呈现城市真实场景&#xff0c;实景三维技术为城市决策提供了全新的思路和工具。从规划设计到交通管理&#xff0c;从环境保护到…
阅读更多...
ETL-使用kettle批量复制sqlserver数据到mysql数据库

ETL-使用kettle批量复制sqlserver数据到mysql数据库

文章标题 1、安装sqlserver数据库2、下载kettle3、业务分析4、详细流程&#xff08;1&#xff09;转换1&#xff1a;获取sqlserver所有表格名字&#xff0c;将记录复制到结果&#xff08;2&#xff09;转换2&#xff1a;从结果设置变量&#xff08;3&#xff09;转换3&#xff…
阅读更多...
STM32_5（中断）

STM32_5（中断）

中断系统 中断&#xff1a;在主程序运行过程中&#xff0c;出现了特定的中断触发条件&#xff08;中断源&#xff09;&#xff0c;使得CPU暂停当前正在运行的程序&#xff0c;转而去处理中断程序&#xff0c;处理完成后又返回原来被暂停的位置继续运行中断优先级&#xff1a;当…
阅读更多...
Linux之进程替换

Linux之进程替换

创建子进程的目的 创建子进程的第一个目的是让子进程执行父进程对应的磁盘代码中的一部分, 第二个目的是让子进程想办法加载磁盘上指定的程序,让子进程执行新的代码和程序 一是让子进程执行父进程代码的一部分, 比如&#xff1a; 1 #include<stdio.h> 2 #include<…
阅读更多...
ubuntu编译sqlite3并使用

ubuntu编译sqlite3并使用

SQLite3是一种轻量级的关系型数据库管理系统&#xff0c;它是在C语言基础上实现的。SQLite3具有许多优点&#xff0c;例如&#xff1a; 1.灵活&#xff1a;它可以在多种操作系统上运行&#xff0c;并且可以将多个数据库文件合并成一个文件。 2.易于使用&#xff1a;SQLite3使用…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023