RK3568 基于Gstreamer的多媒体调试记录

news2025/4/12 16:25:26

文章目录

  • 1、环境介绍
  • 2、概念理清
  • 3、提前准备
  • 4、GStreamer编译
  • 5、GStreamer基础介绍
  • 6、视频播放初体验
  • 7、视频硬编码
    • 7.1、h264
    • 7.2、h265
  • 8、视频硬解码
    • 8.1、解码视频并播放
    • 8.2、解码视频并播放带音频

1、环境介绍

硬件：飞凌ok3568-c开发板

软件：原厂rk356x sdk

2、概念理清

首先，rk3568等芯片内部是物理存在视频编解码硬件加速模块，包括视频解码器（如RKVDEC），视频编码器（RKVENC）等。有了具体的物理硬件，就一定会有对应的软件驱动。所以在kernel态，会存在这些硬件编解码器的设备驱动。为了屏蔽不同芯片平台和操作系统的差异，诞生了媒体处理软件平台，也就是所谓的MPP（Media Process Platform），MPP会实现对硬件编码器的功能开发。同时MPP向上为用户态应用程序开发者提供了统一的视频媒体处理接口，也就是MPI（Media Process Interface）。各种多媒体中间件如GStreamer、OpenMAX，以GStreamer为例，可以使用MPI接口编写GStreamer硬件编解码插件。也可以直接在应用程序中使用MPI接口实现多媒体处理。

画板

而本文，我们将使用GStreamer来测试多媒体功能。Rockchip开发了一个GStreamer插件，叫作rockchipmpp，这样使用GStreamer工具时（如gst-play，gst-launch）显示指定编解码插件，就可以体验硬件编解码能力。

rochchipmpp插件包含众多元素，如解码相关的：mppvideodec和mppjpegdec。编码相关的：mpph264enc，mppvp8enc，mppjpegenc等。GStreamer在视频解码阶段会优先调⽤rockchipmpp插件。

3、提前准备

本例准备了一个7寸的1024*600分辨率的hdmi屏来配合视频播放测试。

4、GStreamer编译

以下以buildroot系统为例，menuconfig中需要开启相关配置，SDK其实已经默认开启。相关宏均以整理至/buildroot/configs/rockchip/multimedia/gst/，在目标config里直接包含即可。

5、GStreamer基础介绍

Gstreamer的插件主要分为三大类：源插件（Source）、过滤器/类过滤器插件（Filter）、接收插件（Sink）。 源插件只产生数据，但不接收数据，比如filesrc插件，用于读取文件，videotestsrc插件，用于生成指定的图像等。过滤器/类过滤器插件接收数据，对数据进行一些处理，再发送给后级，比如一些解封装器，编解码器等插件。接收插件只接收数据，但不产生数据，比如filesink，用于保存文件，waylandsink，用于渲染画面等。

6、视频播放初体验

直接使用gst-play命令播放mp4视频：

# 由Gstreamer自动查找解码器，由于mppvideodec优先级最高，只要是该插件支持的格式，最终就会选择该插件解码
root@rk3568-buildroot:/# gst-play-1.0 /oem/SampleVideo_1280x720_5mb.mp4
Press 'k' to see a list of keyboard shortcuts.
Now playing /oem/SampleVideo_1280x720_5mb.mp4
Redistribute latency...
Redistribute latency...
Redistribute latency...
Redistribute latency...
Redistribute latency...
0:00:29.5 / 0:00:29.5
Reached end of play list.

7、视频硬编码

7.1、h264

如下命令会生成一个h264编码的mp4文件：

root@rk3568-buildroot:/# gst-launch-1.0 mp4mux name=mux ! filesink location=enc_h264_test.mp4 videotestsrc num-buffers=600 ! video/x-raw,framerate=60/1,width=1920,height=1080,format=NV12 ! mpph264enc ! h264parse ! mux.video_0 -e
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Redistribute latency...
Pipeline is PREROLLED ...
Prerolled, waiting for async message to finish...
Setting pipeline to PLAYING ...
Redistribute latency...
New clock: GstSystemClock
Got EOS from element "pipeline0".
EOS received - stopping pipeline...
Execution ended after 0:00:17.661260775
Setting pipeline to NULL ...
Freeing pipeline ...

可以自行在windows下打开查看。

7.2、h265

root@rk3568-buildroot:/# gst-launch-1.0 mp4mux name=mux ! filesink location=enc_h265_test.mp4 videotestsrc num-buffers=600 ! video/x-raw,framerate=60/1,width=1920,height=1080,format=NV12 ! mpph265enc ! h265parse ! mux.video_0 -e
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Redistribute latency...
Pipeline is PREROLLED ...
Prerolled, waiting for async message to finish...
Setting pipeline to PLAYING ...
Redistribute latency...
New clock: GstSystemClock
Got EOS from element "pipeline0".
EOS received - stopping pipeline...
Execution ended after 0:00:17.624120229
Setting pipeline to NULL ...
Freeing pipeline ...

可以自行在windows下打开查看。

8、视频硬解码

8.1、解码视频并播放

root@rk3568-buildroot:/# gst-launch-1.0 filesrc location=/oem/SampleVideo_1280x720_5mb.mp4 ! parsebin ! mppvideodec ! waylandsink
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Redistribute latency...
Redistribute latency...
Pipeline is PREROLLED ...
Prerolled, waiting for async message to finish...
Setting pipeline to PLAYING ...
Redistribute latency...
New clock: GstSystemClock
[13:38:44.139] seeing the first app
Got EOS from element "pipeline0".
Execution ended after 0:00:29.561555096
Setting pipeline to NULL ...
Freeing pipeline ...

8.2、解码视频并播放带音频

root@rk3568-buildroot:/# gst-launch-1.0 filesrc location=/oem/SampleVideo_1280x720_5mb.mp4 ! qtdemux name=demux demux.video_0 ! queue ! parsebin ! mppvideodec ! autovideosink demux.audio_0 ! queue ! aacparse ! faad ! alsasink
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Redistribute latency...
Redistribute latency...
Redistribute latency...
Redistribute latency...
Pipeline is PREROLLED ...
Prerolled, waiting for async message to finish...
Setting pipeline to PLAYING ...
Redistribute latency...
New clock: GstAudioSinkClock
Got EOS from element "pipeline0".
Execution ended after 0:00:29.607928266
Setting pipeline to NULL ...
Freeing pipeline ...

插入耳机或者喇叭，就可以体验画音同步。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2333221.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

VS Code 的 .S 汇编文件里面的注释不显示绿色

VS Code 的 .S 汇编文件里面的注释不显示绿色

1. 确认文件语言模式 打开 .S 文件后，查看 VS Code 右下角的状态栏，确认当前文件的识别模式（如 Assembly、Plain Text 等）。如果显示为 Plain Text 或其他非汇编模式： 点击状态栏中的语言模式（如 Plain Te…
阅读更多...
5分钟读懂ArgoCD：在Kubernetes中实现持续部署

5分钟读懂ArgoCD：在Kubernetes中实现持续部署

Kubernetes中的Argo CD介绍 Argo CD是用于Kubernetes的声明式GitOps持续交付工具。它遵循GitOps模式，以Git仓库作为定义所需应用程序状态的唯一真实来源，能在指定的目标环境中自动部署应用程序，并持续监控应用程序的运行状态，确保…
阅读更多...
cs224w课程学习笔记-第10课

cs224w课程学习笔记-第10课

cs224w课程学习笔记-第10课 异构图 前言一、异构图1、异构图定义2、异构图与同构图 二、异构图下的GNN1、GCN扩展至RGCN1.1 RGCN原理1.2 异构图的任务预测特点1.3 异构图任务预测基础案例 2、完整的异构图GCN三、异构图下的Transformer 前言 异构图的定义是节点内部存在类型不…
阅读更多...
OpenCV 图形API（26）图像滤波-----方框滤波函数boxFilter()

OpenCV 图形API（26）图像滤波-----方框滤波函数boxFilter()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 使用方框滤波器模糊图像。 该函数使用以下内核来平滑图像： K α [ 1 1 … 1 1 1 … 1 ⋮ ⋮ ⋱ ⋮ 1 1 … 1 ] K \alpha \begin{b…
阅读更多...
大模型上下文协议MCP详解（2）—核心功能

大模型上下文协议MCP详解（2）—核心功能

版权声明 本文原创作者：谷哥的小弟作者博客地址：http://blog.csdn.net/lfdfhl1. 标准化上下文交互技术 1.1 实时数据接入能力 MCP（Model Context Protocol）通过标准化的接口，为 AI 模型提供了强大的实时数据接入能力，使其能够快速获取和处理来自不同数据源的实时信息。…
阅读更多...
剑指Offer（数据结构与算法面试题精讲）C++版——day8

剑指Offer（数据结构与算法面试题精讲）C++版——day8

剑指Offer（数据结构与算法面试题精讲）C版——day8 题目一：链表中环的入口节点题目二：两个链表的第1个重合节点题目三：反转链表附录：源码gitee仓库 题目一：链表中环的入口节点 这道题的有如下三个…
阅读更多...
【Qt】QxOrm：下载、安装、使用

【Qt】QxOrm：下载、安装、使用

1、下载源码 github地址：https://github.com/QxOrm/QxOrm 稳定版本下载：https://github.com/QxOrm/QxOrm/releases/tag/1.5.0 2、编译源码 QxOrm支持cmake编译（CMakeLists.txt）、Qt pro工程编译（QxOrm.pro） 以 QxOrm.pro 为例，编译生成的库，没有在 build-QxOrm-1.5…
阅读更多...
CISCO组建RIP V2路由网络

CISCO组建RIP V2路由网络

1.实验准备： 2.具体配置： 2.1根据分配好的IP地址配置静态IP： 2.1.1PC配置： PC0： PC1： PC2： 2.1.2路由器配置： R0： Router>en Router#conf t Enter configuration…
阅读更多...
【数学建模】（智能优化算法）鲸鱼优化算法(Whale Optimization Algorithm)详解与应用

【数学建模】（智能优化算法）鲸鱼优化算法(Whale Optimization Algorithm)详解与应用

鲸鱼优化算法(Whale Optimization Algorithm)详解与应用 文章目录 鲸鱼优化算法(Whale Optimization Algorithm)详解与应用1. 引言2. 算法原理2.1 生物学基础2.2 数学模型[^3]1. 包围猎物阶段2. 气泡网攻击（螺旋更新）3. 随机搜索猎物（全局探索…
阅读更多...
【深度洞察】解码饮料行业破局点：场景革命

【深度洞察】解码饮料行业破局点：场景革命

当东鹏特饮以 “大瓶装 防尘盖” 精准解决货车司机的场景化需求，当农夫山泉通过 “冷藏版东方树叶” 打开年轻白领的早餐场景 —— 这些现象级案例背后，是饮料行业底层逻辑的深刻变革：真正的市场增量，藏在对消费场景的极致拆解中…
阅读更多...
工业科学级天文相机：跨界融合的高精密成像解决方案

工业科学级天文相机：跨界融合的高精密成像解决方案

随着国内科技的快速发展，工业相机领域正悄然兴起一场"天文级"的技术革命。这类兼具工业设备可靠性与天文观测精度的特殊相机，正在半导体制造、天文观测、空间探测等领域开辟新的应用疆域。其核心技术突破不仅体现在传感器性能的提升&#xff0…
阅读更多...
回文日期2

回文日期2

#include <bits/stdc.h> using namespace std; bool huiwen(int date) {int tempdate;int r0;while(temp>0){rr*10temp%10;temp/10;}return dater; }int main() {// 请在此输入您的代码int n,m;cin>>n>>m;int tempfn/100,tempem/100;int yearfn/10000,mon…
阅读更多...
Ubuntu搭建Pytorch环境

Ubuntu搭建Pytorch环境

Ubuntu搭建Pytorch环境 例如&#xff1a;第一章 Python 机器学习入门之pandas的使用 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 Ubuntu搭建Pytorch环境前言一、Anaconda二、Cuda1.安装流程2、环境变量&#…
阅读更多...
图书管理系统（Python）

图书管理系统（Python）

运行结果&#xff1a; 源代码&#xff1a; # 定义一个图书类 class Book: def __init__(self, title, author, isbn): self.title title self.author author self.isbn isbn def show_info(self): print(f"{self.title},{self.author},{self.isbn}") # 图书列表…
阅读更多...
大模型本地部署系列（3） Ollama部署QwQ[阿里云通义千问]

大模型本地部署系列（3） Ollama部署QwQ[阿里云通义千问]

大家好&#xff0c;我是AI研究者&#xff0c; 今天教大家部署 一个阿里云通义千问大模型。 QwQ大模型简介 QwQ是由阿里云通义千问&#xff08;Qwen&#xff09;团队推出的开源推理大模型&#xff0c;专注于提升AI在数学、编程和复杂逻辑推理方面的能力。其核心特点包括&#x…
阅读更多...
操作系统 4.1-I/O与显示器

操作系统 4.1-I/O与显示器

外设工作起来 操作系统让外设工作的基本原理和过程&#xff0c;具体来说&#xff0c;它概括了以下几个关键步骤&#xff1a; 发出指令&#xff1a;操作系统通过向控制器中的寄存器发送指令来启动外设的工作。这些指令通常是通过I/O指令&#xff08;如out指令&#xff09;来实现…
阅读更多...
前端-Vue3

前端-Vue3

1. Vue3简介 2020年9月18日&#xff0c;Vue.js发布版3.0版本&#xff0c;代号&#xff1a;One Piece&#xff08;n 经历了&#xff1a;4800次提交、40个RFC、600次PR、300贡献者 官方发版地址&#xff1a;Release v3.0.0 One Piece vuejs/core 截止2023年10月&#xff0c;最…
阅读更多...
Facebook账号类型一览

Facebook账号类型一览

对于跨境出海从业者来说&#xff0c;Facebook是必不可少的内容营销和广告投放平台。针对Facebook的营销策略和发挥空间都很丰富&#xff0c;因此了解Facebook账号的类型、特点、适用场景和相关工具还是很有用的。 一、账号类型及特点 1.小黑号 无主页、无好友、无历史操作&am…
阅读更多...
Java学习手册：Java基本语法与数据类型

Java学习手册：Java基本语法与数据类型

Java语言以其简洁明了的语法和强大的数据类型系统而闻名。掌握Java的基本语法和数据类型是成为一名合格Java开发者的第一步。本文将深入探讨Java的基本语法结构和数据类型&#xff0c;帮助读者打下坚实的基础。 Java的基本语法 Java语言的语法设计简洁而强大&#xff0c;强调…
阅读更多...
通过扣子平台将数据写入飞书多维表格

通过扣子平台将数据写入飞书多维表格

目录 1.1 创建飞书开放平台应用 1.2 创建飞书多维表格 1.3 创建扣子平台插件 1.1 创建飞书开放平台应用 1.1.1 打开地址&#xff1a;飞书开放平台&#xff0c;点击创建应用 注&#xff1a;商店应用需要申请ISV资质&#xff0c;填写企业主体信息&#xff0c;个人的话&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023