基础课程7：多线程与Pad可获得性

news2024/9/26 3:21:26

目标

GStreamer自动处理多线程，但在某些情况下，您可能需要手动解耦线程。本教程展示了如何做到这一点，此外，还完成了关于Pad可用性的阐述。更准确地说，本文档解释了:

  • 如何为管道的某些部分创建新的执行线程
  • Pad的可用性是什么
  • 如何复制流

介绍

多线程

GStreamer是一个多线程框架。这意味着，在内部，它会根据需要创建和销毁线程，例如，从应用程序线程解耦流媒体。此外，插件也可以为自己的处理创建线程，例如，视频解码器可以创建4个线程，以充分利用4核CPU。

最重要的是，在构建管道时，应用程序可以明确指定分支(管道的一部分)运行在不同的线程上(例如，让音频和视频解码器同时执行)。

这是使用queue成员完成的，工作原理如下。sink pad只是将数据放入队列并返回控制权。在另一个线程上，数据被出队列并推送到下游。这个元素还用于缓冲，稍后在流处理教程中会看到。队列的大小可以通过属性来控制。

The example pipeline

这个例子构建了下面的管道:
在这里插入图片描述音源是一个合成的音频信号(连续的音调)，使用tee元素分割(它把所有接受到的sink pad内容发送到src pad)。然后，一个分支将信号发送到声卡，另一个渲染波形视频并将其发送到屏幕。

如图所示，队列创建了一个新线程，因此这个管道运行在3个线程中。具有多个sink的管道通常需要多线程，因为要同步，sink通常会阻塞执行，直到所有其他sink都准备好，而如果只有一个线程，被第一个sink阻塞，它们就无法准备好。

Request pads

在基本教程3:动态管道中，我们看到一个元素(uridecodebin)一开始没有pad，当数据开始流动，元素了解媒体时，它们就出现了。这些被称为Sometimes Pads，与常规的Pads相比，这些常规Pad它们总是可用，被称为Always Pads。

第三种pad是Request pad，它是按需创建的。经典的例子是tee元素，它只有一个sink pad，没有初始source pad:需要请求它们，然后tee添加它们这些被请求的pad。通过这种方式，输入流可以被复制任意多次。缺点是链接具有请求填充的元素不像链接Always Pads的那样自动，这将在本示例的演练中说明。

此外，要在播放PLAYING或暂停PAUSED状态下请求(或释放)Pad，您需要采取本教程中没有描述的额外注意事项(Pad blocking)。不过，请求(或释放)处于NULL或READY状态的pad是安全的。

让我们看看代码。

Simple multithreaded example

#include <gst/gst.h>

int main(int argc, char *argv[]) {
  GstElement *pipeline, *audio_source, *tee, *audio_queue, *audio_convert, *audio_resample, *audio_sink;
  GstElement *video_queue, *visual, *video_convert, *video_sink;
  GstBus *bus;
  GstMessage *msg;
  GstPad *tee_audio_pad, *tee_video_pad;
  GstPad *queue_audio_pad, *queue_video_pad;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
  tee = gst_element_factory_make ("tee", "tee");
  audio_queue = gst_element_factory_make ("queue", "audio_queue");
  audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
  audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
  audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
  video_queue = gst_element_factory_make ("queue", "video_queue");
  visual = gst_element_factory_make ("wavescope", "visual");
  video_convert = gst_element_factory_make ("videoconvert", "csp");
  video_sink = gst_element_factory_make ("autovideosink", "video_sink");

  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");

  if (!pipeline || !audio_source || !tee || !audio_queue || !audio_convert || !audio_resample || !audio_sink ||
      !video_queue || !visual || !video_convert || !video_sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Configure elements */
  g_object_set (audio_source, "freq", 215.0f, NULL);
  g_object_set (visual, "shader", 0, "style", 1, NULL);

  /* Link all elements that can be automatically linked because they have "Always" pads */
  gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_resample, audio_sink,
      video_queue, visual, video_convert, video_sink, NULL);
  if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
      gst_element_link_many (audio_queue, audio_convert, audio_resample, audio_sink, NULL) != TRUE ||
      gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Manually link the Tee, which has "Request" pads */
  tee_audio_pad = gst_element_get_request_pad (tee, "src_%u");
  g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
  queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
  tee_video_pad = gst_element_get_request_pad (tee, "src_%u");
  g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
  queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
  if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
      gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
    g_printerr ("Tee could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  gst_object_unref (queue_audio_pad);
  gst_object_unref (queue_video_pad);

  /* Start playing the pipeline */
  gst_element_set_state (pipeline, GST_STATE_PLAYING);

  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

  /* Release the request pads from the Tee, and unref them */
  gst_element_release_request_pad (tee, tee_audio_pad);
  gst_element_release_request_pad (tee, tee_video_pad);
  gst_object_unref (tee_audio_pad);
  gst_object_unref (tee_video_pad);

  /* Free resources */
  if (msg != NULL)
    gst_message_unref (msg);
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);

  gst_object_unref (pipeline);
  return 0;
}

代码讲解

/* Create the elements */
audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
tee = gst_element_factory_make ("tee", "tee");
audio_queue = gst_element_factory_make ("queue", "audio_queue");
audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
  audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
video_queue = gst_element_factory_make ("queue", "video_queue");
visual = gst_element_factory_make ("wavescope", "visual");
video_convert = gst_element_factory_make ("videoconvert", "video_convert");
video_sink = gst_element_factory_make ("autovideosink", "video_sink");

上图中的所有元素都在这里实例化:

audiotestsrc产生合成音调。wavescope消耗音频信号并渲染波形，就好像它是一个简易的示波器。我们已经使用过autoaudiosink和autovideosink。

转换元素(audioconvert、audioresample和videoconvert)是保证管道可以链接的必要元素。实际上，音频和视频sink Capabilities取决于硬件，在设计时您不知道它们是否与audiotestsrc和wavescope产生的Caps匹配。但是，如果Caps匹配，这些元件将以“pass-through”模式工作，不会修改信号，对性能的影响可以忽略不计。

/* Configure elements */
g_object_set (audio_source, "freq", 215.0f, NULL);
g_object_set (visual, "shader", 0, "style", 1, NULL);

为了更好地演示，做了一些小调整:audiotestsrc的“freq”属性控制了波的频率(215Hz使波在窗口中看起来几乎是静止的)，这种样式和wavescope的着色器使波是连续的。使用基本教程10:GStreamer工具中描述的gst-inspect-1.0工具来学习这些元素的所有属性。

/* Link all elements that can be automatically linked because they have "Always" pads */
gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_sink,
    video_queue, visual, video_convert, video_sink, NULL);
if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
    gst_element_link_many (audio_queue, audio_convert, audio_sink, NULL) != TRUE ||
    gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
  g_printerr ("Elements could not be linked.\n");
  gst_object_unref (pipeline);
  return -1;
}

这段代码将所有元素添加到管道中，然后链接可以自动链接的元素(如注释所示，总是Always Pads的元素)。

gst_element_link_many()实际上可以将元素（Request Pads的元素）起来。它在内部请求pads，因此您不必担心链接的元素Always或Request Pads。这看起来可能很奇怪，但实际上并不方便，因为用户仍然需要在之后释放请求的Pad，而且如果gst_element_link_many()自动请求Pad，那么很容易忘记。要避免麻烦，一定要手动请求请求Pads，如下面的代码块所示。

/* Manually link the Tee, which has "Request" pads */
tee_audio_pad = gst_element_get_request_pad (tee, "src_%u");
g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
tee_video_pad = gst_element_get_request_pad (tee, "src_%u");
g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
    gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
  g_printerr ("Tee could not be linked.\n");
  gst_object_unref (pipeline);
  return -1;
}
gst_object_unref (queue_audio_pad);
gst_object_unref (queue_video_pad);

要链接Request Pads，需要通过向元素“requesting”它们来获得。一个元素可能能够生成不同类型的Request Pads，因此，在请求它们时，必须提供所需的Pad Template名称。在tee元素的文档中，我们看到它有两个pad templates，分别名为“sink”(表示它的sink pad)和“src_%u”(表示请求pad)。我们使用gst_element_get_request_pad()从tee请求两个pad(音频和视频分支)。

然后，我们从下游元素获取Pads，上面提及到的Request Pads会去连接这些下游元素的Pads。这些下游元素都是普通的Always Pads，因此我们使用gst_element_get_static_pad()获取它们。

最后，我们使用gst_pad_link()链接pad。这是gst_element_link()和gst_element_link_many()内部使用的函数。

我们获得的sink pad需要用gst_object_unref()释放。在程序结束时，当我们不再需要它们时，请求Pads将被释放。

然后我们将管道设置为正常运行，并等待直到产生错误信息或EOS。剩下唯一要做的就是清理请求的pad:

/* Release the request pads from the Tee, and unref them */
gst_element_release_request_pad (tee, tee_audio_pad);
gst_element_release_request_pad (tee, tee_video_pad);
gst_object_unref (tee_audio_pad);
gst_object_unref (tee_video_pad);

gst_element_release_request_pad()将pad从tee中释放，但仍然需要使用gst_object_unref()解除引用(释放)。

总结

本教程展示了:

  • 如何使用队列元素使管道的各个部分在不同的线程上运行。
  • 什么是Request Pad，以及如何使用gst_element_get_request_pad()、gst_pad_link()和gst_element_release_request_pad()将元素与Request Pad链接起来。
  • 如何使用tee元素使相同的流在不同的分支中可用。

下一个教程建立在这个教程的基础上，展示如何手动将数据注入和从运行的管道中提取。

很高兴在这里见到你，希望很快见到你!

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/187165.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringCloud之消息总线

SpringCloud之消息总线

spring CloudBus 将分布式的节点和轻量的消息代理连接起来。这可以用于广播配置文件的更改或者其他的管理工作。一个关键的思想就是&#xff0c;消息总线可以为微服务做监控&#xff0c;也可以作为应用程序之间相互通讯。 一、准备工作 本文还是基于上一篇文章来实现。按照官…
阅读更多...
MySQL运维(二)MySQL分库分表概念及实战、读取分离详解

MySQL运维(二)MySQL分库分表概念及实战、读取分离详解

MySQL运维(二)MySQL分库分表详解、读取分离详解 1、MySQL分库分表相关概念 1.1 分库分表概念 1.1.1 分库的原因 分库&#xff1a;就是一个数据库分成多个数据库&#xff0c;部署到不同机器。 如果业务量剧增&#xff0c;数据库可能会出现性能瓶颈&#xff0c;这时候我们就需…
阅读更多...
盘点那些免费好用的高清录屏软件，7款宝藏软件（2023年新版）

盘点那些免费好用的高清录屏软件，7款宝藏软件（2023年新版）

有不少的小伙伴私信小编&#xff0c;希望小编能够分享一些好用的高清录屏软件。那么今天&#xff0c;小编就给大家盘点一下那些免费好用的高清录屏软件吧&#xff01;这些都是小编亲自体验过的&#xff0c;有需要的小伙伴赶紧码住收藏&#xff0c;这些宝藏软件错过就难找了&…
阅读更多...
即时通讯开发之详解TCP/IP中的ICMP 协议、ping 和 Traceroute

即时通讯开发之详解TCP/IP中的ICMP 协议、ping 和 Traceroute

前面讲到了,IP 协议并不是一个可靠的协议,它不保证数据被送达,那么,自然的,保证数据送达的工作应该由其他的模块来完 成。其中一个重要的模块就是 ICMP(网络控制报文)协议。当传送 IP 数据包发生错误--比如主机不可达,路由不可达等等,ICMP 协议将会把错误信息封包,然后传送回给…
阅读更多...
拉伯证券|兔年资本市场三大重点

拉伯证券|兔年资本市场三大重点

近来&#xff0c;承受《证券日报》采访的多位专家展望兔年资本商场&#xff0c;称深化推动股票发行注册制变革、稳步扩展准则型敞开以及防备化解严重危险是三大重点工作。 申万宏源证券首席经济学家杨生长对记者表明&#xff0c;本年是我国经济康复到常态性增加的要害一年&…
阅读更多...
硬件系列（1）-电阻、电容、电感三大件

硬件系列（1）-电阻、电容、电感三大件

下面是目录电阻电阻参数(1)**SIZE 尺寸**(2)**TOLERANCE 误差**(3)PACKAGING TYPE 外包装(4)TEMPERATURE COEFFICIENT OF RESISTANCE 温度(5)**TAPING REEL & POWER 功率**(6)**RESISTANCE VALUE 电阻值**三位的四位的查表的(7) DEFAULT CODE 缺省编码电阻的分类碳膜电阻金…
阅读更多...
leetcode63 不同路径二

leetcode63 不同路径二

题目描述 一个机器人位于一个 m x n 网格的左上角 &#xff08;起始点在下图中标记为 “Start” &#xff09;。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角&#xff08;在下图中标记为 “Finish”&#xff09;。 现在考虑网格中有障碍物。那么从左上…
阅读更多...
Elasticsearch7.3.2通俗易懂

Elasticsearch7.3.2通俗易懂

文章目录一、安装1.步骤2.报错(1) can not run elasticsearch as root(2) could not find java in JAVA_HOME or bundled at ...(3) Error: Could not find or load main class XXX.JavaVersionChecker(4)BindTransportException[Failed to bind to [9300-9400]](5)max virtual…
阅读更多...
如何在高压系统中实现电源和信号线的电气隔离

如何在高压系统中实现电源和信号线的电气隔离

介绍 在一系列高压应用中存在电源和信号线的情况下&#xff0c;需要为设备和用户提供强大的保护&#xff0c;包括工厂自动化和电机驱动器等工业 4.0 系统。这延伸到汽车和电动汽车 &#xff08;EV&#xff09;、医疗系统、测试和测量应用以及光伏系统和电网基础设施等绿色能源…
阅读更多...
ChatGPT API调用python和脚本实现

ChatGPT API调用python和脚本实现

Chat GPT 由于其独特、近乎准确且类似人类的响应&#xff0c;如今在互联网上引起了过多的讨论。本文讨论如何通过 Python 代码连接到 Chat GPT API。 如果需要用website访问chatGPT&#xff0c; 请参考保姆级教程 火爆全球的网红OpenAI ChatGPT注册教程 文章目录第 1 步&#x…
阅读更多...
随笔记——线程池

随笔记——线程池

文章目录1 概览2 核心点2.1 使用线程池的好处2.2 如何创建线程池2.3 线程池的参数2.4 如何处理任务流程&#xff1f;2.5 如何关闭线程池2.6 拒绝策略2.7 线程池满了&#xff0c;会怎样&#xff1f;1 概览 2 核心点 2.1 使用线程池的好处 降低资源消耗&#xff1a;通过重复利用…
阅读更多...
Servlet程序创建步骤

Servlet程序创建步骤

1. 创建项目 使用 IDEA 创建一个 Maven 项目. 1) 菜单 -> 文件 -> 新建项目 -> Maven 2. 引入依赖 Maven 项目创建完毕后, 会自动生成一个 pom.xml 文件. 我们需要在 pom.xml 中引入 Servlet API 依赖的 jar 包. 1) 在 中央仓库 中搜索 "servlet", 一般…
阅读更多...
android 系统安全内容总结

android 系统安全内容总结

部分android系统安全内容网上已经存在，这里的android系统安全内容还是以经验总结为主，夹带不少引用，并形成个人的理解。 android安全内容学习需要一定基础，没接触安全的开发可以认识一下，接触过安全的可以对比安全上的理解。组建android系统安全讨论群进行维护更新android…
阅读更多...
基于ssm高校科研成果管理系统 java ideamysql

基于ssm高校科研成果管理系统 java ideamysql

&#xff08;1&#xff09;教师功能需求 教师进入系统可以查看个人中心、科研成果初审管理、科研成果终审管理、科研发布管理、留言板管理等操作。 &#xff08;2&#xff09;管理员功能需求 管理员登陆后&#xff0c;主要功能模块包括个人中心、教师管理、学院管理员管理、科…
阅读更多...
linux Redis 搭建

linux Redis 搭建

命令下载&#xff1a;wget https://download.redis.io/releases/redis-6.2.6.tar.gz安装gcc&#xff1a;yum -y install gcc automake autoconf libtool make;进入src下make编译&#xff1a;make;make MALLOClibc&#xff08;报错时执行&#xff09;make install新建文件夹相关…
阅读更多...
【Meta EnCodec源码分析】BitPacker功能介绍

【Meta EnCodec源码分析】BitPacker功能介绍

二进制流 首先介绍一下二进制流。 假如有下4个数值 [ 47, 19, 38, 53 ]首先每个数字对应的二进制分别如下 十进制数值二进制数值470x0010 1111190x0001 0011380x0010 0110530x0011 0101 我们需要将这些数字保存到一个二进制文件中。 注&#xff1a;这里不考虑BigEndian还…
阅读更多...
Centos使用lanproxy，搭建一个属于自己的内网穿透服务器(附转发失败解决方法)，小白向

Centos使用lanproxy，搭建一个属于自己的内网穿透服务器(附转发失败解决方法)，小白向

目录 前言 准备工作 搭建与使用 1. 安装git工具 2. 安装java环境 3. 安装maven工具 4. 搭建Lanproxy 5. 启动内网穿透服务 6. 设置开机自启 转发失败解决方法 前言 最近白嫖了7个月阿里云的服务器&#xff0c;顺带研究了一下&#xff0c;发现有挺多有趣又好玩的东西…
阅读更多...
Acwing---1096. 地牢大师

Acwing---1096. 地牢大师

地牢大师1.题目2.基本思想3.代码实现1.题目 你现在被困在一个三维地牢中&#xff0c;需要找到最快脱离的出路&#xff01; 地牢由若干个单位立方体组成&#xff0c;其中部分不含岩石障碍可以直接通过&#xff0c;部分包含岩石障碍无法通过。 向北&#xff0c;向南&#xff0…
阅读更多...
Redis基于docker跨服务器的一主两从三哨兵集群模式搭建

Redis基于docker跨服务器的一主两从三哨兵集群模式搭建

文章目录1 整体拓扑图2 redis与哨兵配置文件2.1 主节点配置文件2.1.1 主节点redis.conf配置文件2.1.2 主节点哨兵配置文件2.2 从节点配置文件2.1.1 从节点redis.conf配置文件2.1.2 从节点哨兵配置文件3 docke-compose编排文件4 启动并测试查看哨兵日志查看集群状态测试集群是否…
阅读更多...
Spring源码分析 (Spring启动过程之容器对象的创建) (十五)

Spring源码分析 (Spring启动过程之容器对象的创建) (十五)

点进去 1.this() 2.注册配置类 3.refresh() Spring会将所有交由Spring管理的类&#xff0c;扫描其class文件&#xff0c;将其解析成BeanDefinition&#xff0c;在BeanDefinition中会描述类的信息&#xff0c;例如:这个类是否是单例的&#xff0c;Bean的类型&#xff0c;是否是懒…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023