Linux平台实现低延迟的RTSP、RTMP播放

news2025/4/25 15:23:46

在流媒体播放器的开发过程中，RTSP（实时流协议）和RTMP（实时消息协议）是广泛应用的流媒体协议。本博客将介绍如何使用大牛直播SDK实现一个Linux平台下的RTSP/RTMP播放器。大牛直播SDK的Linux平台播放SDK，支持RTSP/RTMP，功能丰富，性能优异，超低延迟，并能够在X11窗口中渲染视频。

依赖库与环境

  1. Linux环境：支持X11图形库，能够在X窗口系统中渲染视频。

  2. Smart Player SDK：这是一款功能强大的流媒体播放SDK，支持多种音视频格式。

  3. X11：作为Linux上的图形显示系统，X11用于渲染视频流。

系统初始化与SDK配置

首先，需要进行SDK的初始化，获取播放所需的API接口，并设置相关的回调函数以处理事件和视频帧。代码如下：

// 初始化SDK日志功能
void NT_SDKLogInit() {
    SmartLogAPI log_api;
    memset(&log_api, 0, sizeof(log_api));
    GetSmartLogAPI(&log_api);

    log_api.SetLevel(SL_INFO_LEVEL);
    log_api.SetPath((NT_PVOID)"./");
}

// 初始化播放器SDK
bool NT_PlayerSDKInit(SmartPlayerSDKAPI& player_api) {
    memset(&player_api, 0, sizeof(player_api));
    GetSmartPlayerSDKAPI(&player_api);
    auto ret = player_api.Init(0, nullptr);
    if (NT_ERC_OK != ret) {
        fprintf(stderr, "player_api.Init failed!\n");
        return false;
    }
    return true;
}

在此过程中，我们初始化了日志和SDK的相关API接口。

播放器配置与窗口创建

接下来，我们为播放器配置X11显示窗口，并将视频流渲染到窗口中。代码如下：

// 创建X11显示和窗口
auto display = XOpenDisplay(nullptr);
if (!display) {
    fprintf(stderr, "Cannot connect to X server\n");
    player_api.UnInit();
    return 0;
}

auto screen = DefaultScreen(display);
auto root = XRootWindow(display, screen);
XWindowAttributes root_win_att;
if (!XGetWindowAttributes(display, root, &root_win_att)) {
    fprintf(stderr, "Get Root window attri failed\n");
    player_api.UnInit();
    XCloseDisplay(display);
    return 0;
}

// 创建播放窗口
main_wid_ = XCreateSimpleWindow(display, root, 0, 0, root_win_att.width / 2, root_win_att.height / 2, 0, white_pixel, black_pixel);
XSelectInput(display, main_wid_, StructureNotifyMask | KeyPressMask);

// 创建子窗口用于渲染视频
auto sub_wid = CreateSubWindow(display, screen, main_wid_);

播放流的设置

接下来，我们将RTSP流地址传递给SDK，并启动播放。代码如下：

const char* player_url_ = "rtsp://your-stream-url";
NT_HANDLE handle = nullptr;

// 设置播放URL
player_api.SetURL(handle, player_url_);
player_api.SetRenderXWindow(handle, sub_wid);
player_api.StartPlay(handle);

此时，我们已经成功将RTSP流与窗口关联，并开始播放视频。

回调函数与事件处理

为了处理视频帧数据，我们设置了回调函数。当SDK收到视频帧时，系统将调用这个回调函数来进行处理。代码如下：

void NT_SDKVideoFrameCallBack(NT_HANDLE handle, NT_PVOID user_data, NT_UINT32 status, const NT_SP_VideoFrame* frame) {
    if (!frame) return;

    // 打印视频帧信息
    fprintf(stdout, "OnSDKVideoFrameCallBack handle:%p frame:%p, timestamp:%llu\n", handle, frame, frame->timestamp_);
    
    // 处理视频数据或渲染
}

除了视频帧，SDK还支持音频数据和事件的回调，开发者可以根据需要进行相应的处理。

错误与事件回调

SDK提供了多种事件回调接口来处理连接、播放状态、下载速度等信息。例如，我们可以设置事件回调来监控播放状态：

void NT_OnSDKEventHandle(NT_HANDLE handle, NT_PVOID user_data,
                          NT_UINT32 event_id, NT_INT64 param1, NT_INT64 param2,
                          NT_UINT64 param3, NT_PCSTR param4, NT_PCSTR param5,
                          NT_PVOID param6) {
    if (event_id == NT_SP_E_EVENT_ID_DOWNLOAD_SPEED) {
        fprintf(stdout, "OnSDKEventHandle handle:%p speed:%lldkbps\n", handle, (param1 * 8) / 1000);
    }
}

停止播放与资源清理

播放完成或用户按下退出键时，需要清理资源并关闭播放器。代码如下：

// 停止播放并关闭SDK
player_api.StopPlay(handle);
player_api.Close(handle);
XDestroyWindow(display, sub_wid);
XDestroyWindow(display, main_wid_);
XCloseDisplay(display);
player_api.UnInit();

功能支持

如不单独说明，系Windows、Linux（含x86_64|aarch64）、Android、iOS全平台支持。

  •  [支持播放协议]高稳定、超低延迟（毫秒级，行业内几无效果接近的播放端）、业内领先的RTMP直播播放器SDK；
  •  [多实例播放]支持多实例播放；
  •  [事件回调]支持网络状态、buffer状态等回调；
  •  [视频格式]支持RTMP扩展H.265和Enhanced RTMP H.265，H.264；
  •  [音频格式]支持AAC/PCMA/PCMU/Speex；
  •  [H.264/H.265软解码]支持H.264/H.265软解；
  •  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  •  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  •  [缓冲时间设置]支持buffer time设置；
  •  [首屏秒开]支持首屏秒开模式；
  •  [低延迟模式]支持低延迟模式设置(公网150~300ms)；
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配；
  •  [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  •  [音视频多种render机制]Android平台，视频：SurfaceView/GLSurfaceView，音频：AudioTrack/OpenSL ES；
  •  [实时静音]支持播放过程中，实时静音/取消静音；
  •  [实时音量调节]支持播放过程中实时调节音量；
  •  [实时快照]支持播放过程中截取当前播放画面；
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  •  [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  •  [渲染镜像]支持水平反转、垂直反转模式设置；
  •  [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  •  [ARGB叠加]Windows平台支持ARGB图像叠加到显示视频（参看C++的DEMO）；
  •  [解码前视频数据回调]支持H.264/H.265数据回调；
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  •  [解码后视频数据缩放回调]Windows平台支持指定回调图像大小的接口(可以对原视图像缩放后再回调到上层)；
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU/SPEEX数据回调；
  •  [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  •  [扩展录像功能]完美支持和录像SDK组合使用；
  • Linux平台支持x64_64架构、aarch64架构（需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9）；

总结

通过调用大牛直播SDK的播放模块，您可以轻松地在Linux平台上实现RTSP/RTMP播放器，并通过X11窗口渲染视频流。SDK提供了丰富的回调机制，允许开发者实时获取视频帧、音频数据和播放状态，为多种流媒体应用提供支持。

在此博客中，我们介绍了如何配置SDK、创建窗口、处理视频流并进行事件回调。如果您希望更深入地了解或有其他特定需求，可以参考SDK文档并根据您的应用场景进一步定制功能。以上抛砖引玉，感兴趣的开发者，可以单独跟我沟通讨论。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2342517.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解

计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解

概述 目标检测已经取得了长足的发展，尤其是随着基于 Transformer 的模型的兴起。RF-DETR，由 Roboflow 开发，就是这样一种模型，它兼顾了速度和精度。使用 Roboflow 的工具可以让整个过程变得更加轻松。他们的平台涵盖了从上传和标…
阅读更多...
系统思考：技术与产品协同

系统思考：技术与产品协同

在《第五项修炼》中，彼得圣吉指出：组织中最根本的问题，往往不是个别人的能力，而是思维的局限和系统之间的断裂。我最近要给一家互联网公司交付系统思考的项目，客户希望技术和产品的管理者一起参加，也问我&a…
阅读更多...
面试之消息队列

面试之消息队列

消息队列场景 什么是消息队列？ 消息队列是一个使用队列来通信的组件，它的本质就是个转发器，包含发消息、存消息、消费消息。 消息队列怎么选型？ 特性ActiveMQRabbitMQRocketMQKafka单机吞吐量万级万级10万级10万级时效性毫秒级…
阅读更多...
通过阿里云Milvus与通义千问VL大模型，快速实现多模态搜索

通过阿里云Milvus与通义千问VL大模型，快速实现多模态搜索

本文主要演示了如何使用阿里云向量检索服务Milvus版与通义千问VL大模型，提取图片特征，并使用多模态Embedding模型，快速实现多模态搜索。 基于灵积（Dashscope）模型服务上的通义千问 API以及Embedding API来接入图片、文…
阅读更多...
使用 Spring Boot Admin 通过图形界面查看应用配置信息的完整配置详解，包含代码示例和注释，最后以表格总结关键配置

使用 Spring Boot Admin 通过图形界面查看应用配置信息的完整配置详解，包含代码示例和注释，最后以表格总结关键配置

以下是使用 Spring Boot Admin 通过图形界面查看应用配置信息的完整配置详解，包含代码示例和注释，最后以表格总结关键配置： 1. 环境准备 Spring Boot 版本：2.7.x（兼容 Spring Boot Admin 2.x）Spring Boot…
阅读更多...
【计算机视觉】CV实战项目 - 基于YOLOv5与DeepSORT的智能交通监控系统：原理、实战与优化

【计算机视觉】CV实战项目 - 基于YOLOv5与DeepSORT的智能交通监控系统：原理、实战与优化

基于YOLOv5与DeepSORT的智能交通监控系统：原理、实战与优化 一、项目架构与技术解析1.1 核心算法架构1.2 学术基础 二、实战环境配置2.1 硬件要求与系统配置2.2 分步安装指南 三、核心功能实战3.1 基础车辆计数3.2 自定义检测类别3.3 多区域计数配置 四、性能优化技…
阅读更多...
17.磁珠在EMC设计中的运用

17.磁珠在EMC设计中的运用

磁珠在EMC设计中的运用 1. 磁珠的高频等效特性2. 磁珠的参数分析与选型3. 磁珠应用中的隐患问题 1. 磁珠的高频等效特性 和磁环类似，低频段感性jwL为主，高频段阻性R为主。 2. 磁珠的参数分析与选型 不需要太在意磁珠在100MHz时的电阻值，选型…
阅读更多...
Mediamtx与FFmpeg远程与本地推拉流使用

Mediamtx与FFmpeg远程与本地推拉流使用

1.本地推拉流 启服 推流 ffmpeg -re -stream_loop -1 -i ./DJI_0463.MP4 -s 1280x720 -an -c:v h264 -b:v 2000k -maxrate 2500k -minrate 1500k -bufsize 3000k -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:8554/stream 拉流 ffplay -rtsp_transport tcp rtsp://43.136.…
阅读更多...
DPIN在AI+DePIN孟买峰会阐述全球GPU生态系统的战略愿景

DPIN在AI+DePIN孟买峰会阐述全球GPU生态系统的战略愿景

DPIN基金会在3月29日于印度孟买举行的AIDePIN峰会上展示了其愿景和未来5年的具体发展计划，旨在塑造去中心化算力的未来。本次活动汇集了DPIN、QPIN、社区成员和Web3行业资深顾问，深入探讨DPIN构建全球领先的去中心化GPU算力网络的战略，该网络…
阅读更多...
Visual Studio Code 使用tab键往左和往右缩进内容

Visual Studio Code 使用tab键往左和往右缩进内容

使用VSCode写东西，经常遇到多行内容同时缩进的情况，今天写文档的时候就碰到，记录下来： 往右缩进 选中多行内容，点tab键，会整体往右缩进： 往左缩进 选中多行内容，按shifttab&am…
阅读更多...
HTML、XHTML 和 XML区别

HTML、XHTML 和 XML区别

HTML、XHTML 和 XML 这三兄弟的区别 HTML: 老大哥，负责网页长啥样，性格比较随和，有点小错误也能容忍。XHTML: 二哥，看着像 HTML，但规矩严，是按 XML 的规矩来的 HTML，更规范。XML: 小弟，负责存储和传输数据，非常灵活，标签可以自己随便定，但规矩最严。它们仨长啥样？（…
阅读更多...
FPGA上实现YOLOv5的一般过程

FPGA上实现YOLOv5的一般过程

在FPGA上实现YOLOv5 YOLO算法现在被工业界广泛的应用，虽说现在有很多的NPU供我们使用，但是我们为了自己去实现一个NPU所以在本文中去实现了一个可以在FPGA上运行的YOLOv5。 YOLOv5的开源代码链接为 https://github.com/ultralytics/yolov5 为了在FPGA中…
阅读更多...
4U带屏基于DSP/ARM+FPGA+AI的电力故障录波装置设计方案，支持全国产化

4U带屏基于DSP/ARM+FPGA+AI的电力故障录波装置设计方案，支持全国产化

4U带屏DSP/ARMFPGAAI电力故障录波分析仪，支持国产化，含有CPU主控模块，96路模拟量采集，256路开关量，通讯扩展卡等#电力故障录波#4U带屏#新能源#电力监测 主要特点 1）是采用嵌入式图形系统，以及…
阅读更多...
数据库数据删除与修改实验

数据库数据删除与修改实验

数据库数据删除与修改实验 在数据库原理的学习中，数据的删除与修改是核心操作技能。通过“删除修改数据”实验，我系统实践了 SQL 中 UPDATE 和 DELETE 语句的多种应用场景，从基础语法到复杂业务逻辑处理，积累了丰富的实战经验。本…
阅读更多...
【含文档+PPT+源码】基于SpringBoot+vue的疫苗接种系统的设计与实现

【含文档+PPT+源码】基于SpringBoot+vue的疫苗接种系统的设计与实现

项目介绍 本课程演示的是一款 基于SpringBootvue的疫苗接种系统的设计与实现，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1.包含：项目源码、项目文档、数据库脚本、软件工具等所有资料 2.带你从零开始部署运行本套系…
阅读更多...
项目自动化测试

项目自动化测试

一.设计测试用例(细致全面) 二.先引入所需要的pom.xml依赖 1.selenium依赖 2.webdrivermanager依赖 3.commons-io依赖 编写测试用例–按照页面对用例进行划分,每个页面是Java文件,页面下的所有用例统一管理 三.common包(放入公用包) 类1utils 可以调用driver对象,访问url …
阅读更多...
Python爬虫爬取图片并存储到MongoDB（注意：仅尝试存储一条空的示例数据到MongoDB，验证MongoDB的联通性）

Python爬虫爬取图片并存储到MongoDB（注意：仅尝试存储一条空的示例数据到MongoDB，验证MongoDB的联通性）

以下是一个使用Python爬取图片并存储到MongoDB的示例实现，包含详细步骤说明： import requests from bs4 import BeautifulSoup from pymongo import MongoClient from datetime import datetime import os import re# 配置信息 mongoIP mongodb://root…
阅读更多...
L1-1、Prompt 是什么？为什么它能“控制 AI”？

L1-1、Prompt 是什么？为什么它能“控制 AI”？

*Prompt 入门 L1-1 想象一下，你只需输入一句话，AI 就能自动为你写一篇文案、生成一份报告、甚至规划你的创业计划。这种“对话即编程”的背后魔法，就是 Prompt 的力量。 🔍 一、Prompt 的定义与由来 Prompt（提示词&am…
阅读更多...
TIM输入捕获知识部分

TIM输入捕获知识部分

越往左，频率越高；越往右，频率越低。【越紧凑，相同时间，次数越多】 计算频率的方法：测评法、测周法、中界频率。 频率的定义：1s内出现了多少个重复的周期 测评法就是从频率的定义出发的&#…
阅读更多...
PCB常见封装类型

PCB常见封装类型

1. 电阻、电容、电感封装 2. 二极管、三极管封 3. 排阻类器件（8脚、16脚）封装 4. SO类器件（间距有1.27、2.54mm等）封装 5. QFP类器件封装（四方扁平封装） 结构：引脚分布在封装的四个侧面&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023