RV1126+FFMPEG推流项目(9)AI和AENC模块绑定,并且开启线程采集

news2025/2/26 14:49:35

        前面两篇已经交代AI和AENC模块的配置,这篇就让这两个模块绑定起来,绑定的原因是,Aenc从Ai模块拿到采集的原始数据进行编码。

        使用 RK_MPI_SYS_Bind 把 AI 节点和 AENC 进行绑定,其中 enModId 是模块 ID 号选择的是 RK_ID_AI、s32ChnId 是通道号,通道号则从容器 AENC 容器获取。开启 AENC 线程采集每一帧视频编码数据并存储到音频队列。

        绑定的函数是有rv1126通过的, RK_MPI_SYS_Bind,先来认识一下这个数据结构。

         看到RK_MPI_SYS_Bind的参数是两个需要绑定模块,这两个数据结构,在之前说视频模块绑定的时候,已经说过了这两个参数。这里我偷懒一下,不说了。

   
{
    //1.VI和VENC绑定
    //1.1定义出AI和AENC模块
    MPP_CHN_S ai_channel;
    MPP_CHN_S aenc_channel;

    //1.2先把容器里面的id获取出来
    RV1126_AI_CONTAINER ai_container;
    get_ai_container(0, &ai_container);
    RV1126_AENC_CONTAINER aenc_container;
    get_aenc_container(0, &aenc_container);

    ai_channel.s32ChnId = ai_container.ai_id;
    ai_channel.enModId = RK_ID_AI; //这里用的AI模块,选AI

    aenc_channel.s32ChnId = aenc_container.aenc_id;
    aenc_channel.enModId =  RK_ID_AENC;//这里用的AENC模块,选AENC
    //AI和VENC绑定
    ret = RK_MPI_SYS_Bind(&ai_channel, &aenc_channel);
    if(ret != 0)
    {
        printf("AI和VENC绑定失败\n");
    }
    else
    {
        printf("AI和VENC绑定成功\n");
    }
}

        绑定之后就开启线程,开始获取一帧一帧数据包。

 //线程参数
    AENC_PROC_PARAM * aenc_proc_param = (AENC_PROC_PARAM*)malloc(sizeof(AENC_PROC_PARAM));
    aenc_proc_param->aenc_id = aenc_channel.s32ChnId;

    //2.创建AENC线程,获取音频编码数据
    pthread_t a_pid;
    ret = pthread_create(&a_pid, NULL,audio_aenc_thread,  (void*)aenc_proc_param);

线程处理流程:

//获取编码数据的线程
void* audio_aenc_thread(void* args)
{
    int ret;
    //线程分离,自己回收资源
    pthread_detach(pthread_self());
    MEDIA_BUFFER mb = NULL;定义一个媒体缓存区,用于接受编码器的输出数据

    AENC_PROC_PARAM* aenc_arg = static_cast<AENC_PROC_PARAM*> (args);
    free(args);

    //一直循环在这里拿数据
    while(1)
    {
        //获取音频编码器的数据
        mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_ADEC, aenc_arg->aenc_id, -1);
        if(!mb)
        {
            printf("获取编码器数据失败\n");
            break; //推出循环
        }
        //获取成功
        printf("获取编码器数据成功\n");

        //为音频包分配一个内存
        audio_data_packet_t *audio_packet =(audio_data_packet_t*) malloc(sizeof(audio_data_packet_t));
        if(!audio_packet)
        {
            perror("音频包分配内存失败\n");
        }
        memset(&audio_packet, 0, sizeof(audio_packet)); //清空内存
        //把拿到的音频编码数据拷贝packet包里面去
        memcpy(audio_packet, RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb));
        //把包的长度拷贝进去
        audio_packet->audio_frame_size = RK_MPI_MB_GetSize(mb);
        //把packet放到队列里面去 
        audio_queue->putAudioPacketQueue(audio_packet);
        //释放缓存区,方便下一个包使用
        RK_MPI_MB_ReleaseBuffer(mb);
    }
    //到这里就是获取缓存区失败,或者编码器里面没有内容了
    //释放绑定的接口,和释放AI和AENC模块
    MPP_CHN_S ai_channel;
    MPP_CHN_S aenc_channel;

    ai_channel.enModId = RK_ID_AI;
    ai_channel.s32ChnId = 0 ;  //我只有一个是通道,如果有多个通道可以把ai的通道号一起传进来
    aenc_channel.enModId = RK_ID_AENC; 
    aenc_channel.s32ChnId = aenc_arg->aenc_id; //AI的通道号已经被传了进来,所以不用在容器里面拿

    ret = RK_MPI_SYS_UnBind(&ai_channel, &aenc_channel);
    if(ret != 0 )
    {
        printf("解绑失败\n");
    }
    printf("解绑成功\n");

    ret = RK_MPI_AENC_DestroyChn(aenc_arg->aenc_id);
    if(ret != 0 )
    {
        printf("AENC销毁失败\n");
    }
    printf("AENC销毁成功\n");

    ret = RK_MPI_AI_DisableChn( 0 );
    if(ret != 0)
    {
        printf("关闭AI模块势能失败\n");
    }
    printf("关闭AI模块势能成功\n");

    return nullptr;

}

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2279447.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于Qt开发的截屏软件已发布

目前还只是预览版&#xff0c;截屏的基础功能都已完成&#xff0c;后续将继续完善。 CSDN下载地址&#xff1a;https://download.csdn.net/download/LeoLei8060/90288234 github代码&#xff08;也可以下载发布程序&#xff09;&#xff1a;https://github.com/LeoLei8060/QS…

Spring Web MVC综合案例

承接上篇文章——Spring Web MVC探秘&#xff0c;在了解Spring Web MVC背后的工作机制之后&#xff0c;我们接下来通过三个实战项目&#xff0c;来进一步巩固一下前面的知识。 一、计算器 效果展示&#xff1a;访问路径&#xff1a;http://127.0.0.1:8080/calc.html 前端代码&a…

数据结构与算法面试专题——引入及归并排序

数据结构与算法引入 我们都知道数据结构与算法很重要&#xff0c;甚至会将其称为程序员的“内功”&#xff0c;但是我们花了很多时间学的算法和数据结构&#xff0c;好像就只是为了应对算法面试&#xff0c;对日常的开发工作没有什么帮助。 这点对于我们数据工程师来说&#…

OpenHarmony 4.1 SDK11 北向应用开发笔记

目录 声明 1、开启其他应用 2、延时切换页面 3、设置页面切换效果 4、设置背景图片和背景铺满屏幕 5、设置隐藏状态和导航条 6、设置组件大小和对齐方式 7、设置按钮类型改变按钮边框圆角半径 8、常用布局方式 9、布局技巧 声明 本笔记基于OpenHarmony 4.1 SDK11&am…

【Linux】进程的程序替换

前言&#xff1a; 在未进行进程的程序替换时&#xff0c;父子进程的数据是独立的通过页表进行映射进行实现进程数据的独立性&#xff0c;但是父子进程的代码还是共享的&#xff0c;我父进程将子进程进行创建出来不仅仅只会有父子进程只进行执行共享代码的需求&#xff0c;有的…

Java测试开发平台搭建(九)前端

1. 搭建前端vue环境 Vue3 安装 | 菜鸟教程 2. 创建项目 1.进入ui vue ui 2. create项目 3. 成功之后添加插件&#xff1a; cli-plugin-router vue-cli-plugin-vuetify 4. 添加依赖 axios 5. 点击任务开始运行 如果报错&#xff1a; 修改vue.config.jsconst { defineConfig }…

Asp .Net Core 实现微服务:集成 Ocelot+Nacos+Swagger+Cors实现网关、服务注册、服务发现

什么是 Ocelot ? Ocelot是一个开源的ASP.NET Core微服务网关&#xff0c;它提供了API网关所需的所有功能&#xff0c;如路由、认证、限流、监控等。 Ocelot是一个简单、灵活且功能强大的API网关&#xff0c;它可以与现有的服务集成&#xff0c;并帮助您保护、监控和扩展您的…

【机器学习实战入门】使用Pandas和OpenCV进行颜色检测

Python 颜色检测项目 今天的项目将非常有趣和令人兴奋。我们将与颜色打交道&#xff0c;并在项目过程中学习许多概念。颜色检测对于识别物体来说是必要的&#xff0c;它也被用作各种图像编辑和绘图应用的工具。 什么是颜色检测&#xff1f; 颜色检测是检测任何颜色名称的过程…

如何实现文本相关的显示功能

文章目录 1 概念介绍2 使用方法3 示例代码 我们在上一章回中介绍了页面之间传递数据相关的内容,本章回中将介绍如何使用Text Widget。闲话休提&#xff0c;让我们一起Talk Flutter吧。 1 概念介绍 我们在这里说的Text Widget就是显示文字内容的组件&#xff0c;其实我们一直在…

精度论文:【Focaler-IoU: More Focused Intersection over Union Loss】

Focaler-IoU: 更聚焦的交并比损失 Focaler-IoU: More Focused Intersection over Union Loss Focaler-IoU: 更聚焦的交并比损失I. 引言II. 相关工作III. 方法IV. 实验V. 结论 原文地址&#xff1a;官方论文地址 代码地址&#xff1a;官方代码地址 摘要——边界框回归在目标检…

计算机组成原理--笔记二

目录 一.计算机系统的工作原理 二.计算机的性能指标 1.存储器的性能指标 2.CPU的性能指标 3.系统整体的性能指标&#xff08;静态&#xff09; 4.系统整体的性能指标&#xff08;动态&#xff09; 三.进制计算 1.任意进制 > 十进制 2.二进制 <> 八、十六进制…

BERT与CNN结合实现糖尿病相关医学问题多分类模型

完整源码项目包获取→点击文章末尾名片&#xff01; 使用HuggingFace开发的Transformers库&#xff0c;使用BERT模型实现中文文本分类&#xff08;二分类或多分类&#xff09; 首先直接利用transformer.models.bert.BertForSequenceClassification()实现文本分类 然后手动实现B…

MySQL - 主从同步

​​​​​​1.主从同步原理&#xff1a; MySQL 主从同步是一种数据库复制技术&#xff0c;它通过将主服务器上的数据更改复制到一个或多个从服务器&#xff0c;实现数据的自动同步。 主从同步的核心原理是将主服务器上的二进制日志复制到从服务器&#xff0c;并在从服务器上执…

[Python学习日记-78] 基于 TCP 的 socket 开发项目 —— 模拟 SSH 远程执行命令

[Python学习日记-78] 基于 TCP 的 socket 开发项目 —— 模拟 SSH 远程执行命令 简介 项目分析 如何执行系统命令并拿到结果 代码实现 简介 在Python学习日记-77中我们介绍了 socket 基于 TCP 和基于 UDP 的套接字&#xff0c;还实现了服务器端和客户端的通信&#xff0c;本…

STM32Cubemx配置RS485通信

文章目录 一、RS485协议概念讲解RS485 协议概念1. **差分信号传输**2. **半双工通信**3. **多点通信**4. **最大通信距离和速度**5. **终端电阻与偏置电阻**6. **RS485 接口的工作模式**7. **RS485 协议的数据帧结构**8. **RS485 的优点与应用** 总结 二、TTL电平和RS485的关系…

STM32使用DSP库 Keil方式添加

文章目录 前言一、添加DSP库二、使能FPU及配置1. 使能FPU2. 增加编译的宏3.增加头文件的检索路径三. 验证1. 源码中添加2.代码测试前言 添加DSP有两种方案,本文采用的是是Keil 中添加。 一、添加DSP库 在创建好的工程中添加DSP库:步骤如下: 步骤1:选择运行环境管理; 步…

Kotlin Bytedeco OpenCV 图像图像54 透视变换 图像矫正

Kotlin Bytedeco OpenCV 图像图像54 透视变换 图像矫正 1 添加依赖2 测试代码3 测试结果 在OpenCV中&#xff0c;仿射变换&#xff08;Affine Transformation&#xff09;和透视变换&#xff08;Perspective Transformation&#xff09;是两种常用的图像几何变换方法。 变换方…

【Flink系列】10. Flink SQL

10. Flink SQL Table API和SQL是最上层的API&#xff0c;在Flink中这两种API被集成在一起&#xff0c;SQL执行的对象也是Flink中的表&#xff08;Table&#xff09;&#xff0c;所以我们一般会认为它们是一体的。Flink是批流统一的处理框架&#xff0c;无论是批处理&#xff08…

【STM32-学习笔记-11-】RTC实时时钟

文章目录 RTC实时时钟一、RTC简介二、RTC框图三、RTC基本结构四、RTC操作注意事项五、RTC函数六、配置RTCMyRTC.c 七、示例&#xff1a;实时时钟①、main.c②、MyRTC.c③、MyRTC.h RTC实时时钟 一、RTC简介 RTC&#xff08;Real Time Clock&#xff09;实时时钟 RTC是一个独立…

Spring的IoC、Bean、DI的简单实现,难度:※※※

目录 场景描述 第一步&#xff1a;初始化Maven项目 第二步&#xff1a;Maven导入Spring包&#xff08;给代码&#xff09; 第三步&#xff1a;创建Spring配置文件 第四步 创建Bean 第五步 简单使用Bean &#xff08;有代码&#xff09; 第六步 通过依赖注入使用Bean&…