VQE音频处理流程

news2024/11/21 0:14:46

VQE

上行VQE,主要针对MIC采集部分的音频增强

在这里插入图片描述

下行VQE,主要针对SPK播放部分的音频增强

在这里插入图片描述

附关键词解释

  1. RES
    RES 模块为重采样(Resampler)模块。当AI上行或AO下行通路中开启VQE 各功能
    模块时,在处理前后各存在一次重采样,第一次的作用是将输入采样率下的音频数据转换成功能模块所支持的工作采样率(8kHz/16kHz/48kHz),第二次则将工作采样率下的数据转换成输出采样率。

  2. HPF
    HPF为高通滤波(high-pass filte)模块,主要负责去除低频噪声。
    低频噪声来源经常为硬件噪声或工频噪声,表现为轰轰轰类不舒适的声音。我们可以
    通过使用频谱分析单板在安静环境下录制的码流,来确定是否需要加入该模块。如果
    低频噪声不是非常明显,并且客户需要保留低频部分的音源,则不建议加入该模块。

  3. HDR
    HDR为高动态范围(High Dynamic Range)模块,主要用于Codec输入音量控制,通
    过动态调节Codec增益控制Codec音量在合理范围内,保证声音不至于过大或过小。

  4. EQ
    EQ模块为均衡处理器(Equalizer)模块,主要对音频数据进行均衡处理,以调节音频
    数据中各频段声音的增益。

  5. DRC
    DRC为动态压缩控制(Dynamic Range Control)模块,负责控制输出电平,将输出增
    益控制在一个范围,主要工作在需要保证声音不至于过大或过小的场景下。
    DRC与AGC作用相似,但算法实现及调节力度不同。其配合RNR 使用在运动DV场
    景,与AEC/ANR 互斥。

  6. RNR
    RNR为录音噪声消除(Record Noise Reduction)模块,主要工作在需要去除环境噪
    声,但保留小信号输入的场景下。
    与 ANR 算法比起来,RNR 更讲究细节输入(小信号)的保留度,RNR 会在降噪的同
    时保留小信号的输入,所以降噪力度会低一点,但能更多的保留现场声音,真实还原
    场景,适用于运动DV 场景。

  7. AGC
    AGC为自动增益控制(Auto Gain Control)模块,主要负责增益控制输出电平,在声
    音输入音量有大小变化时,能将输出音量控制在比较一致的范围内,主要工作在需要
    保证声音不至于过大或过小的场景下。
    AGC更多起到的作用是放大输入源的声音,以保证音源过小时,经过算法处理后的声
    音依然很大。AI通路如果使能了AGC 功能,那么将不再能够通过调节AI增益来控制
    输出声音大小,需要通过接口来控制声音输出大小。

  8. PEQ
    PEQ 为参量均衡器(Parameter Equalizer)模块,主要对音频数据进行均衡处理,以调
    节音频数据中各频段声音的增益。
    PEQ 与EQ 均为均衡处理器,但是PEQ 调节方式更灵活,适用于运动DV 场景。

  9. AEC
    回声抵消(Acoustic Echo Cancellation)模块,主要工作在需要进行去除回声的
    场景下:如IPC 对讲,远端语音数据在AO 设备上播放,此时在本地通过MIC 采集语
    音数据,它支持消除录制的语音数据中的AO设备播放的声音(回声)。

  10. ANR
    ANR为语音降噪(Audio Noise Reduction)模块,主要工作在需要去除外界噪声,保
    留语音输入的场景下。
    与 RNR 算法比起来,ANR 更讲究噪声处理的干净程度。ANR 会滤除一些环境声音,
    主要保留语音数据,并会带来一定的细节丢失。所以ANR 算法更适用于NVR 和IPC
    场景。在这两个场景下,我们更希望能够着重保留人声,滤除其他噪声。

  11. GAIN
    GAIN 模块是音量调节模块,主要用于调节AGC开启后的音量大小。
    AGC负责对语音的音量进行动态增益控制,算法能够处理的Sin语音电平范围为0dB
    至-40dB,处理完毕后的语音电平最大值为-2dB,并且在语音最大增益方面做到了
    30dB的增益,这使得sout的语音电平能够做到-2dB至-10dB,同时也使得通过调整AI
    增益来调整sout的音量成了一个很困难的事情,因此GAIN模块在VQE 处理流程中位
    于AGC 模块后端,以实现AI上行通路的音量调节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1384049.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

COBOL语言 :一种主要专注于解决业务问题的编程语言

译文: 什么是COBOL? COBOL是一种主要专注于解决业务问题的编程语言。COBOL的完整形式是面向业务的通用语言。它主要用于公司和政府的商业、金融和行政系统。这种语言也被用来解决许多数据处理问题。 它是由CODASYL(数据系统语言会议)开发的。它被用作大型机中的一…

DSL查询文档--查询结果处理

排序 elasticsearch默认是根据相关度算分(_score)来排序,但是也支持自定义方式对搜索结果排序。可以排序字段类型有:keyword类型、数值类型、地理坐标类型、日期类型等。 普通字段排序 keyword、数值、日期类型排序的语法基本一…

【JAVA】在 Queue 中 poll()和 remove()有什么区别

🍎个人博客:个人主页 🏆个人专栏:JAVA ⛳️ 功不唐捐,玉汝于成 目录 前言 正文 poll() 方法: remove() 方法: 区别总结: 结语 我的其他博客 前言 在Java的Queue接口中&…

初识C语言·内存函数

目录 1 memcpy的使用和模拟实现 2 memmove的使用和模拟实现 3 memset的使用和模拟实现 4 memcmp的使用和模拟实现 1 memcpy的使用和模拟实现 紧接字符串函数,出场的是第一个内存函数memcpy。前面讲的字符串函数是专门干关于字符串的事的,而这个函数…

(十二)EEPROM的补充

文章目录 EEPROM补充篇读EEPROM补充内容写EEPROM补充内容单字节写入多字节拆成单字节写入现象 EEPROM补充篇 读EEPROM补充内容 对于上一篇博文在读EEPROM的时候,提到的DUMMY WRITE: 这里怎么理解呢: 大家看,写EEPROM的逻辑除了…

c++学习笔记-STL案例-演讲比赛管理系统2

目录 功能介绍 代码结构部分 查看一下类图 1.Speaker.h 2.speechManager.h 3.speechManager.cpp 4.演讲比赛流程关系系统.cpp 功能介绍 speechManager.h函数包含演讲比赛流程的所有功能如下: 开始演讲比赛:完成整届比赛的流程,每…

为什么使用双token实现无感刷新用户认证?

单token机制 认证机制:对与单token的认证机制在我们项目中仅使用一个Access Token的访问令牌进行用户身份认证和授权的方案处理。 不足之处: 安全性较低(因为只有一个token在客户端和服务器端之间进行传递,一旦Access Token被截…

解决ERROR 24680 --- [ main] o.a.catalina.core.AprLifecycleListener 报错:

1.报错全称: ERROR 24680 --- [ main] o.a.catalina.core.AprLifecycleListener : An incompatible version [1.2.32] of the Apache Tomcat Native library is installed, while Tomcat requires version [1.2.34] 2.解决方案: 步骤一 在…

Linux下编写zlg7290驱动(1)

大家好,今天给大家介绍Linux下编写zlg7290驱动(1),文章末尾附有分享大家一个资料包,差不多150多G。里面学习内容、面经、项目都比较新也比较全!可进群免费领取。 在智能仪表中,经常会用到键盘、数码管等外设。因此&…

LLM之RAG理论(五)| 使用知识图谱增强RAG

知识图谱(KG)或任何图都包括节点和边,其中每个节点表示一个概念,每个边表示一对概念之间的关系。本文介绍一种将任何文本语料库转换为知识图谱的技术,本文演示的知识图谱可以替换其他专业知识图谱。 一、知识图谱 知识…

【PyTorch简介】3.Loading and normalizing datasets 加载和规范化数据集

Loading and normalizing datasets 加载和规范化数据集 文章目录 Loading and normalizing datasets 加载和规范化数据集Datasets & DataLoaders 数据集和数据加载器Loading a Dataset 加载数据集Iterating and Visualizing the Dataset 迭代和可视化数据集Creating a Cust…

深度解析Pytest插件pytest-html

在软件开发中,测试报告是开发者获取测试结果和问题定位的关键工具之一。然而,标准的控制台输出有时难以满足我们对测试报告的需求。幸运的是,Pytest插件 pytest-html 提供了一种简单而强大的方式,可以生成漂亮、可视化的HTML格式测…

Python之Matplotlib绘图调节清晰度

Python之Matplotlib绘图调节清晰度 文章目录 Python之Matplotlib绘图调节清晰度引言解决方案dpi是什么?效果展示总结 引言 使用python中的matplotlib.pyplot绘图的时候,如果将图片显示出来,或者另存为图片,常常会出现清晰度不够的…

如何开启文件共享及其他设备如何获取

1.场景分析 日常生活中,常常会遇到多台电脑共同办公文件却不能共享的问题,频繁的用移动硬盘、U盘等拷贝很是繁琐,鉴于此,可以在同一内网环境下设置共享文件夹,减少不必要的文件拷贝工作,提升工作效率。废话…

什么是信噪比

大家好,今天给大家介绍什么是信噪比,文章末尾附有分享大家一个资料包,差不多150多G。里面学习内容、面经、项目都比较新也比较全!可进群免费领取。 “信噪比”是电子技术中经常用到的一个词组,知道它的确切含义有一定意…

[含完整代码]Linux使用.sh脚本自动部署(启动|停止|状态|日志)项目[超详细]

前言: 个人博客:www.wdcdbd.com 我们在linux部署.jar项目时,都需要通过java -jar的形式来部署,每次都要手动停止,部署,这样用起来会很麻烦。所以,这篇文章就是自己通过.sh脚本一键启动&#xf…

工作压力测试

每个职场人都会遇到工作压力,在企业人力资源管理的角度来看,没有工作压力是人力资源的低效,适当的工作压力可以促使员工不断进取,然而每个人的抗压能力是不同的,同样的工作量和工作难度,不同的人在面对相同…

实战之-Redis代替session实现用户登录

一、设计key的结构 首先我们要思考一下利用redis来存储数据,那么到底使用哪种结构呢?由于存入的数据比较简单,我们可以考虑使用String,或者是使用哈希,如下图,如果使用String,注意他的value&…

快速入门java网络编程基础------Nio

一. NIO 基础 哔哩哔哩黑马程序员 netty实战视频 0.什么是nio? NIO(New I/O)是Java中提供的一种基于通道和缓冲区的I/O(Input/Output)模型。它是相对于传统的IO(InputStream和OutputStream)模型…

基于YOLOv7算法的高精度实时六类水果目标检测识别系统(PyTorch+Pyside6+YOLOv7)

摘要:基于YOLOv7算法的高精度实时六类水果目标检测系统可用于日常生活中检测与定位苹果(apple)、香蕉(banan)、葡萄(grape)、橘子(orange)、菠萝(pineapple&a…