语音特征工程—时域分析

news2025/1/21 4:57:36

当下主流语音前端算法在特征工程方面,从vad,降噪、降混响到盲源分离,无论是传统做法还是NN做法,大多基于频域。但近年在语音分离领域也看到了利用时域的做法,也取得了不错的效果。

本文从特征工程的角度,对语音时域进行分析,试图解释时域信息的特点。本文从以下几个方面进行介绍。

  1. 特征工程应该具备什么?

  2. 时域分析

  3. 总结


1,特征工程应该具备什么?

好的特征工程应该具有以下特性:

区分度:语音部分和噪音部分区分度应该尽量大,理论上,好的特征能使噪声分布和语音分布没有交集;

噪声鲁棒性:背景噪声会使语音失真,好的特征应该具有对噪声的鲁棒性;

以常用的特征fbank来举例,

图1.1.1 fbank of pure noise.

​ 

图1.1.2 fbank of clean speech.

图1.1.3 fbank of noisy.

由上可见,noisy speech和clean speech的fbank的分布在e+4量级,相差不大;而pure noise的fbank分布在e+5量级,明显和noisy speech、clean speech相差较大。所以fbank具有好的区分度和噪声鲁棒能力。

2, 时域分析

so时域做特征的话,应该也要具有区分度和噪声鲁棒性。

还是看图说话:

图2.1.1 pure noise samples.

图2.1.2 clean speech samples.

图2.1.3 noisy samples.

由上可见,noisy speech和clean speech的时域信息的分布在e+4量级,相差不大;而pure noise的时域信息分布在e+5量级,明显和noisy speech、clean speech相差较大。所以时域信息也具有好的区分度和噪声鲁棒能力。

3, 总结

综上,可以解释为什么部分基于时域的语音算法可以取得sota的效果,大家赶紧尝试起来吧,本文也可作为大家利用时域信息的理论依据。近期我打算结合nn,基于时域信息,训练个vad看看效果。

如果存在问题,欢迎大家指正。

最后,喜欢的话,点个赞吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/469050.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jQuery购物车案例模块

<div class"car-header"><div class"w"><div class"car-logo"><img src"img/logo.png" alt""> <b>购物车</b></div></div></div></div><div class"c-…

研究了一个多月ChatGPT我发现了这些!!AI时来了?

好久都没有更新过博客了&#xff0c;大一下是真的很忙碌&#xff0c;属实是真的要崩溃了&#xff0c;但是博主还是坚强的活了下来&#xff0c;好了&#xff0c;进入正题&#xff0c;博主使用了一段时间的chatGPT发现真的可能AI时代将要来临&#xff0c;原本以为gpt能做网页已经…

二十三种设计模式第一篇-设计模式的原则和分类

怎么说&#xff0c;其实我挺讨厌设计模式的&#xff0c;但是不得不说&#xff0c;这东西解决问题确实有一手&#xff0c;并且设计模式确实规范了我们在开发中的代码&#xff0c;并且我们可以使用这二十三种设计模式解决我们碰到的业务问题&#xff0c;并且我们学的框架里边多多…

利用Python操作Mysql数据库

我们在进行Python编程的时候&#xff0c;时常要将一些数据保存起来&#xff0c;其中最方便的莫过于保存在文本文件了。但是如果保存的文件太大&#xff0c;用文本文件就不太现实了&#xff0c;毕竟打开都是个问题&#xff0c;这个时候我们需要用到数据库。提到数据库&#xff0…

怎样从零开始编译一个魔兽世界开源服务端Windows

怎样从零开始编译一个魔兽世界开源服务端Windows 第二章&#xff1a;编译和安装 我是艾西&#xff0c;上期我们讲述到编译一个魔兽世界开源服务端环境准备&#xff0c;那么今天跟大家聊聊怎么编译和安装我们直接进入正题&#xff08;上一章没有看到的小伙伴可以点我主页查看&…

haproxy负载均衡+keepalived高可用

LVS和haproxy、nginx做负载均衡时的区别 调度算法 LVS:轮询(rr)、加权轮询(wrr)、最少连接(lc)、加权最少连接(wlc)、源地址哈希值(sh)、目的地址哈希&#xff08;dh&#xff09; haproxy:轮询&#xff08;roundrobin)、加权轮询&#xff08;static-rr)、最少连接&#xff08…

2023有潜力的新药都有哪些?新药筛选方法总结

2023有潜力的新药都有哪些&#xff1f;这是一道蕴含无限可能性和未知挑战的问题。新药研发是制药公司不断追求的目标&#xff0c;每一次成功都可以带来巨额利润&#xff0c;改善患者生命质量&#xff0c;成就公司声誉。但与此同时&#xff0c;新药研发风险也是极大的&#xff0…

电梯导航栏的实现

点击跳到指定位置类似于电梯导航 .w {width: 1200px;margin: 0 auto; } .fixedtool {position: fixed;top: 100px;left: 50%;margin-left: -676px;width: 66px;background-color: #fff;display: none; }.fixedtool li {height: 32px;line-height: 32px;text-align: center;fo…

基于dsp+fpga的半导体运动台高速数据采集FPGA endac设计(三)

EnDat 双向串行通信协议的实现 数据&#xff08;测量值或参数&#xff09;可以在位置编码器和 EnDat 协议内核之间进行双向传输&#xff0c; EnDat 协议内核的收发单元支持 RS-485 差分信号传输&#xff0c;数据传输与传感伺服控制系统 生成的时钟脉冲同步。传输的数据…

如何将Postman API测试转换为JMeter以进行扩展

许多测试工程师使用Postman进行API测试自动化。他们发现端点&#xff0c;发出请求&#xff0c;创建测试数据&#xff0c;运行回归测试&#xff0c;使用Newman等实现API测试的持续集成。但是&#xff0c;Postman有一定的测试限制。希望获得更多负载测试能力的开发人员&#xff0…

系统集成项目管理工程师 笔记(第10章:项目质量管理)

文章目录 10.1.2 质量管理及其 发展史 35610.1.3 项目质量管理 35810.2.2 规划质量管理的输入 35910.2.3 规划质量管理的工具与技术 3601、成本效益分析法2、质量成本法&#xff08;一致性成本【预防、评价】 和 非一致性成本【内部、外部】&#xff09;3、七种基本质量工具&am…

数字设计小思 - 谈谈时钟:数字系统的心脏

前言 本系列整理数字系统设计的相关知识体系架构&#xff0c;为了方便后续自己查阅与求职准备。时钟作为数字系统中的“心脏”&#xff0c;其设计的质量好坏直接关乎整个系统的稳定性&#xff0c;本文主要介绍了数字设计中的常见的时钟产生电路和时钟类型&#xff0c;并进行相…

音视频八股文(7)-- 音频aac adts

AAC介绍 AAC&#xff08;Advanced Audio Coding&#xff09;是一种现代的音频编码技术&#xff0c;用于数字音频的传输和存储领域。AAC是MPEG-2和MPEG-4标准中的一部分&#xff0c;可提供更高质量的音频数据&#xff0c;并且相比于MP3等旧有音频格式&#xff0c;AAC需要更少的…

【经典题】二叉搜索树与双向链表

二叉搜索树与双向链表链接 解题思路 思路1 &#xff1a; 中序遍历&#xff0c;将节点放进vector中&#xff0c;再改链接关系&#xff0c;这很容易想出并解决&#xff0c;但这样明显不符合题意。 思路2&#xff1a; 这道题目要求将一个二叉搜索树转换成一个排序的双向链表&a…

php连接sqlserver

1.使用工具 Wampserver--3.3 sqlserver2023 php7.4.33 2.连接流程 1.下载Microsoft Drivers for PHP for SQL Server 下载地址&#xff1a;下载 Microsoft Drivers for PHP for SQL Server - PHP drivers for SQL Server | Microsoft Learn 2.下载Microsoft ODBC Driver …

简记二分算法模板与代码案例:整数二分和浮点数二分

本文以 Java 语言实现&#xff0c;整理的代码模板适用于编程竞赛。对代码模板原理的讲解不多&#xff0c;主要记录一下如何使用。 目录 一、算法模板 &#xff08;1&#xff09;整数二分 &#xff08;2&#xff09;浮点数二分 二、例题 例题&#xff1a;acwing-789.数的范…

开源网安入选“2023年中国信通院开源供应商名录”

近日&#xff0c;为进一步推进开源供应链安全合规发展&#xff0c;中国信息通信研究院云大所发布了“2023年中国信通院开源供应商名录”&#xff08;简称名录&#xff09;&#xff0c;名录供应商均为通过可信开源供应链系列评估的企业。名录范围涵盖云计算、大数据、中间件、数…

【致敬未来的攻城狮计划】第1期 作业汇总贴 + 获奖公布

​ 文章目录 一、写在前面二、种子学员介绍三、作业贴汇总四、小小总结五、获奖公布六、学员有话说七、特别致谢 一、写在前面 时间过得真快&#xff0c;距离 【致敬未来的攻城狮计划】第1期 的发起&#xff0c;已经过去一个多月了&#xff0c;而第1期的真正学习考核期也将在…

虹科案例 | 如何通过智能、非接触式测量解决方案,提高起重机的安全和效率?

PART 1 案例详情 自建造初期以来&#xff0c;起重机行业已经走了很长一段路。技术的使用在行业进步中发挥了重要作用&#xff0c;降低了使用桥式起重机的危险性。特别是&#xff0c;智能、非接触式测量解决方案通过使用高架升降机更安全、更高效、更高效&#xff0c;为行业的进…

如何将化学分子SMILES字符串转化为Pytorch图数据结构——ESOL分子水溶性数据集解析

硬核原创&#xff0c;转载请注明出处&#xff1a; https://leytton.blog.csdn.net/article/details/130406553 一、前言 在用Pytorch图神经网络对化学分子进行数据分析的时候&#xff0c;经常使用现有的数据集。看到自动处理完毕的数据结构&#xff0c;里面的特征值让我们一脸…