DIO算法

news2025/1/13 3:36:53

歌声和语音声带振动周期的快速可靠F0估计方法

原文题目:
Fast and reliable F0 estimation method based on the period extraction of vocal fold vibration of singing voice and speech
发表在:
AES 35TH INTERNATIONAL CONFERENCE, London, UK, 2009 February 11–13

本文提出了一种快速可靠的歌声实时交互应用的基频提取方法。它是基于声带振动的周期检测,所以它不需要昂贵的计算成本,如STFT或自相关。并行处理架构和一个新的成本函数使这个简单的想法与最先进的F0估计方法效果相当。一系列测试表明,所提出的方法在速度和准确性方面优于传统方法。最后,采用快速和深度振动的人工测试信号进行对比测试,验证了该方法在歌唱声音交互实时应用中的有效性。

引言

基频(F0)是歌唱合成软件中最重要的参数。例如,Melodyne1或AutoTune2用于固定F0轨迹。使用这些软件,使从平庸的歌声中创造自然而有吸引力的歌声成为可能。最近,一种基于声码器的高质量歌唱系统[1]被用来改变基于F0轨迹的歌唱风格。该系统STRAIGHT[2]为基础,可以将初学者的唱腔变成专业人士的唱腔。F0提取方法对于实现这种交互式和实时应用程序是必不可少的。

传统的F0提取方法通常基于自相关、倒谱[3]、瞬时频率[4]及其组合。为了提高估计的准确性,已经提出了许多用于各种目的的修改。例如,后处理可以减少F0估计误差[5]。对于在噪声环境下录制的语音,也提出了一种抗噪声鲁棒方法[6]。然而,游戏和多媒体内容的录音材料通常包含少量噪声。因此,一种快速可靠的基频提取方法对于这些应用至关重要。

假设输入信号中噪声很小,则最简单的基频提取方法就是直接测量周期信号基频分量的周期。Yegnanarayana提出了一种基于事件的F0提取方法,使用零频率滤波来表示印度顿音[7]。该F0估计方法是基于对滤波提取的基分量的区间测量。然而,设计基波分量提取滤波器需要对基波频率有较好的了解。

我们通过引入一个新的基本成分提取准则扩展了该F0提取方法。主要思想是使用多个F0检测器而不是一个专门的检测器。并行处理架构使用了许多候选滤波器和一个新的基本准则,使这个简单的想法与最先进的F0估计方法相媲美。本文讨论了基频分量提取器的设计、基频的定义以及所提方法的有效性。

方法

本节介绍检测声带振动间隔的步骤。区间检测方法包括三个步骤。图1显示了所提方法的整体和三个步骤。
在这里插入图片描述
第一步是用低通滤波提取基本分量。使用几个候选过滤器来提取唯一的基本成分。
第二步是计算所有滤波信号的四个过零间隔。从这四个区间计算出一个新的基度判据。这些参数的定义和细节将在第后面解释。
最后一步是从计算的基度中选择最佳F0。利用该基度对所有滤波后的信号进行评估,并在最后一步选择最可靠的F0。

STEP1:使用几个具有不同截止频率的低通滤波器进行滤波
该方法需要一个副瓣很低的低通滤波器来提取唯一的基本分量。在本文中,使用纳托尔窗口[8]作为低通滤波器,其旁瓣约为-90 dB。Nuttall窗口定义为:

在这里插入图片描述
t的范围:0 ≤ t ≤1
图2显示了纳托尔窗口的功率谱,其长度决定了截止频率。
在这里插入图片描述
该方法使用了几个不同长度(截止频率)的候选窗口。通过步骤2中解释的基度,从这些滤波信号中计算出F0候选信号。滤波器的数量是该方法所使用的设计参数之一。为了实现所提出的方法,通过定义F0范围的下限和上限来确定滤波器的数量。在本文中,使用了40 Hz的下限和800 Hz的上限。测试了两种滤波器在一个八度内的排列方式。一个是一个八度有4个通道,另一个是一个八度有24个通道。

STEP2:计算基度fundamentalness和候选F0候选值
从图3所示的四个过零区间计算出一个新的标准,即基度。基度定义为负、正过零区间的方差和连续的峰与低谷之间的间隔。这种差异对于识别基本成分是非常有用的。如果滤波后的信号只包含基波分量,则四个区间的方差为零。从截止频率到滤波器输出的瞬时频率的映射的不动点中选择F0个候选点。
在这里插入图片描述

STEP3:基于基度选出最终F0
从所有滤波信号的基度计算中选出最佳候选信号。这一步选取每个观测点的最低基度。如果允许在F0提取后进行修改,我们可以保留多个候选项以降低错误率。

该方法有几个重要的参数,以保证准确提取F0。低通滤波器的类型和候选滤波器的数量主要关系到所提出方法的准确性。在本文中,我们关注的是滤波器的数量,因为纳托尔窗口已经接近该方法的最佳窗口。

评估

利用语音数据库和具有快速和深度振动的人工测试信号进行了两次评估,以证明所提出方法的有效性。并对该方法的处理速度进行了评价,讨论了该方法在歌唱声音的交互式实时应用中的适用性。

利用语音数据评估:
使用语音信号数据库对所提出的方法与以前的方法进行了比较。这个数据库包括一名男性和一名女性说话者,他们每人说50个英语句子,总共0.12小时的讲话;可以从以下网址下载:(http://www.cstr.ed.ac.uk/research/projects/fda/)。这个数据库是用喉镜的信号记录的。基于喉镜的参考F0包括在这个数据库中。

与喉镜估计值相差超过20%的值属于严重误差[9]。本文方法与Praat系统的Boersma自相关方法、倒谱法和未经后处理的YIN[9]进行了比较。后处理也采用NDF[5]。该方法的候选滤波器个数分别为4个和24个。

表1显示了每种方法的总误差。自相关法、倒谱法和YIN的结果引自[9],NDF结果引自[5]。NDF是所有方法中最好的,但其处理时间比我们提出的方法要长得多,比没有后处理的传统方法性能更好。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1259691.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【RLChina2023】CCF 苏州 记录

目录 RLChina介绍主旨报告专题报告智能体学习理论(专题一)智能体决策与规划(专题二)智能体框架、体系结构与训练系统(专题六)基于大语言模型的具身智能体与机器人研究 (专题八)教学报告——强化学习入门特别论坛——智能体和多智能体艺术的探索会议照片RLChina介绍 RLC…

什么是迁移学习

1 迁移学习概述 迁移学习(Transfer Learning)是机器学习中的一种方法,它允许模型将从一个任务中学到的知识应用到另一个相关的任务中。这种方法在数据稀缺的情况下尤为有用,因为它减少了对大量标记数据的需求。迁移学习已成为深度…

Failed to load resource: the server responded with a status of 404 ()

路径问题: 路径省略前面的http://localhost:8080/ 就行了。

OSG粒子系统与阴影 - ​​​​​​​阴影shadow(7)

OSG阴影 在虚拟现实仿真中,为了真实地模拟自然效果,阴影效果是不可缺少的,它对一个场景的真实性是非常重要的。在游戏或仿真中,一个高效的阴影往往能够提供非常强悍的视觉真实感。 osgShadow库 在OSG中专门定义了一个名字空间osg…

ShowWeb-浏览器插件:可视化元素路径查看器

ShowWeb👻:可视化元素路径查看器适配【谷歌】【Edge】 每次写前端最烦的就是一层一层找元素,又臭又长。所以我开发了一个小插件来缓解这个问题,这个插件可以输出整个路径,并把最后元素的内容输出方便查看,…

docker基础快速入门:基础命令、网络、docker compose工具

docker基础命令快速入门 目录 docker基本命令docker 网络docker compose Docker介绍 Docker是一个虚拟环境容器,可以将你的开发环境、代码、配置文件等一并打包到这个容器中,并发布和应用到任意平台中。 Docker的三个概念 镜像 Docker镜像是一个特…

Java飞翔的小鸟

一、项目分析 创建一个窗口和画板,把画板放到窗口上,在画板上绘画图片 (2)让小鸟在画面中动起来,可以上下飞 (3)让地面和管道动起来 (4)碰撞检测 (5&#xf…

2023信息技术应用创新论坛|云轴科技ZStack分享云原生超融合在智慧交通的应用

11月25日,2023信息技术应用创新论坛在常州开幕。江苏省工业和信息化厅副厅长池宇、中国电子工业标准化技术协会理事长胡燕、常州市常务副市长李林等领导出席论坛并致辞。中国工程院院士郑纬民出席并作主题报告。来自产学研用金等各界的千余名代表参加本次论坛。 在“…

UE5 - 虚幻引擎各模块流程图

来自虚幻官方的一些资料,分享一下; 一些模块的流程图,比如动画模块: 或角色相关流程: 由于图片比较大,上传到了网络,可自取: 链接:https://pan.baidu.com/s/1BQ2KiuP08c…

MATLAB的rvctools工具箱熟悉运动学【机械臂机器人示例】

1、rvctools下载安装 rvctools下载地址:rvctools下载 截图如下,点击红色箭头指示的“Download Shared Folder” 即可下载 下载之后进行解压,解压到D:\MATLAB\toolbox这个工具箱目录,这个安装路径根据自己的情况来选择&#xff0c…

【华为OD】统一考试C卷真题 100%通过: 传递悄悄话 二叉树遍历 C/C++实现

目录 题目描述: 示例1 解题思路: 代码实现: 题目描述: 给定一个二叉树,每个节点上站着一个人,节点数字表示父节点到该节点传递悄悄话需要花费的时间。 初始时,根节点所在位置的人有一个悄悄…

中通快递查询入口,根据物流更新量筛选出需要的单号记录

批量中通快递单号的物流信息,根据物流更新量将需要的单号记录筛选出来。 所需工具: 一个【快递批量查询高手】软件 中通快递单号若干 操作步骤: 步骤1:运行【快递批量查询高手】软件,并登录 步骤2:点击主…

代码随想录算法训练营第六十天|84. 柱状图中最大的矩形

84. 柱状图中最大的矩形 给定 n 个非负整数,用来表示柱状图中各个柱子的高度。每个柱子彼此相邻,且宽度为 1 。 求在该柱状图中,能够勾勒出来的矩形的最大面积。 示例 1: 输入:heights [2,1,5,6,2,3] 输出:10 解释…

PT里如何针对某个模块设置false path

我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧? 拾陆楼知识星球入口 如题,这个问题实际上讲的是get_cells的用法,我们要抓取某个模块内的全部cell,在ICC2里可以get_flat_cells xx/xx/module_name*,但…

Linux 基本语句_12_信号

用途: 信号可以直接进行用户进程与内核进程之间的交互 特性: 对于一个进程,其可以注册或者不注册信号,不注册的信号,进程接受后会按默认功能处理,对于注册后的信号,进程会按自定义处理 自定义…

Mysql之局域网内不同ip互登陆mysql

1 navicat修改mysql表中user> host改为% 2 重新加载mysql服务 3登陆mysql -h 192.168.x.xxx(计算机ip) -P 3306 -uroot -p123456(密码)

AI大模型相关产品的数据飞轮如何建设?

1、背景 数据飞轮,是今年大模型带火的一个典型词汇,通过客户在应用程序中输入的提示词这样的数据反馈,使大模型快速迭代。简单说:好的产品 -> 更多的用户数据 -> 更好的模型质量 -> 更好的产品就进入了一个正向循环。一…

单片机学习10——独立按键

独立按键输入检测&#xff1a; #include<reg52.h>sbit LED1P1^0; sbit KEY1P3^4;void main() {KEY11;while(1){if(KEY10) //KEY1按下{LED10; //LED1被点亮}else{LED11;}} } 按键 #include<reg52.h>#define uchar unsigned char #define uint unsigned intsbit …

linux下的工具---vim

一、了解vim 1、vim是linux的开发工具 2、vi/vim的区别简单点来说&#xff0c;它们都是多模式编辑器&#xff0c;不同的是vim是vi的升级版本&#xff0c;它不仅兼容vi的所有指令&#xff0c;而且还有一些新的特性在里面。例如语法加亮&#xff0c;可视化操作不仅可以在终端运行…

苍穹外卖项目笔记(5)——Redis

1 入门 1.1 Redis 简介 Redis 是一个基于内存的 key-value 结构数据库&#xff0c;官网链接&#xff08;中文&#xff09;&#xff1a;https://www.redis.net.cn 特点&#xff1a; 基于内存存储&#xff0c;读写性能高适合存储热点数据&#xff08;热点商品、资讯、新闻&am…