AI视野·今日CS.Sound 声学论文速览
Mon, 16 Oct 2023
Totally 7 papers
👉上期速览✈更多精彩请移步主页
Daily Sound Papers
| Low-latency Speech Enhancement via Speech Token Generation Authors Huaying Xue, Xiulian Peng, Yan Lu 现有的基于深度学习的语音增强主要采用数据驱动的方法，利用大量具有各种噪声类型的数据来实现从噪声信号中去除噪声。然而，对数据的高度依赖性限制了其对现实生活环境中看不见的复杂噪声的泛化。在本文中，我们关注低延迟场景，并将语音增强视为以噪声信号为条件的语音生成问题，我们生成干净的语音，而不是识别和消除噪声。具体来说，我们提出了一种用于语音增强的条件生成框架，该框架通过神经语音编解码器的声学代码对干净的语音进行建模，并以自回归的方式生成以过去的噪声帧为条件的语音代码。此外，我们提出了一种显式对齐方法，将噪声帧与生成的语音标记对齐，以提高不同输入长度的鲁棒性和可扩展性。与其他利用多级生成语音代码的方法不同，我们利用基于 TF Codec 神经编解码器的单级语音生成方法来实现低延迟的高语音质量。 |
| Transformer-based Autoencoder with ID Constraint for Unsupervised Anomalous Sound Detection Authors Jian Guan, Youde Liu, Qiuqiang Kong, Feiyang Xiao, Qiaoxi Zhu, Jiantong Tian, Wenwu Wang 无监督异常声音检测 ASD 旨在在只有正常声音数据的情况下检测设备的未知异常声音。基于自动编码器AE和自监督学习的方法是两种主流方法。然而，基于 AE 的方法可能受到限制，因为从正常声音中学习的特征也可以适合异常声音，从而降低了模型从声音中检测异常的能力。自监督方法并不总是稳定并且表现不同，即使对于相同类型的机器也是如此。此外，异常声音可能持续时间很短，使其更难以与正常声音区分开。本文提出了一种基于 ID 约束 Transformer 的自动编码器 IDC TransAE 架构，具有针对无监督 ASD 的加权异常分数计算。采用机器ID来约束基于Transformer的自动编码器TransAE的潜在空间，通过引入简单的ID分类器来学习相同机器类型的分布差异，并增强模型区分异常声音的能力。此外，引入加权异常分数计算来突出仅出现时间较短的异常事件的异常分数。 |
| Differential Evolution Algorithm based Hyper-Parameters Selection of Convolutional Neural Network for Speech Command Recognition Authors Sandipan Dhar, Anuvab Sen, Aritra Bandyopadhyay, Nanda Dulal Jana, Arjun Ghosh, Zahra Sarayloo 语音命令识别 SCR 负责识别简短的语音命令，对于包括物联网设备和辅助技术在内的各种应用至关重要。尽管卷积神经网络 CNN 在 SCR 任务中展现出了良好的前景，但其功效在很大程度上依赖于超参数选择，而手动完成时通常既费力又耗时。本文介绍了一种基于差分进化 DE 算法的 CNN 超参数选择方法，旨在提高 SCR 任务的性能。使用 Google Speech Command GSC 数据集进行训练和测试，所提出的方法显示了对语音命令进行分类的有效性。 |
| Learning to Behave Like Clean Speech: Dual-Branch Knowledge Distillation for Noise-Robust Fake Audio Detection Authors Cunhang Fan, Mingming Ding, Jianhua Tao, Ruibo Fu, Jiangyan Yi, Zhengqi Wen, Zhao Lv 大多数虚假音频检测 FAD 的研究都集中于提高标准无噪声数据集的性能。然而，在实际情况中，通常存在噪声干扰，这会导致FAD系统的性能显着下降。为了提高噪声鲁棒性，我们提出了一种双分支知识蒸馏假音频检测 DKDFAD 方法。具体来说，设计了干净教师分支和噪声学生分支的并行数据流，并提出了基于交互融合和响应的师生范式，从数据分布和决策角度指导噪声数据的训练。在噪声分支中，首先引入语音增强进行去噪，减少强噪声的干扰。所提出的交互式融合结合了去噪特征和噪声特征，以减少语音失真的影响并寻求与干净分支的数据分布的一致性。师生范式将学生的决策空间映射到教师的决策空间，使嘈杂的语音表现得干净。此外，还采用联合训练方法对两个分支进行优化，以实现全局最优。 |
| CompA: Addressing the Gap in Compositional Reasoning in Audio-Language Models Authors Sreyan Ghosh, Ashish Seth, Sonal Kumar, Utkarsh Tyagi, Chandra Kiran Evuru, S. Ramaneswaran, S. Sakshi, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha 音频的一个基本特征是它的组合性质。使用对比方法训练的音频语言模型 ALM，例如学习音频和语言模态之间共享表示的 CLAP，提高了许多下游应用的性能，包括零样本音频分类、音频检索等。然而，这些模型有效地执行组合推理在很大程度上仍未被探索，需要进行额外的研究。在本文中，我们提出了 CompA，这是两个专家注释基准的集合，其中包含大多数现实世界的音频样本，用于评估 ALM 中的组合推理。我们提出的 CompA 顺序评估 ALM 对音频中声学事件的顺序或发生的理解程度，CompA 属性评估声学事件的属性绑定。任一基准测试的实例都包含两个音频字幕对，其中两个音频具有相同的声学事件，但成分不同。 ALM 根据正确音频与正确字幕的匹配程度进行评估。使用这个基准，我们首先表明当前的 ALM 的性能仅比随机机会好一点，因此在组合推理方面遇到了困难。接下来，我们提出 CompA CLAP，其中我们使用一种新颖的学习方法对 CLAP 进行微调，以提高其组合推理能力。为了训练 CompA CLAP，我们首先提出对具有构图感知硬底片的对比训练进行改进，从而实现更有针对性的训练。接下来，我们提出了一种新颖的模块化对比损失，可以帮助模型学习细粒度的作曲理解，并克服公开可用的作曲音频的严重稀缺性。 |
| Toward Joint Language Modeling for Speech Units and Text Authors Ju Chieh Chou, Chung Ming Chien, Wei Ning Hsu, Karen Livescu, Arun Babu, Alexis Conneau, Alexei Baevski, Michael Auli 语音和文本是人类语言的两种主要形式。多年来，研究界一直致力于将语音映射到文本，反之亦然。然而，在语言建模领域，很少有人对它们进行联合建模。鉴于此，我们探索语音单元和文本的联合语言建模。具体来说，我们比较不同的语音标记器将连续语音信号转换为离散单元，并使用不同的方法构建混合语音文本数据。我们引入自动指标来评估联合 LM 混合语音和文本的效果。我们还对具有不同模态语音或文本的下游口语理解 SLU 任务的 LM 进行微调，并测试其性能以评估模型对共享表示的学习。 |
| End-to-end Online Speaker Diarization with Target Speaker Tracking Authors Weiqing Wang, Ming Li 本文提出了一种用于说话人二值化任务的在线目标说话者语音活动检测系统，该系统不需要基于聚类的二值化系统的先验知识来获得目标说话者嵌入。通过采用传统的目标说话者语音活动检测进行实时操作，该框架可以使用自生成的嵌入来识别说话者活动，从而在推理阶段获得一致的性能，而不会出现排列不一致的情况。在推理过程中，我们采用前端模型来提取每个即将到来的信号块的帧级说话人嵌入。接下来，我们根据这些帧级说话人嵌入和先前估计的目标说话人嵌入来预测每个说话人的检测状态。然后，根据当前块中的预测聚合这些帧级说话人嵌入来更新目标说话人嵌入。我们的模型预测每个块的结果并更新目标扬声器嵌入，直到到达信号末尾。实验结果表明，该方法在 DIHARD III 和 AliMeeting 数据集上优于基于离线聚类的二值化系统。 |
| Chinese Abs From Machine Translation |
Papers from arxiv.org
更多精彩请移步主页
pic from pexels.com
