AI视野·今日CS.Sound 声学论文速览
Thu, 12 Oct 2023
Totally 12 papers
👉上期速览✈更多精彩请移步主页
Daily Sound Papers
| Enhancing expressivity transfer in textless speech-to-speech translation Authors Jarod Duret LIA , Benjamin O Brien LIA , Yannick Est ve LIA , Titouan Parcollet CAM 由于自我监督学习技术的集成，无文本语音到语音翻译系统正在迅速发展。然而，现有的最先进的系统在跨不同语言准确捕获和传输表达性方面存在不足。表现力在传达情感、细微差别和文化微妙之处方面发挥着至关重要的作用，从而增强了不同语言之间的交流。为了解决这个问题，本研究提出了一种新颖的方法，该方法在离散语音单元级别上运行，并利用多语言情感嵌入来捕获与语言无关的信息。具体来说，我们演示了如何使用这些嵌入来有效预测目标语言中语音单元的音调和持续时间。 |
| Vec-Tok Speech: speech vectorization and tokenization for neural speech generation Authors Xinfa Zhu, Yuanjun Lv, Yi Lei, Tao Li, Wendi He, Hongbin Zhou, Heng Lu, Lei Xie 语言模型 LM 最近在自然语言处理和计算机视觉领域蓬勃发展，可在各种任务中生成高保真文本或图像。相比之下，当前的语音生成模型在语音质量和任务泛化方面仍然举步维艰。本文提出了 Vec Tok Speech，这是一个可扩展的框架，类似于多个语音生成任务，生成富有表现力和高保真度的语音。具体来说，我们提出了一种基于语音向量和语义标记的新型语音编解码器。语音向量包含有助于高保真语音重建的声学细节，而语义标记则侧重于语音的语言内容，有助于语言建模。基于所提出的语音编解码器，Vec Tok Speech 利用 LM 承担语音生成的核心。此外，引入字节对编码 BPE 来减少令牌长度和比特率，以降低曝光偏差和更长的上下文覆盖范围，从而提高 LM 的性能。 Vec Tok Speech 可用于语言内和跨语言零样本语音转换 VC、零样本说话风格文本到语音 TTS 传输、语音到语音翻译 S2ST、语音去噪以及说话人识别和匿名化。实验表明，基于 5 万小时语音构建的 Vec Tok Speech 的性能优于其他 SOTA 模型。 |
| Psychoacoustic Challenges Of Speech Enhancement On VoIP Platforms Authors Joseph Konan, Ojas Bhargave, Shikhar Agnihotri, Shuo Han, Yunyang Zeng, Ankit Shah, Bhiksha Raj 在 VoIP 互联网协议语音电信领域内，声学变换带来的复杂性值得严格分析。这项研究植根于对专有的发送方降噪效果的探索，仔细评估了 Google Meets 和 Zoom 等平台。该研究利用了 Deep Noise Suppression DNS 2020 数据集，确保针对各种去噪设置和接收器接口进行结构化检查。通过瓦哈卡分解引入了一种方法论上的新颖性，瓦哈卡分解传统上是一种计量经济学工具，在本文中被重新用于分析 VoIP 系统内的声学语音扰动。为了进一步确定这些转变的影响，利用心理声学指标，特别是 PESQ 和 STOI，来提供对言语改变的全面理解。总的来说，获得的见解强调了 VoIP 对声学动态影响的复杂情况。除了主要发现之外，还报告了多种指标，扩大了研究范围。 |
| LLark: A Multimodal Foundation Model for Music Authors Josh Gardner, Simon Durand, Daniel Stoller, Rachel M. Bittner 音乐具有独特而复杂的结构，对于专家和现有的人工智能系统来说都难以理解，并且相对于其他形式的音频也提出了独特的挑战。我们推出了 LLark，一种用于音乐理解的指令调整多模态模型。我们详细介绍了数据集创建过程，其中涉及增强不同开源音乐数据集的注释并将它们转换为统一的指令调整格式。我们为 LLark 提出了一种多模式架构，将预训练的音乐生成模型与预训练的语言模型集成在一起。在对音乐理解、字幕和推理三类任务的评估中，我们表明我们的模型在音乐理解的零样本泛化方面匹配或优于现有基线，并且人类在字幕和推理方面与模型的响应表现出高度一致。推理任务。 LLark 完全根据开源音乐数据和模型进行训练，我们随本文的发布提供了训练代码。 |
| Acoustic Model Fusion for End-to-end Speech Recognition Authors Zhihong Lei, Mingbin Xu, Shiyi Han, Leo Liu, Zhen Huang, Tim Ng, Yuanyuan Zhang, Ernest Pusateri, Mirko Hannemann, Yaqiao Deng, Man Hung Siu 深度学习和自动语音识别 ASR 的最新进展使端到端 ASR 系统成为可能，并将准确性提高到了新的水平。 E2E 系统在受音频文本对训练的单个网络中隐式建模所有传统 ASR 组件，例如声学模型 AM 和语言模型 LM 。尽管系统架构更简单，但将专门在文本语料库上训练的单独的语言模型融合到 E2E 系统中已被证明是有益的。然而，LM融合的应用存在一定的缺点，例如它无法解决内部AM固有的域失配问题。受到 LM 融合概念的启发，我们提出将外部 AM 集成到 E2E 系统中，以更好地解决域不匹配问题。通过实施这种新颖的方法，我们显着降低了单词错误率，在不同的测试集中，单词错误率下降了高达 14.3，令人印象深刻。 |
| Neural Harmonium: An Interpretable Deep Structure for Nonlinear Dynamic System Identification with Application to Audio Processing Authors Karim Helwani, Erfan Soltanmohammadi, Michael M. Goodwin 提高深度神经网络的可解释性最近引起了越来越多的关注，特别是当利用深度学习的力量来解决物理问题时。可解释性帮助我们了解模型概括和揭示其局限性的能力。在本文中，我们介绍了一种用于动态系统建模的因果可解释深层结构。我们提出的模型通过在时频域中对系统进行建模来利用谐波分析，同时保持高时间和频谱分辨率。此外，该模型以阶递归方式构建，允许快速、鲁棒且精确的二阶优化，而不需要显式的 Hessian 计算。为了避免系统构建块的高维性，设计了神经网络来识别频率相互依赖性。所提出的模型在音频信号处理任务所需的非线性系统识别问题上进行了说明和验证。 |
| Prosody Analysis of Audiobooks Authors Charuta Pethe, Yunting Yin, Steven Skiena 文本到语音的最新进展使得从文本生成自然声音的音频成为可能。然而，有声读物的叙述涉及读者戏剧性的发声和语调，更多地依赖叙述中的情感、对话和描述。使用 93 个对齐的有声读物对的数据集，我们提出了使用语言建模从叙述文本中预测音调、音量和语速的韵律属性的改进模型。与最先进的商业 TTS 系统的结果相比，我们预测的韵律属性与人类有声读物阅读的相关性要好得多。我们预测的音调显示出 24 本书中 22 本书与人类阅读的相关性更高，而我们预测的音量属性则与人类的阅读更相似。阅读 24 本书中的 23 本书。 |
| Deep Video Inpainting Guided by Audio-Visual Self-Supervision Authors Kyuyeon Kim, Junsik Jung, Woo Jae Kim, Sung Eui Yoon 人类可以根据他们对视听事件的先验知识，轻松地从听觉信息中想象出场景。在本文中，我们在深度学习模型中模仿人类这种与生俱来的能力，以提高视频修复的质量。为了实现先验知识，我们首先训练视听网络，该网络学习听觉和视觉信息之间的对应关系。然后，视听网络被用作引导器，将视听对应的先验知识传递给视频修复网络。这种先验知识通过我们提出的两种新颖的损失来转移：视听注意力损失和视听伪类一致性损失。这两种损失通过鼓励修复结果与其同步音频具有高度对应性，进一步提高了视频修复的性能。 |
| Audio-Visual Neural Syntax Acquisition Authors Cheng I Jeff Lai, Freda Shi, Puyuan Peng, Yoon Kim, Kevin Gimpel, Shiyu Chang, Yung Sung Chuang, Saurabhchand Bhati, David Cox, David Harwath, Yang Zhang, Karen Livescu, James Glass 我们从视觉基础语音中研究短语结构归纳。其核心思想是首先将语音波形分割成词段序列，然后使用推断的段级连续表示来归纳短语结构。我们推出了视听神经语法学习器 AV NSL，它可以通过听音频和查看图像来学习短语结构，而无需接触文本。通过对配对图像和语音字幕进行训练，AV NSL 展现出推断有意义的短语结构的能力，这些结构与自然监督的文本解析器导出的英语和德语短语结构相当。 |
| Adapting the adapters for code-switching in multilingual ASR Authors Atharva Kulkarni, Ajinkya Kulkarni, Miguel Couceiro, Hanan Aldarmaki 最近，大型预训练多语言语音模型已显示出将自动语音识别 ASR 扩展到许多低资源语言的潜力。其中一些模型在其公式中采用了语言适配器，这有助于提高单语言性能并避免在资源丰富的语言上进行多语言建模的一些缺点。然而，这种表述限制了这些模型在代码交换语音上的可用性，其中两种语言在同一个话语中混合在一起。在这项工作中，我们提出了通过在网络中每个语言适应点吸收来自两种语言适配器的信息来有效地微调代码交换语音的此类模型的方法。我们还将代码交换建模为一系列潜在的二进制序列，可用于在帧级别引导来自每个语言适配器的信息流。 |
| DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation Authors Qingkai Fang, Yan Zhou, Yang Feng 直接语音到语音翻译 S2ST 使用单一模型将语音从一种语言翻译成另一种语言。然而，由于语言和声学多样性的存在，目标语音遵循复杂的多模态分布，这对 S2ST 模型实现高质量翻译和快速解码速度提出了挑战。在本文中，我们提出了 DASpeech，一种非自回归直接 S2ST 模型，它实现了快速且高质量的 S2ST。为了更好地捕获目标语音的复杂分布，DASpeech 采用两通道架构将生成过程分解为两个步骤，其中语言解码器首先生成目标文本，然后声学解码器根据隐藏状态生成目标语音语言解码器的。具体来说，我们使用DA Transformer的解码器作为语言解码器，并使用FastSpeech 2作为声学解码器。 DA Transformer 使用有向无环图 DAG 对翻译进行建模。为了在训练期间考虑 DAG 中的所有潜在路径，我们通过动态编程计算每个目标标记的预期隐藏状态，并将它们输入声学解码器以预测目标梅尔声谱图。在推理过程中，我们选择最可能的路径并将该路径上的隐藏状态作为声学解码器的输入。 CVSS Fr En 基准测试表明，DASpeech 可以实现与最先进的 S2ST 模型 Translatotron 2 相当甚至更好的性能，同时与自回归基线相比保持高达 18.53 倍的加速。与之前的非自回归S2ST模型相比，DASpeech不依赖知识蒸馏和迭代解码，在翻译质量和解码速度上均实现了显着提升。 |
| Investigating the Effect of Language Models in Sequence Discriminative Training for Neural Transducers Authors Zijian Yang, Wei Zhou, Ralf Schl ter, Hermann Ney 在这项工作中，我们研究了在基于音素的神经传感器的序列判别训练中使用的具有不同上下文长度和标签单元音素与单词的语言模型 LM 的效果。检验了无格方法和 N 最佳列表方法。对于具有音素级 LM 的无格方法，我们提出了一种近似上下文历史的方法，以使用具有完全上下文依赖性的 LM。这种近似可以扩展到任意上下文长度，并允许在无格方法中使用字级语言模型。此外，还对无格方法和基于 N 最佳列表的方法进行了系统比较。 Librispeech 上的实验结果表明，在训练中使用单词级 LM 优于音素级 LM。此外，我们发现用于概率计算的 LM 的上下文大小对性能的影响有限。 |
| Chinese Abs From Machine Translation |
Papers from arxiv.org
更多精彩请移步主页
pic from pexels.com
![【Java】jdk9为何要将String的底层实现由char[]改为byte[]](https://img-blog.csdnimg.cn/b66e1638a26a4dbbb7b4d44375a5ef7f.png)
