NCMMSC论文介绍 | 探索语音自监督模型的高效融合算法

news2025/1/18 11:56:40

本文介绍了清华大学语音与音频技术实验室（SATLab）与上海交通大学跨媒体语言智能实验室（X-LANCE）合作的NCMMSC录用论文：Exploring Effective Fusion Algorithms for Speech Based Self-Supervised Learning Models。该论文提出了一系列语音自监督模型融合算法，并基于语音自监督模型的评测框架SUPERB展开一系列实验。实验结果表明，该论文中提出的融合算法，有效地结合了目前表现出色的语音自监督模型 HuBERT 与 Data2vec 的优势，提高了模型在说话人识别与语音识别任务上的表现。

01语音自监督模型各有偏好

近年来，自监督学习在语音领域取得巨大成功。语音自监督学习的一般思想，是基于语音的上下文信息进行重构或预测自身，使模型能够在无监督的情况下有效地学习底层结构信息。语音自监督模型可以在大量的无标记语音数据上进行预训练，然后在特定的下游任务上用少量的标注语音进行微调，以实现显著的性能提高。目前已涌现出一系列成功的语音自监督模型，如Wav2vec 2.0，HuBERT，WavLM，Data2vec等。

现有的研究表明，不同的语音自监督模型，对下游任务的偏好不同。在我们的工作中，我们基于SUPERB——一个语音自监督模型评测框架，首次评测了 Data2vec 在不同任务上的表现，并与现有的自监督模型进行对比。我们发现，一些模型在说话人相关的任务上表现出色，例如 HuBERT；一些模型在内容相关的任务上出类拔萃，例如 Data2vec。同时我们也发现，对于偏好不同的模型，其内部的transformer层编码了截然不同的信息，如图1所示。

图1. SUPERB评测系统中，HuBERT 与 Data2vec 在不同下游任务上的权重对比

我们思考，能否做到一种融合算法，将不同自监督模型的信息有效地提取并融合，使融合模型能够综合各模型的优点，在不同的下游任务上做到“十项全能”呢？基于此，我们提出了一系列融合算法，希望能够融合不同模型的优势。

02 语音自监督模型融合算法

我们提出并比较了四种针对多种自监督模型的融合方法（如图2所示）：两种特征级融合和两种概率级融合。这四种方法的模型融合阶段，按照信息交互时间依次向后伸。

图2. 语音自监督模型的四种融合方式

设函数F表示下游模型，m为要融合的模型个数，l为每个模型的层数，wij，hij分别表示第 i 个模型的第 j 层特征的权值和隐层向量。

第一种融合算法，是简单地直接融合各模型特征。如图（2）a 图所示，我们直接将各模型各层特征进行线性加权，得到的融合特征送入下游模型中。这里，不同模型在前向传播后直接进行信息交流，最终针对特定任务的概率分布为

第二种融合算法，是对各模型进行结构化的融合。如图（2）b 图所示，首先，我们对每个自监督模型的不同层的特征进行加权求和；然后，我们应用第一步中这些输出再进行结构化的加权，以得到下游模型的输入。这里，不同模型提取的信息经历了各自的特征融合器之后才进行交流融合，最终得到针对特定任务的概率分布为

第三种融合算法，是在概率层面进行融合。如图（2）c 图所示，对于每个自监督模型，我们对不同层的特征进行加权，并将结果输入下游模型。下游模型的输出形成了一个任务标签的概率分布。我们在这里融合不同模型得到的概率分布，并使用融合的概率分布进行推理。不同模型提取的信息经过相同的下游模型后相互融合，最终得到的概率分布可表示为

第四种融合算法，与第三种类似，但不同自监督模型各自享有独立的下游模型，如图（2）d 图所示。不同下游模型产生的概率分布将被融合，融合的分布将用于最终的推断，最终的概率分布可表示为

03 模型融合实验与分析

为了更好地对比模型融合的效果，我们基于SUPERB，令自监督模型在微调过程中被冻结，只有较小的下游模型与模型的特征融合器（Featurizer）可以被更新。我们选择 Data2vec 和 HuBERT 作为待融合的模型，因为他们对下游任务不同的偏好，正是我们想要的。我们主要分析两大任务：说话人识别与语音识别，它们分别是说话人相关任务与内容相关任务的典型代表。

如图3所示，实验结果表明，对于说话人相关任务，仅仅是简单的特征融合，会大幅降低识别的准确率。这一大幅衰减，可以通过结构化的模型融合来避免。这一结论同样对语音识别任务有效。这可能是因为，如果直接融合往往会混淆信息，因为不同模型的内在特征有很大的不同，进行结构化加权后能够更好地利用模型的能力，而不会引起模型间的信息混淆。

同时，我们发现，对于说话人识别任务，信息交换的阶段越接近任务的标签，融合效果就越加有效。