为了改进 Noisy Student Training 在非目标领域 ASR 上的性能，英伟达提出新型数据筛选方法 LM Filter。其利用不同解码方式的识别文本之间的差异来作为数据筛选条件，是一个完全无监督的筛选过程。在 AIShell-1 上与无数据筛选的基线相比可以有 10.4% 的性能提升；在 AIShell-2 上可以取得 4.72% 字错误率。
目前该工作已投稿 ICASSP 2023，论文预览版可见：https://arxiv.org/pdf/2211.04717.pdf
代码已开源在 WeNet 社区，详见：
https://github.com/wenet-e2e/wenet/tree/main/examples/aishell/NST
Noisy Student Training 简介
半监督学习一直在语音识别领域受到广泛关注。这两年，Noisy Student Training (NST) 刷新并保持了 Librispeech 上 SOTA 结果[1]，并且在数据量相对充沛的情况下，增加无监督数据仍然可以提升性能，因此有大批学术界和工业界的从业者在关注和改进该方法。
NST 可以看作是 Teacher Student Learning 的改进版本，它是一个自我迭代的过程。首先，我们使用有监督数据训练好一个 teacher 模型，使用这个模型在无监督数据上做 inference 得到伪标签。接着将带伪标签的无监督数据和有监督数据混合到一起，来训练 student 模型，在训练的时候通常会加入一些噪声来使得模型更加鲁棒，例如语音上常用的 SpecAug。我们让 student 成为新的 teacher，以此类推。这个过程如下图所示。
Motivation
NST 并没有在中文 ASR 任务中得到广泛研究，尤其是在有监督数据的领域与无监督数据的领域不匹配的情况下。
噪声和领域在 ASR 中起着重要的作用，来自社交媒体的大量无监督数据并不总能匹配任务所需的领域。因此，我们需要适当的数据筛选策略(Data Selection Strategy)来去除噪声并选择接近目标领域的数据。
常见的数据筛选策略
ASR 中最常见的数据筛选方式是置信度分数(Confidence Score)，它根据置信度来选择合适的阈值来选择出可信的文本。但是，在具有大量领域不匹配的无标签数据的情况下，这种方法不一定可行。
近期有另一种新颖的无监督数据筛选的方式被提出[2]，作者使用额外的对比语言模型（Contrastive Language Model）用作数据筛选，从而更好地改进目标域 ASR 任务。
在本文中，我们提出了一种新型的数据筛选策略，称之为 LM Filter，它可以利用模型差异性来筛选出更有价值的非目标领域的数据，来提高 NST 的性能。这种方法有以下的好处：
-
不需要额外的数据筛选模型。模型的差异可以从不同的解码策略（例如加不加语言模型）中获得。
-
不需要标签来进行数据筛选，是一个完全无监督的筛选过程。
-
训练 NST 所用的时间和资源更少，并且它可以在更少的迭代中更快地收敛。
LM Filter
一个发现
在一开始，我们在中文数据集上做了标准的 NST 迭代，我们将 AISHELL-1 作为有监督数据，AISHELL-2 作为无监督数据，没有使用任何筛选策略。我们计算生成的伪标签的 CER 为8.38%，这个结果是相当好的。
但是，当我们把无监督数据替换成具有不同领域和噪声更大的 WenetSpeech 数据集时，伪标签的 CER 急剧增加到 47.1%，这样的数据不足以用作训练及迭代。因此我们提出 LM filter 来提高 NST 在非目标域数据上的性能。
有用的定义
我们的假设是，如果语言模型认为这个句子不需要任何进一步的修改，那么这个句子就有更高的概率是一个正确的伪标签。在这里，我们介绍两个定义和示例，以更好地理解 LM Filter 的工作原理，我们定义：
-
CER-Hypo为 student 模型的 greedy search 解码得到的 Hypothesis 与带语言模型解码的 Hypothesis 之间的 CER。 -
CER-Label为 student 模型 Hypothesis 和真实标注之间的 CER。
举个例子
下图列出了两种情况。在 Case 1 中，greedy decoding 和带语言模型解码的 Hypothesis 的差异是1个字符（“数”和“诉”），所以CER-Hypo=16.67%。在这种情况下，CER-Label也是16.67%（“申”和“胜”）。
在 Case 2 中，这个句子比上个例子中的句子更具挑战性。Student 模型仅学习了部分声学特征，但解码结果大部分是错误的。在这种情况下，LM 倾向于进行更多修改。故而，CER-Hypo 和 CER-Label 两者在这种情况下都非常高。
CER-Hypo 和 CER-Label 的相关性
大量的 case 表明 CER-Hypo 和 CER-Label 具有很强的正相关性，具有较低 CER-Hypo 的句子往往具有较低的 CER-Label。我们的 LM Filter 使用 CER-Hypo 作为阈值（例如10%）来过滤掉高 CER-Label 的数据。
我们还观察到，相似领域的无监督数据，更有可能得出更低的 CER-Hypo 值。例如，在 WeNetSpeech 的无监督数据中，领域为广播和新闻的数据往往具有较低的 CER-Hypo，然而电视剧和综艺等非目标域更有可能被 LM Filter 过滤掉。
实验结果和分析
我们使用 AISHELL-1 作为有监督数据，AIShell-2 和 WeNetSpeech 分别作为无监督数据进行实验。模型结构为16层的 Conformer。实验使用 WeNet 工具，并且代码已经贡献到 WeNet 社区。如何在 WeNet 里面使用 LM Filter 做 NST 也会在下一小节做介绍。
Baselines
我们有使用不同的数据以下几组基线实验：
-
有监督训练：
-
AISHELL-1
-
AISHELL-1 加上有标注的 WeNetSpeech
-
AISHELL-1 加上有标注的 AISHELL-2
-
-
标准 NST：
-
AISHELL-1（有监督数据）和 WeNetSpeech（无监督数据）
-
AISHELL-1（有监督数据）和 AISHELL-2（无监督数据）
-
分别在 AISHELL-1 的测试集上计算 CER，详细的结果见下表：
| Supervised | Unsupervised | Test CER |
|---|---|---|
| AISHELL-1 Only | ---- | 4.85 |
| AISHELL-1 + WenetSpeech | ---- | 3.54 |
| AISHELL-1 + AISHELL-2 | ---- | 1.01 |
| AISHELL-1 (standard NST) | WenetSpeech | 5.52 |
| AISHELL-1 (standard NST) | AISHELL-2 | 3.99 |
从结果中可以看出，由于 AISHELL-2 与AISHELL-1 的领域和噪声环境一致，进行有监督训练时的 CER 非常低。并且在使用 AISHELL-2 作为无监督数据，进行一次标准的 NST迭代时，CER 有明显的一个下降。但是我们将无监督数据换成 WeNetSpeech 时，CER 不降反增：从 4.85% 提高到 5.52%。
LM Filter 的有效性
在有监督的 AISHELL-1 数据和无监督的 WenetSpeech 数据上，并且使用 LM Filter 的性能见下表。在经过7次 NST 迭代后可以达到4.31%的最佳 CER。与有监督的基线相比，CER 可以减少 11.13%。
| # nst iteration | AISHELL-1 test CER | Pseudo CER | Filtered CER | Filtered hours |
|---|---|---|---|---|
| 0 | 4.85 | 47.10 | 25.18 | 323 |
| 1 | 4.86 | 37.02 | 20.93 | 436 |
| 2 | 4.75 | 31.81 | 19.74 | 540 |
| 3 | 4.69 | 28.27 | 17.85 | 592 |
| 4 | 4.48 | 26.64 | 14.76 | 588 |
| 5 | 4.41 | 24.70 | 15.86 | 670 |
| 6 | 4.34 | 23.64 | 15.40 | 669 |
| 7 | 4.31 | 23.79 | 15.75 | 694 |
除了测试集的 CER 外，我们还使用以下三个指标来评估伪标签的质量：Pseudo CER，即伪标签本身的 CER；Filtered CER 和 Filtered hours，即过滤后的无监督数据的 CER 和数据时长。
在第一次 NST 迭代后，LM Filter 可以将 Pseudo CER 从 47.1% 降低到 25.18%，这使得伪标签可以满足进一步的训练。Pseudo CER 和 Filtered CER 随着迭代次数的增加而减少，而 LM Filter 也允许更多的无监督数据进入 NST 迭代。这表明 LM Filter 可以逐渐学习噪声信息，而我们的 student 模型可以更多地利用非目标域的数据。
多轮迭代
为了夯实我们数据筛选策略的有效性，我们在 AISHELL-1 + WeNetSpeech 上做了多轮标准 NST 的迭代，以及加上 LM Filter 之后的对比图。此外，也在AISHELL-1 + AISHELL-2 上做了多轮迭代。详细的结果见下图。
图a. 可以明显看出，不加任何数据筛选的情况下，7轮迭代后的 CER 与 baseline 相比没有明显变化；而我们的 LM Filter 可以有 10.4% 的性能提升，并且模型训练时间较短、收敛更快。Pseudo CER 逐渐下降，筛选后的数据大小在每次训练迭代后也逐渐增加（见图d.下）。
大数据上的性能
我们在 AISHELL-2 上也进行了相关实验，结论与 AISHELL-1 一致，结果见下表。
| # nst iteration | AISHELL-2 test CER | Pseudo CER | Filtered CER | Filtered hours |
|---|---|---|---|---|
| 0 | 5.48 | 30.10 | 11.73 | 1637 |
| 1 | 5.09 | 28.31 | 9.39 | 2016 |
| 2 | 4.88 | 25.38 | 9.99 | 2186 |
| 3 | 4.74 | 22.47 | 10.66 | 2528 |
| 4 | 4.73 | 22.23 | 10.43 | 2734 |
Recipe in WeNet
我们在 WeNet 中已经贡献了使用 LM Filter 来进行 NST 训练的代码：
Quick Start
如果你想要快速地复现上述实验，你可以直接运行下面的命令，该命令会训练初始的 teacher 模型，并进行两次 NST 的迭代。:
bash run.sh --stage 1 --stop-stage 2 --iter_num 2
在训练好初始模型后，我们会自动开始解码，得到无监督数据上的伪标签。接着根据伪标签的 CER_hypo 选择合适阈值进行数据筛选。将筛选好的无标签数据和有标签数据打包，生成用于训练的新的 datalist，从而进行新一轮的 NST 迭代。更加详细的参数和配置，可以参考 run.sh 或者 run_nst.sh。
LM Filter 的实现
在 WeNet 中，我们是通过 local/generate_filtered_pseudo_label.py 这个脚本来实现 LM Filter 这个功能。通过传入 --cer_hypo_threshold 这个参数来配置相应的阈值，并且选择出满足条件的半监督数据。
在选完满足条件的数据之后，我们还提供 local/generate_data_list.py 来自动生成用于下一轮 NST 训练的数据列表。在生成训练用的数据列表时，可以通过配置 --pseudo_data_ratio 来动态调整有监督数据和无监督数据的比例。
最后，欢迎大家 cite 文章、试用 recipe 和提 issue~
References
-
Y. Zhang, J. Qin, D. S. Park, W. Han, C.-C. Chiu, R. Pang, Q. V. Le, and Y. Wu, “Pushing the limits of semi-supervised learning for automatic speech recognition.,” CoRR, vol. abs/2010.10504, 2020.
-
Z. Lu., Yongqiang W., Y. Zhang, W. Han, Zhehuai Chen, and Parisa Haghani, “Unsupervised Data Selection via Discrete Speech Representation for ASR,” in Proc. Interspeech 2022, 2022, pp. 3393–3397.
