Mustango：利用领域知识的音乐生成模型
论文地址：https://arxiv.org/pdf/2311.08355.pdf
源码地址：https://github.com/amaai-lab/mustango
论文题为**“**利用音乐领域知识开发文本到音乐模型’Mustango’”。它利用音乐领域的知识从文本指令中生成音乐。本研究的实验表明，Mustang 在利用文本引导生成音乐方面的表现明显优于其他模型。而且，Mustango 是一种基于音乐理论的创新生成模式，具有扩大创意活动范围的潜力。
Mustango 模型结构
传播模型的最新发展大大提高了文本到音乐生成模型的性能。然而，现有模型完全没有考虑对生成音乐的节奏、和弦进行和调性等音乐方面的精细控制。
在这项研究中，Mustango 被提出作为一种能够生成具有音乐性的音乐的模型。具体来说，该模型设想的文字提示不仅包含一般的文字说明，还包含音乐元素，如
- 和弦进行
- 拍击
- 速度
- 密钥
Mustango 的模型结构如下。
其基本结构以潜在扩散模型为基础，该模型将语音波形→mel-spectrogram→潜在表示（经 VAE 压缩）进行转换，并将扩散模型应用于潜在表示。本研究还采用了用于音乐生成的 UNet 专用版本MuNet 作为扩散模型。
具体来说，在使用 MuNet 去噪之后，通过将潜表征→mel-spectrogram（由 VAE 重构）→语音波形（由 HiFi GAN 重构）转换生成音乐。
MuNet 调节
如前所述，MuNet 是 UNet 针对音乐的扩散模型。在本研究中，它扮演着去噪的角色：对 MuNet 的调节按以下步骤进行。
- 文本编码器（FLAN-T5）从输入文本中获取嵌入信息
- 使用节拍和和弦编码器提取节拍和和弦特征
- 依次整合文本嵌入、节拍功能和代码功能的跨附件功能。
节拍编码器（DeBERTa Large）对文本提示中的节拍计数和节拍间隔进行编码。
和弦编码器（FLAN-T5 Large）还能根据文本提示和节拍信息对和弦进行编码。
建立大型数据集 “MusicBench”
在根据文本指令生成音乐领域，缺乏 "文本-音乐 "配对数据集也是一个问题。例如，近年来经常被用作音乐生成领域基准的数据集 "MusicCaps "仅包含约 5000 个条目。
这些数据的缺乏是进一步提高音乐生成模型性能的绊脚石。
为了弥补这些数据的不足，本研究以上述 MusicCaps 为基础，采用独特的数据扩展方法建立了一个大型数据集 MusicBench。
具体来说，MusicBench 是通过以下步骤从 5,479 个 MusicCaps 样本中建立起来的。
- 将 MusicCaps 分成 TrainA 和 TestA。
- 从 TrainA 和 TestA 音乐数据中提取节拍、和弦、调性和速度信息。
- 在步骤 2 中，在 TrainA 和 TestA 的标题中添加一句话来描述音乐特征，从而创建 TrainB 和 TestB。
- 在 ChatGPT 中转述 TrainB 的标题，创建 TrainC。
- 通过剔除低音质样本，从 TrainA 中提取了 3 413 个样本
- 在步骤 5 中，对音乐数据进行数据扩展，以改变音高、节奏和音量，生成 37,000 个样本。
- 在步骤 6 的样本中随机添加 0-4 个标题句子
- 使用 ChatGPT 对步骤 7 中的标题进行转述。
- 训练 A、训练 B、训练 C，结合步骤 5~8 扩展的数据
通过上述步骤，构建了一个大型数据集 MusicBench，其中包含 52 768 个最终训练数据样本（比 MusicCaps 大 11 倍）。
顺便提一下，在使用 ChatGPT 进行转述时，使用了以下提示。
音乐特征提取模型
在上述步骤 2 中，我们从音乐数据中提取了四种音乐特征–节拍、顺拍、和弦、调性和速度，并将其添加到现有的文本提示中。
在此过程中，一个名为 BeatNet 的模型被用于提取节拍和下拍的特征。
至于节奏（BPM），他们通过平均节拍之间时间间隔的倒数来估算。
与和弦进行相关的特征是通过一个名为 Chordino的模型提取的，而音调则是通过 Essentia 的 KeyExtractor 算法提取的。
音乐数据和文本数据的扩展方法
在上述步骤 6 中，对音乐数据进行数据扩展，以改变音高、节奏和音量。在此过程中，上述三个音乐特征会发生如下变化。
- 使用 PyRubberband 在 ±3 个半音的范围内移动音乐的音高
- 节奏变化范围为 ±5-25%。
- 音量渐变（包括渐强和渐弱）。
此时，扩充音乐数据附带的文本提示也会被采集，以与扩充音乐数据相匹配。
这种方法的效果
为了检验Mustango 生成的音乐的质量和数据集 MusicBench 的有效性，对客观和主观指标进行了评估。
客观指标评估
客观指标评价采用弗雷谢特距离（FD）、弗雷谢特音频距离（FAD）和 KL 发散来评估生成音乐的质量。
评估使用了 TestA、TestB 和 FMACaps 测试数据。
结果如下
使用 MusicCaps 训练的 Tango 模型不如其他模型，这说明了 MusicBench 的有效性。还可以看出，使用 MusicBench 微调的预训练 Tango 和 Mustango 模型在 FD 和 KL 上的表现不相上下，但 Mustango 在 FAD 上的表现明显更好。
此外，在所有测试集上，Mustango 的 FAD 和 KL 均优于 MusicGen 和 AudioLDM2。
除此评估外，还定义了节奏、调性、和弦和节拍等九个音乐特征指标，并评估生成的音乐是否按照文本的指示表达了这些音乐特征。
评估使用了 TestB 和 FMACaps 测试数据。
结果如下
测试 B 显示，除 MusicGen 外，所有模型在节奏方面的表现都相当，而在节拍方面，不同模型之间的表现也相似。在关键字方面，在 MusicBench 中训练的模型明显优于在 MusicCaps 中训练的模型。其中，Mustango 在 TestB 中的表现优于所有其他模型，在 FMACaps 中排名第二。在和弦方面，Mustango 明显优于所有其他型号。
结果表明，Mustango 是控制和弦进行的最有效模型。
主观指标评估
主观评价包括对普通听众和专家（至少有五年音乐教育经验）进行问卷调查。
第一轮比较 Mustango 与 Tango，第二轮比较 Mustango 与 MusicGen 和 AudioLDM2。
结果如下
在第一轮中，用 MusicCaps 训练的 Tango 在所有指标上都不如用 MusicBench 训练的模型，这说明了 MusicBench 的有效性。还可以看出，Mustango 在许多指标上都表现最佳。
环境部署
git clone https://github.com/AMAAI-Lab/mustango
cd mustango
pip install -r requirements.txt
cd diffusers
pip install -e .
import IPython
import soundfile as sf
from mustango import Mustango
model = Mustango("declare-lab/mustango")
prompt = "This is a new age piece. There is a flute playing the main melody with a lot of staccato notes. The rhythmic background consists of a medium tempo electronic drum beat with percussive elements all over the spectrum. There is a playful atmosphere to the piece. This piece can be used in the soundtrack of a children's TV show or an advertisement jingle."
music = model.generate(prompt)
sf.write(f"{prompt}.wav", audio, samplerate=16000)
IPython.display.Audio(data=music, rate=16000)
总结
本文介绍了对使用音乐领域知识的音乐生成人工智能 Mustango 的研究。这项研究的局限性之一是，由于计算资源的限制，目前的 Mustango 最多只能生成 10 秒钟的音乐。他们还说，目前的 Mustango 主要只能处理西方的音乐形式，在创作其他文化的音乐方面能力较弱。因此，作为未来的研究，他们计划 “生成时间更长的音乐”，并 “将其应用于更多样化的音乐流派，例如处理非西方音乐”。虽然 Mustango 在许多指标上都达到了 SOTA，但我感觉它在某些方面的性能仍然不如其他型号。尽管如此，就本研究中构建的数据集 MusicBench 而言，它似乎已被证明是有效的，因此在很大程度上可用作未来研究的基准。
