用AI打造一个属于自己的歌手，让她C位霸气出道

news2024/12/26 11:08:55

一、前言

今天玩儿点儿特别的，AI大行其道的今天，还没玩过AI模型的程序员绝对不是个好厨子。我本人比较喜欢音乐，但是一直没有出道，很是遗憾。那么今天，我就使用AI模型亲手打造一个堪比真人的歌手，让她C位霸气出道。

首先，让这位女歌手露一嗓子：点我试听

唱的还不错吧，接下来咱们来分析这位歌手是如何打造出来的。

二、技术

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体，2016 年正式开源，是全面开源开放、技术领先、功能完备的产业级深度学习平台。

上面的介绍是不是很唬人？从百度飞桨官网贴过来的。显然，本文使用的技术是基于百度飞桨框架打造，当然了，你要让我从零开始搞AI......那我还是选择当厨子。

飞桨Hub(PaddleHub)是基于PaddlePaddle生态下的预训练模型，旨在为开发者提供丰富的、高质量的、直接可用的预训练模型。

说白了，这个飞桨Hub是模型集中营，提供了很多已经训练好的模型，用户可以拿来直接使用，而不需要再耗费过多的精力、资源去自己训练模型。

Python，飞桨平台基于Python语言实现，不必多说了，毕竟，Python是世界上最好的语言.java。

Anaconda，是一个常用的python包管理程序，可以方便的管理我们的多个Python环境。比如你的A软件需要基于Python3.7，B软件需要基于Python3.8，用Anaconda可以方便的对不同的环境进行管理和切换。

三、环境搭建

1、安装Anaconda

到官网https://www.anaconda.com/或者https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载一个较新的版本即可。

安装过程很简单，猛点下一步即可，建议你安装到C盘之外的盘。

即便你装在了D盘，但是创建环境的时候，环境信息默认还是会被创建到C盘，所以还应该做如下操作：

编辑C:\Users\你的用户名\.condarc文件（如果没有此文件请手动创建），文件内容如下：

channels:
  - defaults
envs_dirs: [D:\anaconda3\envs]
pkgs_dirs: [D:\anaconda3\pkgs]

这样环境信息就会被保存在D盘了。

2、创建Python环境

找到刚刚安装的anaconda，打开Anaconda Prompt命令行工具，执行如下语句：

conda create --name paddle_env python=3.8 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

以上代码表示，创建一个Python3.8的环境，环境名称为paddle_env，软件源从https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 地址下载。

3、安装百度飞桨环境

输入如下命令，表示接下来的所有操作，我要在刚才创建的那个名为paddle_env的环境中进行：

conda activate paddle_env

输入如下命令，表示安装百度飞桨基础环境：

pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

输入如下命令，表示安装百度飞桨Hub：

pip install paddlehub -i https://mirror.baidu.com/pypi/simple

最后，我们再新建一个环境变量HUB_HOME。因为paddlehub的模型下载安装时，会默认装在c盘。我们将HUB_HOME指到其他的磁盘即可。

四、安装模型

上面将基础环境搭建好了，接下来我们安装语音合成模型Diffsinger。

DiffSinger，一个基于扩散概率模型的 SVS 声学模型。DiffSinger 是一个参数化的马尔科夫链，它可以根据乐谱的条件，迭代地将噪声转换为旋律谱。通过隐式优化变异约束，DiffSinger 可以被稳定地训练并产生真实的输出。

上面在说什么，我也看不太懂。但通俗的说，这个模型可以将乐谱转换为旋律谱。

首先，这个模型依赖如onnxruntime包，我们通过如下命令进行安装：

pip install onnxruntime -i https://mirror.baidu.com/pypi/simple

然后，我们安装Diffsinger模型：

hub install diffsinger==1.0.0

五、创造歌手

目前万事俱备，我们开始创造歌手。

首先我们看这个模型的调用参数是怎样的：

inputs (Dict[str, str]): 输入数据格式如下；
{
  'text': '小酒窝长睫毛AP是你最美的记号',
  'notes': 'C#4/Db4 | F#4/Gb4 | G#4/Ab4 | A#4/Bb4 F#4/Gb4 | F#4/Gb4 C#4/Db4 | C#4/Db4 | rest | C#4/Db4 | A#4/Bb4 | G#4/Ab4 | A#4/Bb4 | G#4/Ab4 | F4 | C#4/Db4',
  'notes_duration': '0.407140 | 0.376190 | 0.242180 | 0.509550 0.183420 | 0.315400 0.235020 | 0.361660 | 0.223070 | 0.377270 | 0.340550 | 0.299620 | 0.344510 | 0.283770 | 0.323390 | 0.360340',
  'input_type': 'word'
}
sample_num (int): 生成音频的数量；
save_audio (bool): 是否保存音频文件；
save_dir (str): 保存处理结果的文件目录。

其中需要以下说明：

text：就是指要唱的歌曲歌词；

notes：表示歌词对应的曲谱；

notes_duration：表示歌词中每个字要唱的时长；

接下来，我们准备以下Python代码：

import paddlehub as hub

module = hub.Module(name="diffsinger")
results = module.singing_voice_synthesis(
  inputs={
    'text': '小酒窝长睫毛AP是你最美的记号',
    'notes': 'C#4/Db4 | F#4/Gb4 | G#4/Ab4 | A#4/Bb4 F#4/Gb4 | F#4/Gb4 C#4/Db4 | C#4/Db4 | rest | C#4/Db4 | A#4/Bb4 | G#4/Ab4 | A#4/Bb4 | G#4/Ab4 | F4 | C#4/Db4',
    'notes_duration': '0.407140 | 0.376190 | 0.242180 | 0.509550 0.183420 | 0.315400 0.235020 | 0.361660 | 0.223070 | 0.377270 | 0.340550 | 0.299620 | 0.344510 | 0.283770 | 0.323390 | 0.360340',
    'input_type': 'word'
  },
  sample_num=1,
  save_audio=True,
  save_dir='./outputs'
)

我们执行以上脚本：

python test.py

最终生成了开头贴出的唱段。

上面生成的是翻唱歌曲。接下来，我们再为歌手写一首原创主打歌曲，鄙人不才作词如下哈哈：

双手敲下黑白键盘，这首音乐你是否会喜欢

作曲可难倒我了，我打算找AI来帮忙，找百度文心一言生成以下曲谱：

C#4/Db4 | F#4/Gb4 | G#4/Ab4 | A#4/Bb4 | F#4/Gb4 | F4/G4 | C#4/Db4 | C#4/Db4 | rest | C#4/Db4 | A#4/Bb4 | G#4/Ab4 | F#4/Gb4 | C#4/Db4 | G#4/Ab4 | A#4/Bb4 | G#4/Ab4 | F#4 | C#4/Db4

每个字的持续时间瞎编一下：

0.407140 | 0.376190 | 0.242180 | 0.509550 | 0.183420 | 0.315400 0.235020 | 0.361660 | 0.223070 | 0.377270 | 0.340550 | 0.299620 | 0.344510 | 0.283770 | 0.323390 | 0.360340 | 0.509550 | 0.183420 | 0.315400 0.235020 | 0.661660

重新执行Python脚本，主打歌生成了：点我试听