转换示例
谷歌旗下的DeepMind与视频平台YT合作,发布了目前最先进的音乐模型——Lyria。
为了突破传统音乐模型的生硬机器感,谷歌汇集了多个部门并与Charlie Puth、T-Pain、Troye Sivan等9位知名音乐人共同研发了Lyria。
Lyria可生成爵士、重金属、摇滚、电子、流行等多种类型音乐。由于专业音乐人的加入,使得Lyria在歌词、旋律、节奏、模拟人声等方面非常卓越达到以假乱真的效果。
例如,生成的Charlie Puth音乐和本人演唱的几乎无差别。
AI生成的Charlie Puth歌曲
生成的T-Pain歌曲-2
Lyria简单介绍
通常,一首歌曲包含大量数据,需要考虑节拍、音符、和声、乐器搭配等多种元素。
在生成长序列声音时,AI模型难以在短语、节和延伸段落间保持音乐的连续性。所以,AI生成音乐的难度远远超过纯背景音乐。
谷歌研究人员采用了一种全新的方法来开发Lyria,在生成高质量、逼真音乐的同时,还能让用户对风格和个性化进行更详细的控制。
目前,谷歌在YT平台通过Lyria模型开展了一项名为“Dream Track”的实验,目的是帮助音乐人加速音乐制作,为其粉丝带来一种全新的音乐风格。
在该实验中,部分创作者可以使用Dream Trac生成包括Alec Benjamin、Charlie Puth、Charli XCX、Demi Lovato、John Legend、Sia、T-Pain等艺术家,带有AI生成声音和音乐风格的独特原声歌曲。
使用Dream Track方法非常简单,用户只需要输入一段文本,然后选择一名音乐人风格,就能生成一个30秒的短音乐,同时可以生成歌词、伴奏等。
使用界面
此外,Lyria模型还有一项非常强大的功能,可以将音频、音乐转直接换成另外一种风格,例如,把一首流行歌曲转换成管弦乐谱;将MIDI 键盘和弦,转换为声乐合唱团的声音。
转换示例-4
转换示例
转换示例-2
对AI音乐添加水印
为了提升AI的安全,避免用户通过Lyria生成的音乐乱用,谷歌将自研的SynthID水印直接内置在其中。
Lyria生成的所有歌曲都带有数字水印,人的耳朵听不见也不会影响音乐的效果。主要通过音频波转换为二维可视化来实现。
水印示例
即便数字水印遭受了添加噪声、音质压缩、音频调速等破坏性操作,仍然可以检测到歌曲中的水印。
谷歌表示,Lyria可以彻底改变音乐的创作模式,可以帮助制作人简化繁琐、重复的流程,同时能激发他们的灵感,可以创造更多丰富、有节奏的好音乐。
未来,将继续与音乐人、公司合作,增强Lyria的功能和使用范围。
本文素材来源谷歌官网,如有侵权请联系删除
END