前言
Stability AI这家以开源图像生成模型 Stable Diffusion 而闻名的公司,在 6 月 6 日宣布开源其最新的 AI 音频模型 Stable Audio Open。这一新模型可以根据简单的文本提示生成最多 47 秒的高质量音频数据,为音乐制作和声音设计领域带来了新的可能性。
-
Huggingface模型下载:https://huggingface.co/stabilityai/stable-audio-open-1.0
-
AI快站模型免费加速下载:https://aifasthub.com/models/stabilityai/stable-audio-open-1.0
技术特点
Stable Audio Open 的核心技术基于文本条件下的扩散模型(Diffusion Model),并结合了音频编码器和 T5 文本嵌入模型,实现了从文本到音频的高质量生成:
-
扩散模型: 模型的核心是基于 Transformer 架构的扩散模型 (DiT),它能够在音频编码器的潜在空间中进行操作,生成高质量的音频数据。
-
音频编码器: 模型使用了一个专门的音频编码器,将音频波形压缩成可管理的序列长度,方便扩散模型进行处理。
-
文本嵌入: 模型使用了预训练的 T5 模型 (t5-base) 对文本进行嵌入,将文本信息转化为模型可理解的向量,从而实现根据文本提示生成音频。
Stable Audio Open 1.0 可以生成长度可变 (最长 47 秒) 的立体声音频,采样率为 44.1kHz。该模型使用了 486,492 个录音数据进行训练,其中 472,618 个来自 Freesound,13,874 个来自免费音乐档案馆 (FMA)。所有音频文件均根据 CC0、CC BY 或 CC Sampling+ 获得了商业许可。
性能表现
Stable Audio Open 在音频生成方面表现出色,能够根据文本提示生成各种类型的音效,包括:
-
乐器音效: 例如钢琴、笛子、鼓点等。
-
环境音效: 例如雨声、风声、鸟叫声等。
-
音效素材: 例如脚步声、开门声、关门声等。
-
模拟人声: 模型可以生成简短的模拟人声,但尚未针对完整歌曲、旋律或人声进行优化。
应用场景
Stable Audio Open 在音乐制作、声音设计、游戏开发、影视制作等多个领域都有广泛的应用场景:
-
音乐制作: 音乐人可以利用 Stable Audio Open 快速生成新的音乐素材,例如鼓点、音效、旋律等,加速音乐创作流程。
-
声音设计: 音频设计师可以利用 Stable Audio Open 生成各种音效,例如环境音效、特殊音效等,为影视作品、游戏等增添音效细节。
-
游戏开发: 游戏开发者可以利用 Stable Audio Open 生成游戏中的背景音乐、音效,为游戏增添更加逼真的音效体验。
-
影视制作: 电影、电视剧等影视作品的制作人员可以利用 Stable Audio Open 生成各种音效,例如环境音效、人物音效等,为影视作品增添更丰富的声音细节。
总结
Stable Audio Open 的开源,为 AI 音频生成领域带来了新的突破。它不仅能够生成高质量的音频数据,还支持自定义数据微调,为音乐人、音频设计师等提供了强大的音频创作工具。未来,随着 AI 技术的不断发展,Stable Audio Open 可能会带来更多新的应用场景和可能性,为声音创作领域带来更大的革新。
模型下载
Huggingface模型下载
https://huggingface.co/stabilityai/stable-audio-open-1.0
AI快站模型免费加速下载
https://aifasthub.com/models/stabilityai/stable-audio-open-1.0