香橙派 AIpro 根据心情生成专属音乐

news2024/10/6 19:19:16

香橙派 AIpro 根据心情生成专属音乐

      • 一、开机
        • 1.1 开发板开机
        • 1.2 远程连接到 OrangePi AIpro
      • 二、开发环境搭建
        • 2.1 创建环境、代码部署文件夹
        • 2.2 安装 miniconda
        • 2.3 为 miniconda 更新国内源
        • 2.4 创建一个 python 3.9 版本的开发环境
      • 三、基于MindNLP + MusicGen生成自己的个性化音乐
        • 3.1 模型介绍
        • 3.2 下载模型
        • 3.3 生成音乐
        • 3.4 无提示生成
        • 3.5 文本提示生成
        • 3.6 音频提示生成
      • 四、总结

这篇博客 用 OrangePi AIpro 实现了根据文字、音频、生成音乐

一、开机

关于 香橙派 AIpro 板子的简介和参数，以及一些已有的官方样例，这里我就不再赘述了，后续如果有机会会给大家把这些样例都单独拿出来写其他的博客，这里就对 香橙派 AIpro 板子的开机做一个说明。（开了两三次没打开，以为是板子坏了，自己还满心愤懑，后来发现是自己操作不对–确实没看说明书）

1.1 开发板开机

首先 将烧好系统的 TF 卡查到对应位置上，将两个启动方式拨码开关都向右拨（图示为两个启动方式拨码开关都拨向左）
在这里插入图片描述
之后将电源插入电源插口
在这里插入图片描述

1.2 远程连接到 OrangePi AIpro

默认的用户名：root
默认的密码：Mind@123

在这里插入图片描述

二、开发环境搭建

2.1 创建环境、代码部署文件夹
# 创建环境目录
mkdir ~/env

# 创建代码目录
mkdir ~/workshop
2.2 安装 miniconda

下载 miniconda 到 ~/env 目录，这里需要注意的是 OrangePi AIpro 是 arm 架构的在这里插入图片描述

bash ~/env/Miniconda3-py312_24.3.0-0-Linux-aarch64.sh

conda 安装完成如如图所示：
在这里插入图片描述

2.3 为 miniconda 更新国内源

更新 miniconda 的源，如果有梯子的话这一步可以不做，但是如果梯子的网速感人的话，还是建议将源更新为清华源

# 修改 .condarc 文件
vi ~/.condarc

将 .condarc 文件修改如下

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

清理之前预留的缓存

conda clean -i
2.4 创建一个 python 3.9 版本的开发环境

通过 conda 创建一个 python 3.9 的开发环境，并安装 mindspore 框架，以及一些其他必要的库函数

# 创建一个 python 3.9 的环境
conda create -n py39 python=3.9

# 激活环境
conda activate py39

安装 mindspore 框架，版本必须选择 2.3.0rc2

conda install mindspore=2.3.0rc2 -c mindspore -c conda-forge

# 安装 mindnlp 包
pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindnlp==0.2.4 jieba

三、基于MindNLP + MusicGen生成自己的个性化音乐

3.1 模型介绍

这里简单介绍一下 MusicGen 模型。MusicGen 是基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文《Simple and Controllable Music Generation》。

MusicGen 模型基于Transformer结构，可以分解为三个不同的阶段:

  1. 用户输入的文本描述作为输入传递给一个固定的文本编码器模型，以获得一系列隐形状态表示。
  2. 训练 MusicGen 解码器来预测离散的隐形状态音频 token。
  3. 对这些音频 token 使用音频压缩模型（如 EnCodec）进行解码，以恢复音频波形。

MusicGen 直接使用谷歌的 t5-base 及其权重作为文本编码器模型，并使用EnCodec 32kHz及其权重作为音频压缩模型。MusicGen 解码器是一个语言模型架构，针对音乐生成任务从零开始进行训练。

MusicGen取消了多层级的多个模型结构，例如分层或上采样，这使得MusicGen 能够生成单声道和立体声的高质量音乐样本，同时提供更好的生成输出控制。因此，MusicGen 不仅能够生成符合文本描述的音乐，还能够通过旋律条件控制生成的音调结构。

请添加图片描述

Figure 1: MusicGen使用的码本延迟模式，来源于 MusicGen paper.

3.2 下载模型

MusicGen提供了small、medium和big三种规格的 预训练权重文件，本次指南默认使用 small 规格的权重，生成的音频质量较低，但是生成的速度是最快的（我的板子内存只有 8G大家可以选择 16G 的板子）：

from mindnlp.transformers import MusicgenForConditionalGeneration

# 下载并导入模型
model = MusicgenForConditionalGeneration.from_pretrained("facebook/musicgen-small")
3.3 生成音乐

MusicGen 支持两种生成模式：贪心（greedy）和采样（sampling）。在实际执行过程中，采样模式得到的结果要显著优于贪心模式。因此我们默认启用采样模式，并且可以在调用 MusicgenForConditionalGeneration.generate 时设置 do_sample=True 来显式指定使用采样模式。

3.4 无提示生成

我们可以通过方法 MusicgenForConditionalGeneration.get_unconditional_inputs 获得网络的随机输入，然后使用 .generate 方法进行自回归生成，指定 do_sample=True 来启用采样模式:

unconditional_inputs = model.get_unconditional_inputs(num_samples=1)

audio_values = model.generate(**unconditional_inputs, do_sample=True, max_new_tokens=256)

音频输出是格式是: a Torch tensor of shape (batch_size,num_channels,sequence_length)。

使用第三方库scipy 将输出的音频保存为 musicgen_out.wav 文件。

import scipy

sampling_rate = model.config.audio_encoder.sampling_rate
scipy.io.wavfile.write("musicgen_out.wav", rate=sampling_rate, data=audio_values[0, 0].asnumpy())
3.5 文本提示生成

首先基于文本提示，通过 AutoProcessor 对输入进行预处理。然后将预处理后的输入传递给 .generate 方法以生成文本条件音频样本。同样，我们通过设置 do_sample=True 来启用采样模式。

其中，guidance_scale 用于无分类器指导（CFG），设置条件对数之间的权重（从文本提示中预测）和无条件对数（从无条件或空文本中预测）。guidance_scale 越高表示生成的模型与输入的文本更加紧密。通过设置guidance_scale > 1 来启用 CFG。为获得最佳效果，使用guidance_scale=3（默认值）生成文本提示音频。

from mindnlp.transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("facebook/musicgen-small")

inputs = processor(
    text=["80s pop track with bassy drums and synth", "90s rock song with loud guitars and heavy drums"],
    padding=True,
    return_tensors="ms",
)

audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

scipy.io.wavfile.write("musicgen_out_text.wav", rate=sampling_rate, data=audio_values[0, 0].asnumpy())

# from IPython.display import Audio
# # 要收听生成的音频样本，可以使用 Audio 进行播放
# Audio(audio_values[0].asnumpy(), rate=sampling_rate)
3.6 音频提示生成

AutoProcessor同样可以对用于音频预测的音频提示进行预处理。在以下示例中，我们首先加载音频文件，然后进行预处理，并将输入给到网络模型来进行音频生成。最后，我们将生成出来的音频文件保存为musicgen_out_audio.wav

from datasets import load_dataset

dataset = load_dataset("sanchit-gandhi/gtzan", split="train", streaming=True)
sample = next(iter(dataset))["audio"]

# take the first half of the audio sample
sample["array"] = sample["array"][: len(sample["array"]) // 2]

# 使用音视频提示生成，耗时较久


processor = AutoProcessor.from_pretrained("facebook/musicgen-small")

inputs = processor(
    audio=sample["array"],
    sampling_rate=sample["sampling_rate"],
    text=["80s blues track with groovy saxophone"],
    padding=True,
    return_tensors="ms",
)

audio_values = model.generate(**inputs, do_sample=True, guidance_scale=3, max_new_tokens=256)

scipy.io.wavfile.write("musicgen_out_audio.wav", rate=sampling_rate, data=audio_values[0, 0].asnumpy())

# from IPython.display import Audio
# # 要收听生成的音频样本，可以使用 Audio 进行播放
# Audio(audio_values[0].asnumpy(), rate=sampling_rate)

在这里插入图片描述

四、总结

总体使用下来我将从 用户友好程度、开发文档支持程度、性能三个方面 对 Orange Pi AI Pro 进行总结：

  1. 用户友好程度：烧录好的系统和日常经常使用 Unbutu 系统体验上并无任何不同，更为绚丽的界面、精简的系统、完整的开发资料都极大的有助于新手快速玩转开发板。我做的是一个音频生成的模型，模型参数超过了 2G，在 c 上可以顺利的运行、并生成相应风格的音乐。此外，OrangePi AIpro 系统的烧录和启动都很为新手着想（我就是新手），可以选择TF卡、eMMC 或 SSD 作为启动介质，每种方式都有详细的官方指南，系统玩出问题了，恢复起来也很简单。
  2. 开发文档支持：作为新手，其实我们最担心的问题就是文档全不全、教程多不多、教程详细不详细！很幸运，OrangePi AIpro 有着详尽的教程；用户手册内容详实，从硬件参数到软件配置，乃至进阶功能均有详细解说（收集到的一些教程我也会附在后面，方便大家查阅）。每个模块都有单独的说明，比较丰富的应用示例，一站式找到所有文档的服务极大的降低了新手在开发中走弯路的可能。
  3. 性能：Orange Pi AI Pro 主打一个性价比！搭载的华为昇腾AI处理器，以 8TOPS 的INT8 算力和 4 TFLOPS FP16 的浮点运算能力，为复杂AI模型提供了强大的计算支撑。我在 8G 版本的 Orange Pi AI Pro 上 成功的运行了 MusicGen模型，其模型参数大小为 2.2G 这对于 8G 版本的 Orange Pi AI Pro 来说，无疑是一个极大的挑战。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1893582.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

MWCSH 2024丨美格智能亮相上海世界移动通信大会，加速5G+AIoT应用进程

MWCSH 2024丨美格智能亮相上海世界移动通信大会，加速5G+AIoT应用进程

6月26日—28日全球通信领域最具规模和影响力的通信盛事—2024MWC上海世界移动通信大会在上海新国际博览中心隆重举行。MWC上海是亚洲连接生态系统的风向标，本届大会以“未来先行（Future First）”为主题，聚焦“超越5G”“人工智能经…
阅读更多...
《vue3》reactivity API（vue3的$set呢?）

《vue3》reactivity API（vue3的$set呢?）

在Vue2中&#xff0c;修改某一些数据&#xff0c;视图是不能及时重新渲染的。 比如数组 <div> {{ myHobbies }} </div>data: () > ({myHobbies: [篮球, 羽毛球, 桌球] }); mounted () {this.myHobbies[1] sing; // 视图层并没有改变 }因此&#xff0c;Vue2就提…
阅读更多...
UE插件与云渲染：10个提升效率的选择

UE插件与云渲染：10个提升效率的选择

Unreal Engine&#xff08;虚幻引擎&#xff09;的插件生态丰富多样&#xff0c;从提升视觉效果到优化工作流程&#xff0c;为开发者提供了无限扩展的可能。本文推荐10款备受欢迎的插件&#xff0c;助你激发创意&#xff0c;提升开发效率. 一、地牢建筑师&#xff1a;程序化关…
阅读更多...
element-ui Tree之懒加载叶子节点强制设置父级半选效果

element-ui Tree之懒加载叶子节点强制设置父级半选效果

效果&#xff1a; 前言&#xff1a; 我们是先只展示一级的&#xff0c;二级的数据是通过点击之后通过服务器获取数据&#xff0c;并不是全量数据直接一起返回回来的。 问题&#xff1a; 当你设置了默认选中的子节点&#xff0c;但是由于刚进入页面此时tree中数据暂是没有这个…
阅读更多...
每日一练：攻防世界：Hidden-Message

每日一练：攻防世界：Hidden-Message

追踪UDP数据流&#xff0c;没有任何隐藏信息&#xff1a; WP&#xff1a; 观察流量包 每个流的唯一的区别就是UDP的源地址srcport的最后一位在变化 都提取出来就是二进制序列 用tshark提取一下 //使用tshark过滤出源端口&#xff0c;使用cut裁取端口的最后一位 tshark -r 8…
阅读更多...
SSM学生资助管理系统-计算机毕业设计源码30825

SSM学生资助管理系统-计算机毕业设计源码30825

目 录 摘 要 1 绪论 1.1 研究背景 1.2研究意义 1.3论文结构与章节安排 2 学生资助管理系统分析 2.1 可行性分析 2.1.1 技术可行性分析 2.1.2 经济可行性分析 2.1.3 法律可行性分析 2.2 系统功能分析 2.2.1 功能性分析 2.2.2 非功能性分析 2.3 系统用例分析 2.4 …
阅读更多...
室内效果图渲染要多久？

室内效果图渲染要多久？

效果图的渲染时间并非固定&#xff0c;一张效果图的渲染时间可能从几分钟到几小时不等&#xff0c;甚至对于非常复杂和高质量的渲染任务&#xff0c;可能需要几天的时间。影响效果图渲染时间的因素有很多&#xff0c;今天就给大家介绍一下。 电脑配置 一、电脑配置 CPU和GPU…
阅读更多...
牛客小白月赛97 （个人题解）（待补完）

牛客小白月赛97 （个人题解）（待补完）

前言&#xff1a; 前天晚上写的一场牛客上比赛&#xff0c;虽然只写出了三道&#xff0c;但比起之前的成绩感觉自己明显有了一点进步了&#xff0c;继续努力吧&#xff0c; 正文&#xff1a; 链接&#xff1a;牛客小白月赛97_ACM/NOI/CSP/CCPC/ICPC算法编程高难度练习赛_牛客竞…
阅读更多...
TCP粘包解决方法

TCP粘包解决方法

一. 产生原因及解决方法 产生原因&#xff1a;TCP是面向连接、基于字节流的协议&#xff0c;其无边界标记。当服务端处理速度比不其接收速度时&#xff0c;就很容易产生粘包现象。 解决方法&#xff1a;目前主要有两种解决方法&#xff0c;一个是在内容中添加分割标识&#xf…
阅读更多...
记录问题：解决vscode找不到Python自定义模块，报错No module named ‘xxx‘

记录问题：解决vscode找不到Python自定义模块，报错No module named ‘xxx‘

1. 背景 我非要用vscode&#xff0c;不用pycharm&#xff0c;哼&#xff01; 2. 问题 由于 import xx 自定义的模块&#xff0c; python run 的时候会报错 No module named ‘xxx‘ 报错信息&#xff1a; Traceback (most recent call last):File "d:\work\sf_financ…
阅读更多...
Pharmacy Management System v1.0 文件上传漏洞（CVE-2022-30887）

Pharmacy Management System v1.0 文件上传漏洞（CVE-2022-30887）

前言 CVE-2022-30887 是一个存在于 Pharmacy Management System v1.0 中的远程代码执行&#xff08;RCE&#xff09;漏洞。这个漏洞存在于 /php_action/editProductImage.php 组件中。攻击者可以通过上传一个精心制作的图像文件来执行任意代码。 漏洞详细信息 漏洞描述: Pha…
阅读更多...
通过升级nginx完美修复nginx相关漏洞

通过升级nginx完美修复nginx相关漏洞

目录 前言1 安全评估报告的漏洞信息1.1 nginx漏洞概况1.2 nginx漏洞详细信息1.3 安装的软件信息 2 问题分析3 Nginx从1.18版本升级到1.26版本的步骤与说明3.1 查看现有Nginx配置参数3.2 下载新版本Nginx3.3 配置新版本Nginx3.4 编译新版本Nginx3.5 备份旧版本Nginx的二进制文件…
阅读更多...
java 基础之 反射技术_java 程序src阶段 class对象阶段 run阶段3个阶段

java 基础之 反射技术_java 程序src阶段 class对象阶段 run阶段3个阶段

System.out.println(in); } publicClass[] aa1(String name, int[] password){ returnnew Class[]{String.class} ; } privatestatic void aa1(int num){ System.out.println(num“静态方法”); } public static void main(String[] args){ System.out.println(“main”…
阅读更多...
css实现一个三角形

css实现一个三角形

实现不用方向的三角形可根据border进行设置。具体代码如下&#xff1a; .triangle-up {width: 0;height: 0;border-top: 10px solid transparent;border-left: 10px solid transparent;border-right: 10px solid transparent;border-bottom: 10px solid black;}.triangle-rig…
阅读更多...
RuoYi-Cloudv3.6.4使用教程【2】新增子模块_使用代码生成功能，创建功能页面

RuoYi-Cloudv3.6.4使用教程【2】新增子模块_使用代码生成功能，创建功能页面

目录 准备工作修改代码生成的配置信息ry-cloud中创建表 代码生成使用导入对应表代码生成代码放置菜单 启动新增模块创建数据库创建表创建配置文件_新增的模块新增logback.xml新增banner添加路由启动项目 ✨接新增子模块&#xff0c;让子模块运行起来&#xff0c;还没创建模块的…
阅读更多...
【ROS中Cjson文件的作用】

【ROS中Cjson文件的作用】

在ROS (Robot Operating System) 中&#xff0c;.json 文件通常用于存储配置信息、数据序列化或者在某些情况下用于网络通信和数据交换。JSON&#xff08;JavaScript Object Notation&#xff09;是一种轻量级的数据交换格式&#xff0c;易于人阅读和编写&#xff0c;同时也易于…
阅读更多...
git上传文件

git上传文件

git init git add . git commit -m " " git remote add origin 仓库的地址 git push -u origin master 如果出现以下问题 可以用这一句强制上传 git push -f origin master
阅读更多...
ValidateAntiForgeryToken、AntiForgeryToken 防止CSRF（跨网站请求伪造）

ValidateAntiForgeryToken、AntiForgeryToken 防止CSRF（跨网站请求伪造）

用途&#xff1a;防止CSRF&#xff08;跨网站请求伪造&#xff09;。 用法&#xff1a;在View->Form表单中: aspx&#xff1a;<%:Html.AntiForgeryToken()%> razor&#xff1a;Html.AntiForgeryToken() 在Controller->Action动作上&#xff1a;[ValidateAntiForge…
阅读更多...
部署redis集群哨兵模式

部署redis集群哨兵模式

部署redis集群哨兵模式 前言主要功能工作机制 一、虚拟机部署1、安装2、改配置1、redis.conf2、sentinel.conf3、起服务4、停redis-server服务&#xff0c;验证sentinel 3、脚本1. sentinel notification-script2. sentinel reconfig-script3. sentinel client-reconfig-script…
阅读更多...
Centos Nginx SSL 配置

Centos Nginx SSL 配置

Nginx 配置 SSL 1.下载SSL证书 .crt 和 .key文件 2.创建和上传证书 mkdir -p /etc/nginx/cert 上传证书3.nginx.conf配置 # For more information on configuration, see: # * Official English Documentation: http://nginx.org/en/docs/ # * Official Russian Docum…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023