我参加第七届NVIDIA Sky Hackathon——训练ASR模型

news2025/1/24 8:34:56

如何从0开始训练自己的ASR模型

第一步 获取NGC密钥
第二步 配置Ubuntu22.04的运行环境
第三步 开始训练ASR模型

文章目录

  • 如何从0开始训练自己的ASR模型
  • 前言
  • 一、获取NGC密钥
  • 二、配置Ubuntu22.04的运行环境
    • 1.安装 NVIDIA 驱动 460 以上版本
    • 2.安装 docker 与 nvidia-docker2
    • 3.安装 MiniConda3 与 Jupyter 开发环境
    • 4.安装 NeMo 1.4.0
    • 5.安装 TAO 模型训练优化工具：用 Python 与 Virtualenv
  • 三、开始训练ASR模型
    • 1.制作数据集
    • 2.对其进行训练
  • 总结

前言

Sky Hackathon由NVIDIA发起并主办，项目旨在帮助在校学生、深度学习开发者在NVIDIA Jetson边缘高性能计算产品上部署和优化人工智能应用。在经验丰富的GPU导师指导下，通过黑客松竞赛的方式学习业界所需的深度学习相关应用开发及其并行计算技能，激发学生们的学习兴趣与创新力。

NVIDIA工程师将亲自为参赛队伍带来他们对最新的深度学习与边缘计算方面的理解、行业的趋势与最新的技术应用及最新开发工具实战技能知识，在训练营中对参赛队伍进行指导。

Sky Hackathon为参加者提供了一个难得的学习并实操的机会，学习嵌入式深度学习开发所需的动手技能， 通过使用NVIDIA最新的编程模型、库和工具以加速和优化他们的AI应用程序。

相关网站：第七届NVIDIA SKy Hackathon

一、获取NGC密钥

进入NGC网站：NVIDIA NGC
在这里插入图片描述
点击注册

在这里插入图片描述
登陆之后点击右上角set up
在这里插入图片描述
点击Get API Key
在这里插入图片描述
点击Generate API Key
在这里插入图片描述
这里就是你的API Key了
在这里插入图片描述

二、配置Ubuntu22.04的运行环境

1.安装 NVIDIA 驱动 460 以上版本

代码如下：

sudo apt-get install software-properties-common 
sudo add-apt-repository ppa:graphics-drivers/ppa 
sudo apt-get install nvidia-driver-460 
sudo reboot # 重启之后才会生效，重启后执行 nvidia-smi 检查驱动

2.安装 docker 与 nvidia-docker2

代码如下(安装 docker)：

sudo apt-get install -y ca-certificates curl gnupg lsb-release 
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg 
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/dockerarchive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs)stable" | ¥ $ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
# 测试安装 
sudo docker run hello-world

代码如下(安装 nvidia-docker2)：

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list 
sudo apt-get update && sudo apt-get install -y nvidia-docker2 
sudo systemctl restart docker 
# 测试安装 
sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi

如果出现以下信息，表示 docker 与 nvidia-docker2 都安装完成
在这里插入图片描述

代码如下(登录 NGC：只要登录一次就行)：

sudo docker login -u '$oauthtoken' --password-stdin nvcr.io <<< '申请的密钥'

3.安装 MiniConda3 与 Jupyter 开发环境

代码如下(安装 MiniConda)：

# 用国内清华源 
export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda # 用原厂的源 
export DL_SITE=https://repo.anaconda.com/miniconda 
# 下载安装包
wget -c $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 执行安装，全部按照预设路径与”yes”选项 
bash Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 启动 
Conda source ~/.bashrc

代码如下(安装 Jupyter Lab)：

pip install jupyter jupyterlab # 设置登录密码
export PW=’你自己要设置的密码‘
python3 -c "from notebook.auth.security import set_password; set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')"

4.安装 NeMo 1.4.0

通过 pip 安装 GPU 版本 Pytorch 参考链接 https://pytorch.org/get-started/previous-versions/

例如 Pytorch1.12.1 版本则安装指令如下：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-indexurl https://download.pytorch.org/whl/cu113

代码如下(安装 NeMo)：

sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg 
pip install Cython 
pip install --user pytest-runner 
pip install rosa numpy==1.19.4 
pip install torchmetrics==0.6.0 
pip install nemo_toolkit[all]==1.4.0 
pip install ASR-metrics

代码如下(检测NeMo)：

python
import nemo
import nemo.collections.asr as nemo_asr

若没有报错表示安装成功（warning 不用理会）

5.安装 TAO 模型训练优化工具：用 Python 与 Virtualenv

代码如下(安装 virtualenv 虚拟环境：这是确保 TAO 有独立的 Python 执行环境，为配合 Nemo 工 具使用 Python 3.8 的 MiniConda 安装，因此这里的 virtualenv 也绑定在 MiniConda 的 Python3 上)：

pip install virtualenv virtualenvwrapper 
# 创建目录用来存放虚拟环境 
mkdir $HOME/.virtualenvs 
# 在~/.bashrc 中添加行： 
export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=$HOME/miniconda3/bin/python3 
source $HOME/miniconda3/bin/virtualenvwrapper.sh 
# 保存并退出 
source ~/.bashrc 
# 创建名为”tao”的 Virtualenv 
mkvirtualenv tao -p $HOME/miniconda3/bin/python3

代码如下(安装 TAO 模型训练工具)：

# 确认在 ”tao” 的 Virtualenv 环境下，如果不在的话就执行以下指令 
workon tao 
# 安装 nvidia-pyindex 与 nvidia-tao 
pip3 install nvidia-pyindex 
pip3 install nvidia-tao 
# 检查安装 
tao info

代码如下(启动 TAO 模型训练工具 Jupyter 交互界面)：

# 启动名为 “tao” 的 virtualenv 
workon tao 
# 进入工作目录并启动 Jupyter Lab 
cd ~/hackathon && jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

输入您先前设置的密码就能进去，进入 Jupyter Lab 之后是以~/hackathon 为根目录

代码如下(启动Jupyter)：

jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

代码如下(进入Jupyter)：

在ubuntu的终端输入ip address

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp8s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether b4:a9:fc:6c:6b:5e brd ff:ff:ff:ff:ff:ff
3: wlp0s20f3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 40:ec:99:20:b5:61 brd ff:ff:ff:ff:ff:ff
    inet 10.20.113.129/22 brd 10.20.115.255 scope global wlp0s20f3
       valid_lft forever preferred_lft forever
    inet 192.168.1.206/24 brd 192.168.1.255 scope global dynamic noprefixroute wlp0s20f3
       valid_lft 79725sec preferred_lft 79725sec
    inet6 2409:8a02:6068:880:4691:5ea5:dbf9:3151/64 scope global temporary dynamic 
       valid_lft 259087sec preferred_lft 79410sec
    inet6 2409:8a02:6068:880:ff41:1037:c6e5:bd3b/64 scope global dynamic mngtmpaddr noprefixroute 
       valid_lft 259087sec preferred_lft 259087sec
    inet6 fe80::f0ce:78ab:12c0:d59e/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
4: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:10:5d:d6:56 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:10ff:fe5d:d656/64 scope link 
       valid_lft forever preferred_lft forever
22: vethd32e2b1@if21: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether f6:73:02:10:2c:98 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::f473:2ff:fe10:2c98/64 scope link 
       valid_lft forever preferred_lft forever
30: veth442d3b9@if29: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether 1e:66:e8:63:24:11 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet6 fe80::1c66:e8ff:fe63:2411/64 scope link 
       valid_lft forever preferred_lft forever
34: veth7c78114@if33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether 9a:a2:4d:ac:13:0a brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet6 fe80::98a2:4dff:feac:130a/64 scope link 
       valid_lft forever preferred_lft forever

我这里的ip是192.168.1.206
在浏览器里面输入

192.168.1.206:8888

就能进入Jupyter Lab了

三、开始训练ASR模型

1.制作数据集

数据集格式——json文件格式

{
"audio_filepath":"your_path",
"duration":time,
"text":"your_text"
}

利用librosa获取其语音
注意：音频为单声道，wav格式，采样率建议44100HZ

在这里插入代码片# 导入librosa音频工具包获取音频时长,用于制作语音数据集
import librosa 
time = librosa.get_duration(filename="你音频的路径")
print(time)

最后数据集文件结构
├── Datasets
│├── audio.wav 所有的语音文件(wav单声道格式)
│├── xxx.json 制作好的json文件

2.对其进行训练

导入基本包

import nemo
nemo.__version__
import torch
torch.__version__
torch.cuda.is_available()
import nemo.collections.asr as nemo_asr

加载数据清单

#将制作好的json格式的数据清单加载进来
train_manifest = "your_path/xxx.json"
test_manifest = "your_path/xxx.json"

加载quartznet文件

# 使用YAML读取quartznet模型配置文件
try:
    from ruamel.yaml import YAML
except ModuleNotFoundError:
    from ruamel_yaml import YAML
config_path ="/root/config/quartznet_15x5_zh.yaml"

yaml = YAML(typ='safe')
with open(config_path) as f:
    params = yaml.load(f)
print(params)

将数据清单传给配置文件

params['model']['train_ds']['manifest_filepath']=train_manifest
params['model']['validation_ds']['manifest_filepath']=test_manifest

使用迁移学习的方法训练模型

quartznet.setup_training_data(train_data_config=params['model']['train_ds'])
quartznet.setup_validation_data(val_data_config=params['model']['validation_ds'])
import pytorch_lightning as pl 
trainer = pl.Trainer(gpus=1,max_epochs=200)
trainer.fit(quartznet)#调用‘fit’方法开始训练

保存训练好的模型

quartznet.save_to("7th_asr_model.nemo")# 将训练好的模型保存为.nemo格式

将训练好的模型进行重载

try_model_1 = nemo_asr.models.EncDecCTCModel.restore_from("7th_asr_model.nemo")#对模型进行重新加载

预测语音

asr_result = try_model_1.transcribe(paths2audio_files=["your_wav_path"])
print(asr_result)

计算其正确率

from ASR_metrics import utils as metrics
s1 = "请检测出纸箱果皮和瓶子"#指定正确答案
s2 = " ".join(asr_result)#识别结果
print("字错率:{}".format(metrics.calculate_cer(s1,s2)))#计算字错率cer
print("准确率:{}".format(1-metrics.calculate_cer(s1,s2)))#计算准确率accuracy

总结

以上就是第七届NVIDIA Sky Hackathon的配置环境和训练ASR模型的部分，在制作时要注意json文件的格式，还有音频的格式，这些细小的部分都可能成为bug的发生地

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/40178.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

iClient for Leaflet实现动态绘圆的几何查询

iClient for Leaflet实现动态绘圆的几何查询

作者&#xff1a;ls 【目录】 背景前期准备呈现效果实现过程完整代码 【背景】 几何查询是WebGIS项目中一项比较常用的功能&#xff0c;SuperMap iClient 产品支持的几何对象类型众多&#xff0c;能够满足用户的许多需求。 近期遇到许多小伙伴反应&#xff0c;绘制圆形进行…
阅读更多...
spring复习03,注解配置管理bean

spring复习03,注解配置管理bean

spring复习03,注解配置管理bean注解的配置1.标识组件的常用注解&#xff1a;2.扫描组件&#xff1a;3.基于注解的自动装配&#xff1a;4.使用注解以后:基于注解自动装配的小例子1.dao层&#xff1a;2.service层&#xff1a;3.controller层&#xff1a;4.spring配置文件5.测试输…
阅读更多...
Python控制程控电源

Python控制程控电源

文章目录前言一、环境搭建二、使用步骤三、执行结果总结前言 本文章主要是记录汽车电子或嵌入式设备自动化测试中&#xff0c;部分场景需要控制被测设备的供电电源&#xff0c;以下就以常见的艾德克斯程控电源为例&#xff0c;分享如何通过Python来控制程控电源。 一、环境搭建…
阅读更多...
Java字符串（String类）

Java字符串（String类）

目录 &#x1f6f4;一.认识String类 &#x1f6f4;二.String类的使用 &#x1f384;2.1构造字符串 &#x1f384;2.2字符串长度 &#x1f384;2.3String对象的比较 &#x1f384;2.4字符串查找 &#x1f45c;charAt方法 &#x1f45c;indexOf方法 &#x1f45c;lastI…
阅读更多...
浅谈 Class.forName() 的用法

浅谈 Class.forName() 的用法

目录 什么是class对象 获得class对象的三种方法 class的作用和方法 Class.forName()用法 什么时候用Class.forName()&#xff1f; newInstance和new关键字的区别 应用问题解析 情景一&#xff1a;载入数据库驱动的时候 情景二&#xff1a;使用AIDL与电话管理Servic进行通…
阅读更多...
[Spring Boot 5]安全管理

[Spring Boot 5]安全管理

本文介绍了Spring Security 以及Shiro 在Spring Boot中的使用&#xff0c;对于Spring Security 有基于传统认证方式的Session认证&#xff0c;也有使用OAuth 协议的认证。一般来说&#xff0c;传统的Web架构中&#xff0c;使用Session 认证更加快速&#xff0c;但是&#xff0c…
阅读更多...
2. 如何给在 SAP Business Application Studio 里开发的 OData 服务准备测试数据

2. 如何给在 SAP Business Application Studio 里开发的 OData 服务准备测试数据

在开始本步骤的学习之前，请大家务必完成前一步骤1. SAP Business Application Studio 里创建一个基于 CAP 模型的最简单的 OData 服务的学习。换言之，大家已经在 SAP Business Technology Platform 上的 Business Application Studio 里，创建好了 Dev Space，并且拥有一个能…
阅读更多...
JVM 别和我说你还不知道这几种垃圾回收器？Serial ｜Parallel｜ParNew｜CMS｜G1｜ZGC

JVM 别和我说你还不知道这几种垃圾回收器？Serial ｜Parallel｜ParNew｜CMS｜G1｜ZGC

Serial / Serial Old 从单词翻译过来看 serial 串行&#xff0c;每次它就是一款单线程收集器。 Serial 工作在新生代垃圾回收&#xff0c;Serial Old在老年代进行垃圾回收&#xff0c;Serial Old一般作为CMS 并发收集失败后的备选回收方案。 在垃圾收集器面前&#xff0c;它…
阅读更多...
《Flowable流程引擎从零到壹》引入日志框架和部署流程定义

《Flowable流程引擎从零到壹》引入日志框架和部署流程定义

14天学习训练营导师课程&#xff1a; 邓澎波《Flowable流程引擎-基础篇【2022版】》 邓澎波《Flowable流程引擎-高级篇【2022版】》 学习笔记《Flowable流程引擎从零到壹》回城传送 ❤️作者主页&#xff1a;小虚竹 ❤️作者简介&#xff1a;大家好,我是小虚竹。Java领域优质创…
阅读更多...
目标检测算法——YOLOv5/YOLOv7改进之结合​PP-LCNet（轻量级CPU网络）

目标检测算法——YOLOv5/YOLOv7改进之结合​PP-LCNet（轻量级CPU网络）

>>>深度学习Tricks&#xff0c;第一时间送达<<< 目录 ​PP-LCNet——轻量级且超强悍的CPU级骨干网络&#xff01;&#xff01; &#xff08;一&#xff09;前沿介绍 1.PP-LCNet主要模块 2.相关实验结果 &#xff08;二&#xff09;YOLOv5/YOLOv7改进之结…
阅读更多...
GreenPlum6.x之ETL工具

GreenPlum6.x之ETL工具

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录前言一、ETL是什么&#xff1f;二、数据加载工具GPLoad1.GPLoad安装部署2.编写控制文件test.yml总结前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#…
阅读更多...
[Flask]Flask零基础项目---登录demo

[Flask]Flask零基础项目---登录demo

借助Flask框架实现模拟用户登录操作&#xff1b; 一步一步的来实现这个登录接口 login.py from flask import Flask, render_template,requestapp Flask(__name__, template_folderlogin)app.route(/) def hello_flask():data request.get_data()print(data)return render_…
阅读更多...
黑白图片和黑白图片上色系统毕业设计,AI黑背图像上色系统设计与实现,AI黑白照片上色系统论文毕设作品参考

黑白图片和黑白图片上色系统毕业设计,AI黑背图像上色系统设计与实现,AI黑白照片上色系统论文毕设作品参考

功能清单 【后台管理员功能】 系统设置&#xff1a;设置网站简介、关于我们、联系我们、加入我们、法律声明 广告管理&#xff1a;设置小程序首页轮播图广告和链接 留言列表&#xff1a;所有用户留言信息列表&#xff0c;支持删除 会员列表&#xff1a;查看所有注册会员信息&a…
阅读更多...
电子商务交易系统的设计与实现（javaee+mysql）

电子商务交易系统的设计与实现（javaee+mysql）

目录 1 概论 1 1.1电子商务交易发展 1 1.1.1电子商务交易 1 1.1.2发展前景&#xff1a; 1 2 系统可行性及需求分析 3 2.1 系统调研 3 2.2 系统可行性分析 3 2.2.1技术可行性分析 3 2.2.2 操作可行性分析 3 2.2.3 社会可行性分析 4 2.2.4可行性分析小结 4 2.3 系统需求分析 4 2.…
阅读更多...
Windows10添加群晖磁盘映射，总是提示用户名密码不正确解决办法

Windows10添加群晖磁盘映射，总是提示用户名密码不正确解决办法

在使用群晖NAS时&#xff0c;我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过winr键&#xff0c;输入\\NAS的IP地址&#xff0c;登录设备时总是提示”用户名或密码不正确”。但是实际密码是正确的。 原因描述&#xff1a;Windows 10&#xff08;或更早版本&a…
阅读更多...
Android如何自定义服务器DynamicMockServer的使用

Android如何自定义服务器DynamicMockServer的使用

在平时开发时经常需要与服务器进行联调&#xff0c;但是服务器开发往往比前端的要滞后。这时候需要我们自己去mock数据来调通流程。 今天给大家介绍一款Android上的MockServer----DynamicMockServer&#xff0c;支持接口调用&#xff0c;静态文件。 DynamicMockServer&#x…
阅读更多...
Web 安全：PKI 扫盲

Web 安全：PKI 扫盲

个人博客 在互联网世界&#xff0c;我们广泛采用 TLS 来保护通信安全&#xff0c;这里的安全主要包含两部分内容&#xff1a;身份鉴别、通信加密。身份鉴别是一切的基础&#xff0c;特别当发送消息比较敏感需要加密时&#xff0c;对接收方必然有一个身份“假设”&#xff0c;“…
阅读更多...
MacBook Pro M1 Docker 环境安装 Nacos 2.x 版本

MacBook Pro M1 Docker 环境安装 Nacos 2.x 版本

MacBook Pro M1 Docker 环境安装 Nacos 2.x 版本 前言 由于 rocksdb 暂不支持 M1 平台&#xff0c;所以使用 Zulu JDK 的小伙伴们运行 Nacos 2.x 版本会报错&#xff0c;网上通用的解决方案是使用 Oracle JDK 来运行 Nacos 2.x 版本&#xff0c;但对于强迫症的我来说&#xf…
阅读更多...
图书管理系（统附源码PPT）

图书管理系（统附源码PPT）

图书管理系统1 绪 论1.1 研究背景1.2 研究意义1.3 相关研究现状1.3.1 高校图书管理面临的问题1.3.2 信息化为图书管理带来新变化2 相关技术2.1 JSP 概述2.2 MySQL 数据库技术2.3 Spring2.4 SpringMVC2.5 Dbcp2.6 Maven3 系统分析3.1 需求分析3.1.1 系统的功能需求分析3.1.2 系统…
阅读更多...
【Git】一文带你入门Git分布式版本控制系统（必要配置、工作原理、创建/克隆项目）

【Git】一文带你入门Git分布式版本控制系统（必要配置、工作原理、创建/克隆项目）

Git 系列文章目录 Git 专栏参考链接Git&#xff08;一&#xff09;【Git】一文带你入门Git分布式版本控制系统&#xff08;简介&#xff0c;安装&#xff0c;Linux命令&#xff09;文章目录Git 系列文章目录一、Git 的必要配置二、Git 的工作原理三、Git 项目创建1、创建本地项…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023