写在前面:继我前几篇Yolov5系列的博客后,来填一个云端训练数据的坑。我公司电脑只能使用CPU训练模型,很拉跨。我自己的笔记本虽然支持GPU,但是运行起来很卡,而且稍微设置设置大一点轮数和批次,就会报当前磁盘内存空间不足。按照网上的方法试了,然而没什么效果,硬件不好就是不好。废话不多说,正片开始!
免费版和收费版各有千秋,白嫖的限制太大了。
目录
一、谷歌免费版训练模型
二、AutoDL收费版
一、谷歌免费版训练模型
1. 准备:你需要会科技上网,俗称翻墙。随便选一个,就好了。这里不教违规方法,自己去其他地方学去。
2. 网址:直接进入下面这个网址即可
Colab云训练服务器https://colab.research.google.com/?utm_source=scs-index
3. 操作:理论部分可以参考下别人文章,本篇博客只记录实战。
Google Colab 快速上手 - 知乎1.什么是 Google Colab? Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。 Colaboratory 笔记本存…https://zhuanlan.zhihu.com/p/386162610(1)进入首页后,点击新建笔记本
(2)新建笔记本后,进入后的界面如下,点击左边的文件夹,右边是命令界面:
(3)将你的yolov5的项目打包,然后上传到下面这个位置,这里我在官网下载了个yolov5-5.0版本的:
ps: 如果你对yolov5的下载不是很明白,请参考的yolov5避坑专栏。
(4)在右边命令行界面操作:
解压你上传的文件:
!unzip /content/yolov5-7.0.zip -d /content/yolov5
进入到解压后的yolov5-7.0目录:
%cd /content/yolov5/yolov5-7.0/
安装项目中需要的环境:
!pip install -r requirements.txt
注意:我按照时并未出现问题!如果你安装时出现找不到这个版本问题,一般有两种处理办法,一种是升级你的pip命令,最新的pip一般功能更加强大。第二种是看日志,找到具体的报错包,一般都会显示他现在有的版本,你只需要打开你的requirements.txt文件,将里面报错包的版本修改为存在的即可。参考下图:
(5)安装好环境后,进行检测测试
!python detect.py
Look,检测运行成功
(6)下面我们来试试训练部分
!python train.py
真不错,一如既往的顺畅,成功运行!快去把你自己的数据集搭建到上面吧~
说个坑:谷歌这个虽然白嫖很爽,但是你要是长期没操作他,就会自动退出,然后你之前上传的所有数据都会被清空的,所以你要是自己玩玩,感觉还可以,但是重要一点的话,就别了。等你回头一看,啥都没了。从头开始。
二、AutoDL收费版
1. 打开AutoDL网站,注册
AutoDL服务器https://www.autodl.com/market/list2.根据需求,购买服务,感觉这些显卡最差的都还可以。学习的话,就选个便宜的玩玩就好。自己玩玩就选择按需计费吧,按时间来计费还是可以,包周包月太贵,也没必要。
3.选好服务器后,就进入到服务器配置界面了。镜像选择基础镜像,然后选择pytorch,版本选择在1.9以上,如下所示:
4. 操作完上述步骤后,进入控制台,打开服务器界面
5. 他会让你进入到一个新的界面,你在这个界面打开终端:
(1)激活conda
(2)新开终端,将yolov5压缩包和datasets压缩包上传至服务器根目录,如下所示:
6. 解压yolov5压缩包和datasets压缩包
unzip yolov5
unzip datasets
7. 安装yolov5项目所需的环境
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
ps:和上面那个谷歌免费版一样,要是你出现了版本错误,可以去升级pip,也可以去修改requirements.txt。不过这个地方我遇到一个坑,报错日志忘记丢哪了,我就说明一下吧:
问题:如果你选择修改requirements.txt中的版本,可能安装确实不会报错了。但是和他依赖的所有包都会被pip重新下载,因为版本要进行匹配。租的服务器上的空间是有限的,所以大概率你安装到后面给你说,空间不足(space left 啥啥啥的)。所以还是升级pip吧,这样比较稳妥点。pip install --upgrade pip
8. 上述环境已经安装好了,检测步骤和训练步骤和谷歌免费版后面的步骤一模一样。不过有个坑需要注意下:谷歌的是国外的,人家服务器就在墙外,所以下载国外的东西会很快,而AutoDL是国内的,所以默认下载东西会很慢,甚至是超时。这里不对理论做过多的介绍,想了解更多,去看我的yolov5避坑专栏去。你可以去github官网将检测需要的预训练模型yolov5s.pt下载下来,然后上传到根目录下即可。
训练需要数据集,datasets和当前的yolov5-7.0同级,然后里面的coco数据集,大概率你是需要自己提前下载好上传上去,然后才可以完成训练的。不过,你后面肯定用的都是自己的数据集了,掌握好window上的训练流程,服务器上的步骤都是一样的。
总结:AutoDL虽然收费,但是确实好用一些。可以提供长久安全的训练环境,而且和谷歌一样内置了anaconda。所以不需要再去安装一些基础的东西了。不过需要注意的是:
(1)确定不用了就关机吧,一直计费还是挺贵的。
(2)创建的实例可以保存30天,你不登录就自动释放了。
(3)你租的服务器是共享的,所以下次开机的时候可能别人租着再用,这个时候是没有GPU的,但是你可以登录访问你的数据。你要是想继续训练的话,要么等人家关机,要么换个服务器继续玩。
好了,打工人今天又利用摸鱼时间肝了一篇博客,有时间再来做细致的介绍把。当时遇到的坑还是挺多的,但是开发过程中追求效率,很多错误都没怎么记,现在就大体记录下流程,希望你编程的过程能流利点,少走点坑吧,顺带吐槽下,好博客真的少,半天找不到想要的,只能翻墙出去找咯。