【自我提升】Yolov5使用云端GPU训练模型(谷歌免费版和AutoDL收费版对比)

news2024/11/15 13:59:58

写在前面:继我前几篇Yolov5系列的博客后,来填一个云端训练数据的坑。我公司电脑只能使用CPU训练模型,很拉跨。我自己的笔记本虽然支持GPU,但是运行起来很卡,而且稍微设置设置大一点轮数和批次,就会报当前磁盘内存空间不足。按照网上的方法试了,然而没什么效果,硬件不好就是不好。废话不多说,正片开始!

免费版和收费版各有千秋,白嫖的限制太大了。

目录

一、谷歌免费版训练模型

二、AutoDL收费版


一、谷歌免费版训练模型

1. 准备:你需要会科技上网,俗称翻墙。随便选一个,就好了。这里不教违规方法,自己去其他地方学去。

 2. 网址:直接进入下面这个网址即可

Colab云训练服务器https://colab.research.google.com/?utm_source=scs-index

3. 操作:理论部分可以参考下别人文章,本篇博客只记录实战。

Google Colab 快速上手 - 知乎1.什么是 Google Colab? Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。 Colaboratory 笔记本存…https://zhuanlan.zhihu.com/p/386162610(1)进入首页后,点击新建笔记本

 (2)新建笔记本后,进入后的界面如下,点击左边的文件夹,右边是命令界面:

 (3)将你的yolov5的项目打包,然后上传到下面这个位置,这里我在官网下载了个yolov5-5.0版本的:

ps: 如果你对yolov5的下载不是很明白,请参考的yolov5避坑专栏。

 

 (4)在右边命令行界面操作:

解压你上传的文件:

!unzip /content/yolov5-7.0.zip -d /content/yolov5

 

 进入到解压后的yolov5-7.0目录:

%cd /content/yolov5/yolov5-7.0/

安装项目中需要的环境:

!pip install -r requirements.txt

注意:我按照时并未出现问题!如果你安装时出现找不到这个版本问题,一般有两种处理办法,一种是升级你的pip命令,最新的pip一般功能更加强大。第二种是看日志,找到具体的报错包,一般都会显示他现在有的版本,你只需要打开你的requirements.txt文件,将里面报错包的版本修改为存在的即可。参考下图:

 (5)安装好环境后,进行检测测试

!python detect.py

Look,检测运行成功

 (6)下面我们来试试训练部分

!python train.py

真不错,一如既往的顺畅,成功运行!快去把你自己的数据集搭建到上面吧~

 

说个坑:谷歌这个虽然白嫖很爽,但是你要是长期没操作他,就会自动退出,然后你之前上传的所有数据都会被清空的,所以你要是自己玩玩,感觉还可以,但是重要一点的话,就别了。等你回头一看,啥都没了。从头开始。

二、AutoDL收费版

1. 打开AutoDL网站,注册

AutoDL服务器icon-default.png?t=N658https://www.autodl.com/market/list2.根据需求,购买服务,感觉这些显卡最差的都还可以。学习的话,就选个便宜的玩玩就好。自己玩玩就选择按需计费吧,按时间来计费还是可以,包周包月太贵,也没必要。

 3.选好服务器后,就进入到服务器配置界面了。镜像选择基础镜像,然后选择pytorch,版本选择在1.9以上,如下所示:

 4. 操作完上述步骤后,进入控制台,打开服务器界面

5. 他会让你进入到一个新的界面,你在这个界面打开终端:

 (1)激活conda

 (2)新开终端,将yolov5压缩包和datasets压缩包上传至服务器根目录,如下所示:

6. 解压yolov5压缩包和datasets压缩包

unzip yolov5

unzip datasets

7. 安装yolov5项目所需的环境

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

ps:和上面那个谷歌免费版一样,要是你出现了版本错误,可以去升级pip,也可以去修改requirements.txt。不过这个地方我遇到一个坑,报错日志忘记丢哪了,我就说明一下吧:

问题:如果你选择修改requirements.txt中的版本,可能安装确实不会报错了。但是和他依赖的所有包都会被pip重新下载,因为版本要进行匹配。租的服务器上的空间是有限的,所以大概率你安装到后面给你说,空间不足(space left 啥啥啥的)。所以还是升级pip吧,这样比较稳妥点。pip install --upgrade pip

8. 上述环境已经安装好了,检测步骤和训练步骤和谷歌免费版后面的步骤一模一样。不过有个坑需要注意下:谷歌的是国外的,人家服务器就在墙外,所以下载国外的东西会很快,而AutoDL是国内的,所以默认下载东西会很慢,甚至是超时。这里不对理论做过多的介绍,想了解更多,去看我的yolov5避坑专栏去。你可以去github官网将检测需要的预训练模型yolov5s.pt下载下来,然后上传到根目录下即可。

训练需要数据集,datasets和当前的yolov5-7.0同级,然后里面的coco数据集,大概率你是需要自己提前下载好上传上去,然后才可以完成训练的。不过,你后面肯定用的都是自己的数据集了,掌握好window上的训练流程,服务器上的步骤都是一样的。

总结:AutoDL虽然收费,但是确实好用一些。可以提供长久安全的训练环境,而且和谷歌一样内置了anaconda。所以不需要再去安装一些基础的东西了。不过需要注意的是:

(1)确定不用了就关机吧,一直计费还是挺贵的。

(2)创建的实例可以保存30天,你不登录就自动释放了。

(3)你租的服务器是共享的,所以下次开机的时候可能别人租着再用,这个时候是没有GPU的,但是你可以登录访问你的数据。你要是想继续训练的话,要么等人家关机,要么换个服务器继续玩。

好了,打工人今天又利用摸鱼时间肝了一篇博客,有时间再来做细致的介绍把。当时遇到的坑还是挺多的,但是开发过程中追求效率,很多错误都没怎么记,现在就大体记录下流程,希望你编程的过程能流利点,少走点坑吧,顺带吐槽下,好博客真的少,半天找不到想要的,只能翻墙出去找咯。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/728201.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CentOS7 主机网卡怎么配置端口聚合

环境: CentOS7 CentOS Linux release 7.7.1908 (Core) 网卡1:瑞昱普通千兆板载网卡 网卡2:EB-LINK intel 82599芯片PCI-E X8 10G 光模块千兆单模1310X1 问题描述: CentOS7 主机网卡怎么配置端口聚合 配置网卡聚合链路的作…

揭秘验证码,你可能不知道的那些事儿

在现代网络世界中,我们经常遇到验证码这个概念。它是一种用于验证使用者身份或防止恶意行为的安全机制。然而,除了表面上的使用和功能,验证码还有许多有趣而不为人所知的方面。本文将带你揭秘验证码背后的秘密,探索你可能不知道的…

Ctfshow web入门 nodejs篇 web334-web344

CTFshow NodeJs web334 前言:做原型链污染,入门的话个人建议先看看P神的文章,只看前四部分就行了。 深入理解 JavaScript Prototype 污染攻击 | 离别歌 (leavesongs.com) 然后也得有一点js基础,不用太多,要不然看起…

浅谈电力监控系统在地铁运维中的应用

贾丽丽 安科瑞电气股份有限公司 上海嘉定 201801 摘要:随着我国工业化进程的不断推进,我国监控系统也实现了长足的发展。以往传统的地铁监控模式已经无法满足当前需求,将电力监控系统和地铁综合监控系统已经进行资源整合,有效…

产品需求还原度低应该怎么办?

在实际开发过程中,产品设计的完整性较难保障和实现,产品需求还原度较低,前后端对产品设计理解不深入,可能会随意修改产品需求。从而造成后期需求设计不完整,产品风险增大等问题。 为了解决这一问题,我们可以…

【Linux进阶之路】gcc/g++、Makefile、git

前言 在正式开始之前我们先补充一个知识点——普通用户提权的操作。 sudo 【指令】那如何将tmp1添加到信任白名单——sudoers文件 中呢? 肯定不能自己加,得超级管理员root加——第一步:切到超级用户。 找到sudoers文件——/etc/sudoers …

生物信息学_玉泉路_课堂笔记_01 第一章生物信息学简介

🍅 课程:生物信息学_玉泉路_课堂笔记 中科院_2022秋季课 第一学期 🍅 个人笔记使用 🍅 2023/7/3 🍅 教材使用: 生物信息学是应用计算机科学和数学方法研究生物学问题的交叉学科。它包括了多个领域&#xf…

显示Gif菜单

需要 最近研究在底部菜单中加入gif播放。这样显得高级一些。研究了一些技术方案,现在写篇博客,沉淀一下。 效果 实现 通过Glide实现。虽然android官方有AnimatedImageDrawable 但是只支持API28以上,也就是android9.0以上的手机。兼容性太差…

怎样做好客户自助服务?

在当前高速发展的信息化时代,人们已经习惯了即时满足的方式。对于品牌来说,当客户遇到问题时,他们希望能够获得即时细致的解答。如果客户需要等待很长时间才能获取答案,他们的满意度就会降低。因此,企业是否提供客户自…

flutter开发实战-自定义Switch开关控件Widget

flutter开发实战-自定义Switch开关控件 在flutter中实现自定义Switch,主要实现类似IOS的UISwitch样式的开关控件 一、效果图 二、实现Switch开关的Widget 实现自定义Switch的Widget,主要实现交织动画。 交织动画 有些时候我们可能会需要一些复杂的动画…

apache 安装配置 基础篇(二)

在使用Apache时,配置虚拟主机可以允许一个单一的Apache服务器提供不同的网站、域名或IP地址。 Apache虚拟主机的一个重要作用是更好的网站管理能力。当一个虚拟主机被创建时,您可以轻松地分配不同的域名和IP地址,设置不同的目录、文件和权限…

【电影推荐系统】基于 ALS 的协同过滤推荐算法

目录 目的 用户电影推荐矩阵主要思路如下 1 UserId 和 MovieID 做笛卡尔积,产生(uid,mid)的元组 2 通过模型预测(uid,mid)的元组。 3 将预测结果通过预测分值进行排序。 4 返回分值最大的 …

js debugger的两种方式

第一种:在js代码中加上debugger class ReactiveEffect {constructor(fn, scheduler) {this.fn fn;this.scheduler scheduler;this.active true;this.deps [];console.log("创建 ReactiveEffect 对象");}run() {debugger; console.log("run…

Spring高手之路8——Spring Bean模块装配的艺术:@Import详解

文章目录 1. Spring手动装配基础2. Spring框架中的模块装配2.1 Import注解简单使用 3. Import模块装配的四种方式3.1 Import注解的功能介绍3.2 导入普通类与自定义注解的使用3.3 导入配置类的策略3.4 使用ImportSelector进行选择性装配3.5 使用ImportBeanDefinitionRegistrar进…

指针进阶详解

目录 指针基本概念 1.字符指针 2.指针数组 3.数组指针 对数组名的理解 小结 指针基本概念 在初阶指针中我们了解到一些指针的基本概念: 1.指针就是个变量,用来存放地址,地址唯一标识一块内存 2.指针的大小是固定的4/8个字节(32位/64位平台&…

详解c++---哈希封装

目录标题 哈希桶的代码哈希桶的修改迭代器的实现const迭代器 哈希桶的代码 通过前面的学习大家应该能够很容易的写出下面的代码&#xff1a; #pragma once #include<iostream> #include<vector> using namespace std; template<class K,class V> struct Ha…

2023年互联网行业研究报告

第一章 行业概况 互联网行业是一个广泛的领域&#xff0c;包括所有利用互联网技术进行商业活动的企业和组织。这个行业的核心是互联网&#xff0c;一个全球性的网络&#xff0c;连接着数以亿计的计算设备和用户&#xff0c;使他们可以共享信息、资源和服务。 互联网行业包括网…

apache 安装配置 基础篇(-)

download 地址 apache下载 ApacheHaus是免安装的&#xff0c; 然后解压上面的文件&#xff0c;把里面 因apache 默认端口是80&#xff0c;如果这个端口被占用&#xff0c;apache服务是启动不起来的 netstat -ano|findstr 80 apache 修改端口号 创建apache服务 在apa…

ESP32-H2 固件烧录需满足的硬件环境整理

ESP32-H2 默认通过 UART0 &#xff08;即 TXD&#xff08;GPIO24&#xff09;和 RXD&#xff08;GPIO23&#xff09;&#xff09;下载固件。 Windows 下可使用 Flash download tool 工具来下载编译后的 bin 文件&#xff1b; 运行 flash_download_tool.exe 的文件 选择开发…

SkyEye处理器仿真系列:龙芯2K1000处理器

​SkyEye简介&#xff1a; 天目全数字实时仿真软件SkyEye作为基于可视化建模的硬件行为级仿真平台&#xff0c;能够为嵌入式软件提供虚拟化运行环境&#xff0c;开发、测试人员可在该虚拟运行环境上进行软件开发、软件测试和软件验证活动。小到芯片&#xff0c;大到系统&#…