如何去云服务器申请环境跑深度学习模型

news2024/11/15 12:28:13

我的研究方向是显著性目标检测,虽然对比目标检测来说,数据集和模型的尺寸已经降低很多了,然后我们实验室也有一台公用服务器,但是那台服务器好多人使用,每个人能分配到的容量就很小,而且有时候会宕机,IP地址也更换不停。

所以,为了跑计算机视觉方面的实验,我就去autodl官网自己租服务器,我个人感觉autodl还是比较好的,因为他是按时计费,然后有不同的GPU规格,可以适用不同的视觉任务,我比较多租用的是RTX 3080,一般一块就够我的模型跑了,但是之前跑目标检测任务,还有人体姿势检测方面的,就要租更高规格的GPU了,这个都可以按照自己的需要租用。然后这篇博客主要是记录一下自己怎么去云服务器申请环境跑代码。

一、创建环境

autodl的官网地址:Autodl
它的页面如下:

在这里插入图片描述
第一次使用的小伙伴可以注册,如果是学生还可以进行学生认证,这样租服务器有一定的优惠。
注册登录好之后,我们就可以开始租服务器了,点击控制台是我们使用较多的一个菜单,在这里你可以看到自己的容器实例,这里的实例就像一个Docker环境,我一般一个项目就租一个实例。
在这里插入图片描述
点击容器实例,点击上面的租用新实例
在这里插入图片描述
在这里你就可以根据自己的需要创建不同的实例,计费方式有四种,我一般是按量计费,然后地区选择北京A区,GPU数量选1,型号是RTX 3080Ti,然后下面会有一个镜像选择,你可以在之后的实验中创建一个自己的镜像,这样你后面也可以直接使用,也可以去社区看看有没有你要的镜像,我会选择基础镜像,然后选择Minniconda,这样我就可以使用conda命令创建我自己的环境。
在这里插入图片描述
在这里插入图片描述
上面全部选好以后就点立即创建,然后等一两分钟,你的容器实例就创建好了并且开机了,你可以直接打开JpyterLab,然后打开终端,如下页面:在这里插入图片描述
在这里插入图片描述

我们下载的GitHub代码一般存放在/root/autodl-tmp文件夹下,刚开始我们在base环境下,我会使用conda命令创建一个虚拟环境,比如,我这次要跑的代码是《FCOS: Fully Convolutional One-Stage Object Detection》这篇论文的实验,那我就找到这篇论文的Github地址:FCOS
根据这里的readme文件一步一步去安装环境,
在这里插入图片描述
举例:
使用conda 命令:

conda create -n FCOS python=3.8

FCOS代表你的虚拟环境名称,然后后面是python版本。

创建好了虚拟环境之后,我就根据源代码的readme文件一步步安装,比如安装Pytorch,一些依赖包等等,这里我就不详细说明了,每个人的安装步骤这里应该不太一样。要注意因为你的依赖都安装在虚拟环境中,所以你每次跑代码都要在这个虚拟环境下跑,使用如下命令激活虚拟环境:

conda activate FCOS

建议大家跑代码都先创建一个虚拟环境,这样你就不会跟系统环境混乱了。

创建好虚拟环境之后,进入到autodl-tmp文件夹,使用git命令下载代码:

cd autodl-tmp
git clone https://github.com/tianzhi0549/FCOS.git

这里面的地址就是github上的https地址:
在这里插入图片描述
这样就可以把源代码下载到你的云服务器上,下面就可以开始跑代码啦。

二、关于数据集

我跑目标检测和姿势识别的时候,数据集一般都是COCO2017,这个数据集将近20G,针对如此大的数据集,autodl在社区会有公开数据集,这个页面也有说明如何使用公开数据,就是你记住它在实例中的位置,然后在你的代码中填上这个位置就可以了。
在这里插入图片描述

对于一些在官网公开数据中不存在的情况,你可以使用阿里云盘和autodl协助的方式,在容器实例开启之后,点击AutoPanel,会看到一个公网网盘选项
在这里插入图片描述
在这里插入图片描述
这里的网盘就是阿里云盘,阿里云盘传输速度很快,还不用开会员,如果新用户的话还会送你很大容量,学生还有额外的容量,所以免费的容量管够了,再结合autodl服务器我觉得特别好用,这样你把你的数据集从晚上下载下载上传到阿里云盘,然后在autodl服务器上传,上传速度也相当可以,你的权重文件,预训练模型,数据集都可以,默认上传到autodl-tmp文件夹下。

三、autodl服务器如何连接VS Code或者PyCharm

我们跑别人的代码,如果可以的话,应该还想改进他们的代码,但是在Autodl的JupyterLab改代码就不方便,因为不能调试,断点,所以要改代码我一般在VS Code 软件改,这里讲一下如何将Autodl 连接到VS Code。

首先你要下载这个Visual Studio Code软件,网上都有教程,下载好之后打开,点击扩展,要下载一个叫Remote Explorer插件
在这里插入图片描述
接着你下载好了之后,在VS Code左边点击这个远程服务器插件,点击ssh后面的加号,表示连接新的远程服务器,这时会出现一个SSH 连接命令,你就把autodl上你刚创建的服务器打开之后那个登录指令复制过去:

s

在这里插入图片描述
在这里插入图片描述
把登录指令复制到VS Code之后,会提示你选什么系统,选Linux,然后就要输入密码,密码在云服务器那个。可能要重复几次输入密码,直接复制就好了,这样你就在本地VS Code连接上了云服务器,你在VS Code修改的密码在云服务器也会同步了。

四、总结

上面就是如何在Autodl 云服务器创建环境,上传数据 、以及连接VS Code,还有更详细的文档在官网也可以找到。
然后我最近又发现了一个更省钱的方法,就是启智AI协作平台(启智)
启智平台有CPU,GPU和NPU,然后有算力积分可以免费获取,一块V100才2积分一小时,然后积分每天都可以领,具体可以去官网看看,反正就是不用花钱就能训练模型。因为我也用过其他的云服务,比如华为云的modelarts,那个太烧钱了。

启智平台呢,你可以创建不同的云脑任务,可以有训练、测试、推理等,但是它不可以连接本地VS Code,所以不好修改代码,而且训练云脑任务的时候,你也不能配环境,因为它直接就开始训练了,也没有终端。但是我发现它可以和autodl结合使用,

具体来说我会先在autodl把模型调通 ,就是确保代码运行训练的python文件时就能够直接训练了,只要能训练就好了,你不用让它一直训练,这个时候你就把你调通的代码上传到启智平台,然后在启智平台创建一个调试云脑任务,在调试的时候你创建好你的源代码所需要的依赖,环境等,然后保存下这个镜像。(这里非常关键,一定要保存成为你自己的私有镜像),这样你再去创建一个训练任务,在参数设置这里的镜像就选择你自己刚刚保存的,然后新建任务就可以直接训练啦,畅通无阻,还是免费的,有V100和A100两种GPU规格。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1230737.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

测试和验证有什么区别,怎么划分测试集和验证集

测试集和验证集是在机器学习中用于评估模型性能的两个不同的数据集。它们有不同的目的和使用方式。 验证集(Validation Set): 目的: 用于调整模型的超参数(例如,学习率、正则化参数等)和进行模型…

软件工程第十一周

面向对象 面向对象编程(Object-Oriented Programming, OOP)不仅仅是一种程序设计方法,它更是一种深刻的软件工程开发思想。这种思想的核心在于通过抽象和封装来模拟现实世界中的对象和概念,以便更好地管理和解决复杂的软件工程问…

005 OpenCV直方图

目录 一、环境 二、直方图原理概述 三、代码 一、环境 本文使用环境为: Windows10Python 3.9.17opencv-python 4.8.0.74 二、直方图原理概述 OpenCV是一个广泛使用的开源计算机视觉库,它提供了许多用于图像处理和分析的函数和算法。其中&#xff…

设置 wsl 桥接模式

一、环境要求 Win10/Win11 专业版&#xff0c;并已安装 Hyper-V 二、具体步骤 打开 Hyper-V 管理器 创建虚拟交换机 WSL Bridge 修改wsl配置文件 .wslconfig .wslconfig 文件所在路径如下&#xff1a; C:\Users\<UserName>\.wslconfig若 .wslconfig 文件不存在&am…

Sam Altman 或回归 OpenAI;格力 1.3 万研发人员没有海归派 外国人丨 RTE 开发者日报 Vol.86

开发者朋友们大家好&#xff1a; 这里是 「RTE 开发者日报」 &#xff0c;每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE &#xff08;Real Time Engagement&#xff09; 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文…

《Python数据科学项目实战》:开启数据科学之旅的实战指南!

《Python数据科学项目实战》是一本内容丰富且组织结构严谨的书籍&#xff0c;它旨在帮助读者通过实际案例研究掌握使用Python进行数据科学工作的必要知识。本书的案例研究涵盖了在线广告分析、使用新闻数据跟踪疾病暴发等多个现实世界的场景&#xff0c;使读者能够将所学知识应…

NOSQL----redis的安装和基础命令

redis是什么 1.redis-------非关系型数据库 redis是非关系数据库的一种&#xff0c;也称为缓存型数据库。 非关系型数据库和关系型数据库 1.关系型数据库 关系型数据库是一个结构化的数据库&#xff0c;记录方式是行和列&#xff08;列&#xff1a;声明对象&#xff0c;行&am…

【unity实战】unity3D中的PRG库存系统和换装系统(附项目源码)

文章目录 先来看看最终效果前言素材简单绘制库存UI前往mixamo获取人物模型动画获取一些自己喜欢的装备物品模型库存系统换装系统装备偏移问题添加消耗品最终效果源码完结 先来看看最终效果 前言 之前2d的换装和库存系统我们都做过不少了&#xff0c;这次就来学习一个3d版本的&…

有哪些相见恨晚的stm32学习的方法?

有哪些相见恨晚的stm32学习的方法&#xff1f; 单片机用处这么广&#xff0c;尤其是STM32生态这么火&#xff01;如何快速上手学习呢&#xff1f; 你要考虑的是&#xff0c;要用STM32实现什么&#xff1f;为什么使用STM32而不是用8051&#xff1f;是因为51的频率太低&#xff…

五分钟搭建开源ERP:Odoo,并实现公网远程访问

文章目录 前言1. 下载安装Odoo&#xff1a;2. 实现公网访问Odoo本地系统&#xff1a;3. 固定域名访问Odoo本地系统 前言 Odoo是全球流行的开源企业管理套件&#xff0c;是一个一站式全功能ERP及电商平台。 开源性质&#xff1a;Odoo是一个开源的ERP软件&#xff0c;这意味着企…

建筑可视化中的 3D 纹理

在线工具推荐&#xff1a; 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 1、什么是 3D 纹理&#xff1f; 纹理是将二维图像添加到三维模型的技术艺术。虽然对物体进行纹…

Python懒羊羊

目录 系列文章 写在前面 绘图基础 懒羊羊 写在后面 系列文章 序号文章目录直达链接表白系列1浪漫520表白代码https://want595.blog.csdn.net/article/details/1306668812满屏表白代码https://want595.blog.csdn.net/article/details/1297945183跳动的爱心https://want595…

2023年A特种设备相关管理(锅炉压力容器压力管道)证模拟考试题库及A特种设备相关管理(锅炉压力容器压力管道)理论考试试题

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 2023年A特种设备相关管理&#xff08;锅炉压力容器压力管道&#xff09;证模拟考试题库及A特种设备相关管理&#xff08;锅炉压力容器压力管道&#xff09;理论考试试题是由安全生产模拟考试一点通提供&#xff0c;A特…

【带头学C++】----- 七、链表 ---- 7.5 学生管理系统(链表--下)

目录 1.补充上节插入节点的第三种方法&#xff08;按序插入&#xff09; 图示说明需求原理&#xff1a; 代码实现&#xff1a; 实际效果&#xff1a; 2.查询链表节点 1.方法调用 2.搜索函数实现 3.搜索功能结果展示测试 3.删除链表 1.图示删除链表的原理 ​编辑 2…

Thinkphp6实现定时任务功能

本文主要介绍命令启动定时任务的功能&#xff0c;按照CRMEB标准版的程序为大家详细的进行实现过程的介绍 首先创建安装Worker&#xff0c;执行composer require topthink/think-worker 安装在config/console.php中定义指令 timer > \crmeb\command\Timer::class 3. 对应图1…

vue3-组合式API

​&#x1f308;个人主页&#xff1a;前端青山 &#x1f525;系列专栏&#xff1a;Vue篇 &#x1f516;人终将被年少不可得之物困其一生 依旧青山,本期给大家带来vue篇专栏内容:vue3-组合式API 目录 组合式API 1.1 什么是组合式API 1.2 为什么使用它 1.2.1 更好的逻辑复用#…

AutoSAR CANIF层配置代码分析

CAN物理控制单元 配置&#xff1a; 生成的代码&#xff1a; CanIf_CtrlStates 解析 类型&#xff1a; typedef union CanIf_CtrlStatesUTag {CanIf_CtrlStatesType raw[3];CanIf_CtrlStatesStructSType str; }CanIf_CtrlStatesUType;typedef struct sCanIf_CtrlStatesType {C…

Sublime Text:代码编辑器的卓越典范

Sublime Text是一款高效、强大且灵活的代码编辑器&#xff0c;在开发社区中广受欢迎。它不仅提供了丰富的功能&#xff0c;还具备美观的界面和卓越的性能&#xff0c;成为了众多开发者的首选工具。 Sublime Text的优点 高性能&#xff1a;Sublime Text具有极高的启动速度和响…

软件测试入门很容易,但想要深造就还是要费功夫

现如今&#xff0c;越来越多的外行人员开始转战到软件测试岗位&#xff0c;而这也让许多不了解软件测试人疑惑“软件测试有那么好学吗&#xff1f;为什么都开始转行到软件测试呢&#xff1f;” 而关于这两个问题的答案&#xff0c;作者在以下为大家进行了讲解&#xff0c;希望…

ts学习04-Es5中的类和静态方法 继承

最简单的类 function Person() {this.name "张三";this.age 20; } var p new Person(); console.log(p.name);//张三构造函数和原型链里面增加方法 function Person(){this.name张三; /*属性*/this.age20;this.runfunction(){console.log(this.name在运动);} }…