之前我们学习了在和鲸的预配置好的平台上进行学习,在工作中并不现实,本期我们的目标是将已有模型部署到云端进行运行
配置环境:RTX 4090D(24GB) python 3.12(ubuntu22.04)
参考文章:AutoDL平台transformers环境搭建
目录
- 注册及选择算力
- 新建虚拟环境并配置
注册及选择算力
首先登录官网完成注册
注册之后在算力市场找自己需要的显卡配置:
选择好显卡配置后,点击立即创建
创建后如图所示可以看到自己的实例,开机后点击jupyterLab 即可开始环境配置
新建虚拟环境并配置
进入终端后的界面,运行conda env list 可以看到现在的环境只有base(注意如果运行conda报错 执行 conda init 后重新执行即可)
根据查到的cuda版本去pytorch官网获取对应的pip语句
我这里获取到的语句为:pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
进入base环境
conda activate base
# 可能会报错‘...conda init’
#1、执行:
conda init
#2、执行:
bash
#3、重新激活:
conda activate base
新建环境并配置(注意配置虚拟环境时可以选择不使用显卡开机,不然太花钱啦)
# 1、创建transformers环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda create -n swx_transformers python=3.12 -y
# 2、此时,会有两个环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda env list
# conda environments:
#
base * /root/miniconda3
swx_transformers /root/miniconda3/envs/swx_transformers
# 3、激活创建的环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda create -n swx_transformers python=3.12 -y
Channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
- defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done
# 4、安装pytorch
# 4.1 设置下载源为清华源
(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 4.1 进入pytorch官网下载最新版pytorch
# https://pytorch.org/
# 推荐使用pip安装
(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip3 install torch torchvision torchaudio torchtext --index-url https://download.pytorch.org/whl/cu124