Linux浪潮云服务器安装Anaconda环境
读研之后在导师的帮助下,获得了浪潮的一台公共云服务器。以后做实验跑代码就可以使用云服务器上的虚拟环境了。减少了自己笔记本的压力。在创建并保存完成镜像环境之后。最重要的就是安装好深度学习需要的Anaconda环境,尝试使用Pycharam进行连接测试了。
我个人想要对刚接触的云服务器尝试下面的两种操作。(先跑一下之前在本地跑过的一个小的项目Vision Transform)
- 安装好Anaconda环境,并使用vim配置环境变量
- 创建VIT的虚拟环境,并在服务器中尝试跑一下VIT的训练项目
- 使用Pycharm进行连接,看看是否可以使用Pycharm来远程连接环境进行实验。
本周对于云服务器的初步尝试,按照下面的流程来进行。
创建镜像与开发环境
在第一次使用云服务系统的时候要先选择一个Pytorch环境,之后将该环境进行保存
保存之后就会得到属于自己的docker环境。之后在创建开发环境的时候就可以直接拉取镜像信息,创建开发环境(可以加载出已经下载好的文件)
在创建完成开发环境之后,可以使用ssh协议(Xshell连接)连接云服务器进行下一步的操作。
(找到自己所创建的文件夹)
安装Anaconda环境
https://repo.anaconda.com/archive/
根据自己Linux环境架构选择相应的Anaconda的文件下载,比如我的架构是x86_64就选择相应的版本下载即可。
直接从服务器上进行下载:
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh
安装.sh文件进行下载。
bash Anaconda3-2024.02-1-Linux-x86_64.sh
下载完成之后需要进行一部分验证,(在配置环境变量之前)
如果不配置环境变量的话,采用conda -V命令会提示找不到这个命令。
设置环境变量,分别在 /etc/profile 和 ~/.bashrc 文件的最后一行添加,使用 vim 编辑这两个文件即可,然后刷新文件
- 打开profile 文件
vim /etc/profile
- 添加环境变量
export PATH=/root/anaconda3/bin:$PATH
- 刷新文件:
source /etc/profile
source ~/.bashrc
创建vit的虚拟环境并进行激活
- 创建VIT项目使用的虚拟环境
conda create --name VIT python=3.11.9
2. 激活所创建的环境
conda activate VIT
3. 解压打包之后的zip文件夹,并移动数据集到指定的位置处。
unzip flower_data.zip
mkdir flower_data
mv flower_photos/ flower_data
按照之前的格式将项目进行移动。和之前本机启动的结构相同
安装所需要的库尝试进行启动
GPU占用没有设备,因此使用CPU版本的进行启动。
conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 -c pytorch
conda install tensorboard
conda install matplotlib
执行预测文件进行启动
python predict.py
执行成功得到最后所预测出来的结果信息。
执行训练文件并进行启动
conda install tqdm
执行训练的任务的时候也是可以执行训练任务的
产生的问题与解决
在使用之前也听老师说过云服务器的一个缺陷:关闭连接以后命令不会继续的执行,因此老师建议使用Tmux进行后台的执行
更新库:apt-get update
下载:apt install tmux
新建会话
tmux new -s session-name
则进入一个新的会话。
我们切换到指定的vit环境之后进行分离会话的操作。
分离会话
tmux detach
快捷键: ctrl+b 然后按d
查看会话列表
tmux ls
之前创建的会话正在进行执行。
接入会话
接入最近的会话
tmux attach
接入特定的会话
tmux attach -t <session-name>
也可以使用编号接入会话
杀死会话
使用会话编号杀死会话
tmux kill-session -t 0
使用会话名字杀死会话
tmux kill-session -t <session-name>
tmux kill-session -t VIT-train
使用tmux进行后台的训练
使用tmux进行后台的训练并在Xshell离线之后判断是否可以继续的执行训练步骤。
关闭环境使用本地的终端进行查看依旧正在执行中。
使用Pycharm远程连接进行测试
使用专业版的pycharm创建一个ssh连接。
连接成功之后就可以进行进一步的操作了。
上面的是从远程连接中拉取项目,下面的是可以使用远程的服务器环境并上传相关的文件执行。