引言:为了方便后续新进组的 师弟/师妹 使用课题组的服务器,特此编文(ps:我导从教至今四年,还未招师妹)
✅ NLP 研 2 选手的学习笔记
笔者简介:Wang Linyong,NPU,2023级,计算机技术
研究方向:文本生成、大语言模型
文章目录
- 1 写在前面
- 2 管理员分配并登录账号
- 3 配置Anaconda环境
- 4 使用Anaconda的简易教程
- 5 使用Anaconda的进阶教程
- 6 安装Pytoch库
- 7 参考资料
- 8 补充说明
1 写在前面
● 我使用的深度学习的 硬件环境 如下:
项 | 版本 |
---|---|
CUDA | 12.2 (通过 “nvcc -V” 查看) |
显卡 | 3 张 NVIDIA RTX A6000(每一张48 GB显存) |
Ubuntu | 20.04(通过 “lsb_release -a” 查看) |
驱动 | 550.100(通过 “nvidia-smi” 查看) |
CPU | X86_64 Intel® Xeon® Gold 6430(通过 “nvcc -V” 查看) |
内存 | 256GB(通过 “free -h 查看) |
2 管理员分配并登录账号
● 新增用户
sudo useradd -r -m -s /bin/bash username # username是用户名称
● 例如,给 “西工大(xgd)” 建一个用户账号:
sudo useradd -r -m -s /bin/bash xgd
● 设置密码
sudo passwd username # username是用户名称
● 例如,给 “西工大(xgd)” 用户账号设置密码:
sudo passwd xgd
● 比如,这是 我(wly) 作为管理员,正在给 师弟(awb) 申请一个账号并设置了密码:
● 当我退出我的账号(wly),再登他的账号(awb),其演示界面即如下:
3 配置Anaconda环境
● 【第一步:下载Anaconda】先到 Anaconda官网,根据自己 Linux 环境架构选择相应的 Anaconda 的文件下载。因为我的架构是 x86_64
就选择这个版本进行下载:
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
● 等个几分钟就能下好了:
● 下载好后,通过 ls -l
命令我们可以发现,Anaconda3-2024.10-1-Linux-x86_64.sh
文件没有执行权限,我们需要通过以下命令加一下 “可执行权限”:
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh
● 【第二步:安装Anaconda】接着,我们直接输入以下命令,开始安装:
./Anaconda3-2024.10-1-Linux-x86_64.sh
● 出现以下界面时,直接按 回车
即可:
● 出现以下界面时,一直按住 回车
即可:
● 直到出现以下界面时,输入 yes
即可:
● 出现以下界面时,再按一个 回车
即可:
● 静静等待安装完成,很快的:
● 这里我测试过,输入 yes
或者 no
都可以(ps: 我推荐选 no
,这里做一个标记 ⭐️,后文会提到):
选项 | 含义 |
---|---|
yes | 每当你打开一个新的终端,Conda 的 base 环境会自动被激活 |
no | 每次你想要使用 Conda 环境(包括base环境),都需要手动使用 conda activate <环境名称> |
● 【第三步:配置Anaconda的环境变量】现在我们还差最后一步,配置环境变量,需要输入以下命令将 awb
用户的 anaconda
路径加进 .bashrc
文件中(注意你需要将下面 linux 命令中的 awb
换成你自己的“账户名”):
echo 'export PATH="/home/awb/anaconda3/bin:$PATH"' >> ~/.bashrc
● 然后再输入以下命令,使得修改后的 .bashrc
文件在当前会话中生效:
source ~/.bashrc
● 运行结果如下:
补充说明:你可能输入
source ~/.bashrc
后,下一行并没有 “(base)” 这个标识符,这是因为我在前文的 “⭐️” 处选的是yes
,所以它自动激活了base
环境,如果你想取消自动激活
的功能,输入以下命令即可:conda config --set auto_activate_base false
4 使用Anaconda的简易教程
● 可以使用以下命令激活最原始的 base
环境:
conda activate base
● 运行结果如下:
● 如果你报错了,可以使用以下命令激活(效果一样的):
source actiavte base
● 运行结果如下:
● 在进入 base
环境后,你就可以通过 conda list
列出当前环境中通过 Conda 安装的所有软件包及其版本;你也可以通过 pip list
列出当前环境中通过 pip 安装的所有软件包及其版本,演示如下:
● 最后补一句,如果比起用 source
,你更喜欢用 conda
来激活环境,大概率可以用以下命令来生效(ps:注意,我用的词是“大概率”,因为我还没亲手处理过这种问题):
conda init
备注:执行完该命令后,需要关闭当前终端窗口,重新打开一个新的终端窗口,再尝试使用
conda activate base
命令
5 使用Anaconda的进阶教程
● 当我们要创建一个名字为 “my_master” 的新环境时,我们可以用以下命令来创建:
conda create --name my_master python=3.10
备注:其中
python=3.10
表示下载的python
版本是3.10
的
● 运行后当出现以下界面,直接输入 yes
或者 y
即可:
● 安装好后,我们可以通过以下命令来查看我们的 Conda 目前安装了哪些环境:
conda env list
● 然后当我们进入这个环境,通过输入 conda list
和 pip list
命令,可以看到,里面只有 python 和一些必要的库,可谓是相当的 “干净” ~
● 如果这个环境你不想用了,也可以通过以下命令删掉(示例如下):
conda env remove --name 环境名
6 安装Pytoch库
● 对于学习 “深度学习” 的我们,一般都绕不开 “Pytorch” 这个库,然后如果直接下载会很慢(因为资源在外网),但我们可以配置一些镜像源,来加快速度(推荐从下面三个选一个就行):
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 将清华源设置为全局的 pip 镜像源
pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/web/simple # 将中科大源设置为全局的 pip 镜像源
pip config set global.index-url https://pypi.doubanio.com/simple # 将豆瓣源设置为全局的 pip 镜像源
备注:若你使用了
pip config set
命令设置了镜像源,可使用pip config unset
命令来移除已设置的 index-url 配置,从而恢复默认设置。
● 然后来到 Pytorch 官网,选择适合你的 CUDA
版本的 pytoch 即可。
注意:我们应该选择与
nvcc --version
对应的CUDA
版本 匹配或者向下兼容 的 Pytorch。原因可参阅博客《【CUDA】nvcc和nvidia-smi显示的版本不一致?》。
● 因为,我通过 nvcc -V
查看我的 CUDA
版本为 12.2
:
● 所以,我的选择如下(我推荐使用 2.3.1
的 pytorch 版本):
● 输入以下命令后,静静等着下载完成即可:
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia
● 最后简单测试一下吧(能成功显示 torch 的版本就表示安装成功啦!⭐️⭐️⭐️):
7 参考资料
[1] 《历经万难,终于搭好深度学习环境[吐血总结篇,造福后人]》,it’s me
[2] 《【CUDA】nvcc和nvidia-smi显示的版本不一致?》,感谢CSDN博主:u013250861
8 补充说明
● 若有写得不对的地方,或有疑问,欢迎评论交流。
⭐️ ⭐️ 写于2025年4月18日 22:17 教研室工位 💻