文章目录
- Anaconda安装
- 关于PyTorch的安装和使用
- Frequently Asked Questions
- 在PyCharm中使用PyTorch
- apex库的安装
声明:以下内容均是根据个人经验总结,可能存在不合理之处,烦请指正。
Anaconda安装
打开Anaconda Prompt 输入:conda create -n pytorch python = 3.8
这行命令是干什么的?
- 创建一个名为pytorch的虚拟环境
- 在该环境中安装Python 3.8
- 通过激活该环境,你可以独立地管理项目依赖,避免与其他项目冲突。
接着输入:conda config --set custom_channels.auto https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
使用清华的镜像源,在以后安装各种包时可能会快一些。
理解Anaconda文件夹下各个目录含义
如下表:
名称 | 作用 |
---|---|
condabin | 存放 Anaconda 可执行文件,包含激活虚拟环境脚本等,用于包管理、环境创建和 Python 程序运行等操作 |
conda-meta | 存储 conda 安装软件包的元数据信息(版本、依赖关系、安装时间等),文件后缀为 .json,每个文件对应一个已安装的 conda 包 |
DLLs | 存放与 Python 及其相关库或工具相关的动态链接库文件,由 Anaconda 自带库或第三方库提供 |
envs | 存放所有虚拟环境,可避免不同项目间的版本冲突 |
etc | 存放 Anaconda 的配置文件(如 conda 配置文件和环境变量设置),用于自定义 Anaconda 行为和环境设置 |
include | 存放 Anaconda 安装中的 C/C++ 头文件,对 Python 扩展开发等至关重要 |
Lib | 包含 Anaconda 的库文件(Python 标准库和自带第三方库),site-packages 存放 pip 或 conda 安装的 Python 包 |
Library | 包含 Anaconda 分发中的几乎所有库文件、模块、脚本和工具等,为 Python 编程和数据科学工作提供全面支持 |
pkgs | 存放 conda 安装软件包的缓存文件,方便快速安装相同软件包 |
Scripts | 存放 Windows 系统下脚本文件(命令行工具和 Python 脚本),如用于激活虚拟环境的脚本 |
share | 包含共享文件(如 Jupyter Notebook 的配置文件和启动脚本),对配置和使用交互式计算环境很重要 |
.condarc | 是 conda 的配置文件,用于存储和管理 conda 的配置信息,如镜像源、环境变量等 |
.nonadmin | 常与非管理员模式或用户相关 |
conda.exe | Anaconda/Miniconda 的可执行文件,包含 conda 包管理器和环境管理器,用于安装、升级、删除软件包和创建、管理环境 |
参考文章:
[1]:https://blog.csdn.net/weixin_47381639/article/details/119798672?fromshare=blogdetail&sharetype=blogdetail&sharerId=119798672&sharerefer=PC&sharesource=m0_64450656&sharefrom=from_link
[2]:https://blog.csdn.net/qq_62844901/article/details/143945328?fromshare=blogdetail&sharetype=blogdetail&sharerId=143945328&sharerefer=PC&sharesource=m0_64450656&sharefrom=from_link
关于PyTorch的安装和使用
也许,你之后会遇到不同的项目,需要使用到不同版本的环境。比如这个项目要用到pytorch 0.4,另一个项目要用到pytorch 1.0,如果你卸载了0.4版本,安装了1.0版本。那么下次,你再碰到0.4版本,你就需要卸载1.0版本,安装0.4版本。很折腾。Anaconda集成的conda包就能够解决这个问题。它可以创造出两个屋子,相互隔离。一个屋子放0.4版本,一个屋子放1.0版本。你需要哪个版本,就进哪个屋子工作。
我们首先使用conda指令创建一个屋子,叫做pytorch。
指令如下:
conda create -n pytorch python=3.8
conda 是指调用conda包,create是创建的意思,-n是指后面的名字,也就是name的简写。pytorch是屋子的名字,python=3.8是我们需要使用的包。
base是基本环境
左边括号里是环境的名称,pip list
可以帮助我们查看有哪些工具包。
conda infon --envs :这是查看所有已经创建的环境的命令
创建成功之后,就要激活这个屋子——pytorch了,使用conda activate pytorch
激活之后,我们发现并没有pytorch,我们需要去官网下载适合自己电脑的推荐的版本:
然后经过漫长的等待(感觉可能需要几分钟),你就选yes,然后就安装完成了。接着验证一下是否安装成功:
但是如果出现:
CondaHTTPError: HTTP 000 CONNECTION FAILED for url
这样的报错,那可能是因为:
1)镜像源不能使用,还是建议使用清华的镜像源(上面已经给出了),我试了了中科大和阿里云的好像不能使用。
2)看看自己是不是开了代理,比如clash for windows之类的,需要把代理关闭。我就是在关掉代理之后就能够正常下载了,只不过速度有点慢。
也有可能出现:
conda Collecting package metadata (repodata.json)卡住或 failed问题
,卡住就是一直在那不停地转圈圈或者不动。
这种情况也可能是因为上面提到的两个原因。
安装成功后,首先:启动python解释器,(pytorch)表示当前激活的虚拟环境名为pytorch
import torch
这行代码,导入了PyTorch库,torch是PyTorch的主模块,包含了PyTorch的所有功能。
torch.cuda.is_available()
这是PyTorch提供的一个函数,用于检查当前系统是否支持CUDA。
true表示统支持 CUDA,并且 PyTorch 可以利用 GPU 进行加速计算。
如果你没有安装cuda的话那就需要去英伟达官网安装和自己电脑gpu对应的版本,CUDA Toolkit - Free Tools and Training | NVIDIA Developer
退出上面的Python环境:
quit()
Frequently Asked Questions
-
如果torch.cuda.is_available显示false,应该怎么办?
参考这个视频:PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】】
-
为什么每次在命令行中开始新的会话时,你都需要激活
conda
环境,比如pytorch
?这是因为
conda
环境不是持久激活状态,一旦关闭命令行窗口或终端会话,激活状态就会丢失。所以,为了确保你运行的命令在正确的环境中执行,每次都需要重新激活环境。在PyCharm中使用PyTorch
我们新建项目文件之后,在选择添加解释器时,可能会遇到选择Conda环境时既找不到python.exe又找不到conda.exe的情况(如果你能够找到那最好,直接添加自己创建环境下的),那就选择下图的System Interpreter,就可以找到python.exe了。
找不到conda.exe就不要选,第二个Conda Environment,会出现报错:
可以参考B站的这个视频——2024版本pycharm如何导入pytorch深度学习环境
还有这篇文章:https://blog.csdn.net/ytusdc/article/details/137782055?fromshare=blogdetail&sharetype=blogdetail&sharerId=137782055&sharerefer=PC&sharesource=m0_64450656&sharefrom=from_link
apex库的安装
在这次实验中,我需要使用apex库,它是NVIDIA开发的基于PyTorch的混合精度训练加速神器,能够增加运算速度,并且减少显存的占用。
Github地址:https://github.com/NVIDIA/apex
官方教程:https://nvidia.github.io/apex/
我在PyCharm上使用pip指令安装失败,然后参考文章看到需要基于Github源码安装。但是我在Github上居然下载失败,最后是用国内的gitcode镜像才下载成功。
GitCode - 全球开发者的开源社区,开源代码托管平台
下载成功之后,先解压这个ZIP文件,我是把解压后的文件放在了已经创建好的,D:\Anaconda3\envs\pytorch
之下,但我猜测放在别的地方应该也可以。
然后在该文件下打开终端,运行以下命令:
cd apex
python3 -m pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext"
python setup.py install
然后我们可以验证一下是否安装成功,在命令行中输入:
pip show apex
,如果apex安装成功,你应该会看到类似下图的形式:
参考文章:
[1]:https://blog.csdn.net/m0_67165162/article/details/144771801?fromshare=blogdetail&sharetype=blogdetail&sharerId=144771801&sharerefer=PC&sharesource=m0_64450656&sharefrom=from_link
[2]:https://blog.csdn.net/u012856866/article/details/144526882?fromshare=blogdetail&sharetype=blogdetail&sharerId=144526882&sharerefer=PC&sharesource=m0_64450656&sharefrom=from_link
[3]:https://blog.csdn.net/CHUAN_L/article/details/129959826?fromshare=blogdetail&sharetype=blogdetail&sharerId=129959826&sharerefer=PC&sharesource=m0_64450656&sharefrom=from_link