PyTorch深度学习实战（1）——PyTorch安装与配置

本章共有两节，2.1节介绍如何安装PyTorch，以及如何配置学习环境；2.2节带领读者快速浏览PyTorch中的主要内容，帮助读者初步了解PyTorch。

PyTorch是一款以C语言为主导开发的轻量级深度学习框架，它提供了丰富的Python接口以便用户使用。在使用PyTorch之前，读者需要安装Python环境以及pip包管理工具，笔者推荐使用Anaconda配置相关虚拟环境。本书中的所有代码均使用PyTorch 1.8版本，在Python3环境中运行得到最终结果。此外，本书默认使用Linux作为开发环境。

为了方便用户安装使用，PyTorch官方提供了多种安装方法。本节将介绍几种常用的安装方式，读者可以根据自己的需求选用。

1 在Linux系统下安装PyTorch

1.1使用pip安装

目前，使用pip安装PyTorch二进制包是最简单、最不容易出错，同时也是最适合新手的安装方式。读者可以从PyTorch官网选择操作系统、包管理器、编程语言及CUDA版本，从而得到对应的安装命令，如图2-1所示。

以Linux平台、pip包管理器、PyTorch 1.8及CUDA 10.2为例，安装命令如下：

pip install torch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0

待全部安装完成后，打开Python，运行如下命令：

import torch as t

如果上述命令没有报错，那么表示PyTorch安装成功。在安装PyTorch时，读者需要注意以下两点。

PyTorch对应的Python包名是torch，而非pytorch。
如果需要使用GPU版本的PyTorch，那么需要先安装英伟达显卡驱动，再安装PyTorch。

1.2使用conda安装

conda是Anaconda自带的包管理器，如果读者使用Anaconda作为Python环境，那么除了使用pip安装PyTorch，还可以使用conda进行安装。同样，读者可以从PyTorch官网选择对应的操作系统、包管理器、编程语言及CUDA版本，从而得到对应的安装命令，如图2-2所示。

以Linux平台、conda包管理器、PyTorch 1.8及CUDA 10.2为例，安装命令如下：

conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=10.2 -c pytorch

其中，-c pytorch表示从官网下载安装，速度可能较慢。因此，可以将conda源更换为清华镜像源，读者可自行搜索更换方法。在配置完清华镜像源后就可以去掉-c pytorch命令，从而较快地通过conda完成PyTorch的安装。

注意：PyTorch在安装包中已经集成了CUDA相关的二进制文件，因此CUDA版本可以和系统的CUDA版本不一致，具体可以参考8.2节。另外，读者也可以选择只支持CPU的版本，或者还处在测试阶段的AMD GPU版本（ROCm）。

2 在Windows系统下安装PyTorch

1.1使用pip安装

对于PyTorch 1.8，官网提供了基于包管理器pip的安装方法。同样，选择操作系统、包管理器pip，编程语言以及CUDA版本，就可以得到对应的安装命令，如图2-3所示。

1.2使用conda安装

与在Linux系统下的安装类似，进行相应选择后，官网提供的命令界面如图2-4所示。

为了加快安装的速度，用户可以配置清华镜像源，读者可自行搜索配置方法。在配置完清华镜像源后就可以去掉-c pytorch，从而较快地通过conda完成PyTorch的安装。

3 学习工具介绍

工欲善其事，必先利其器。在从事科学计算相关工作时，IPython和Jupyter Notebook是两个重要的工具，笔者推荐使用IPython或者Jupyter Notebook来学习本书的示例代码。类似的开发工具还有PyCharm以及Visual Studio Code（VS Code）。笔者认为，Jupyter Notebook中聚合了网页与可视化的功能，十分便捷易用；PyCharm更全面但也更复杂，更适合一些大规模项目的开发，它的较多功能需要使用付费的专业版；VS Code的生态环境已经十分成熟，它提供了许多易用的插件以提升用户的体验感。因此，本节将向读者介绍VS Code、IPython以及Jupyter Notebook的安装与使用方法。

3.1 Visual Studio Code

VS Code是一款由微软开发的免费且开源的编辑器，它支持所有主流的开发语言。VS Code适合用户进行远程开发，它支持SSH传输协议，可用于连接远程服务器。同时，VS Code提供了十分丰富的插件，来提高用户的开发效率，例如Python（用于代码调试、变量检测等）、Remote-SSH（用于连接远程服务器）、Jupyter（用于加载Jupyter Notebook）等。

VS Code可在其官网上直接下载，目前支持Windows、Linux以及macOS系统。在成功安装VS Code后，读者可以通过左侧菜单栏中的扩展页面（快捷键"Ctrl+Shift+X"）下载相关插件，如图2-5所示。

安装Python插件以及Jupyter插件后，读者可以直接使用VS Code打开.py和.ipynb文件，在VS Code中使用Jupyter Notebook的界面如图2-6所示。VS Code提供了自动补全、悬停提示等多种实用的功能，十分适合Python入门者进行后续学习。

3.2 IPython

IPython是一个交互式计算系统，可以认为是增强版的Python Shell，它提供了强大的REPL（交互式解析器）功能。对于从事科学计算的用户来说，IPython提供了方便的可交互式学习以及调试功能。

安装IPython十分简单，读者可以通过以下命令安装IPython：

pip install ipython

安装完成后，在命令行输入ipython即可启动IPython，启动界面如下：

Python 3.6.13 | packaged by conda-forge | (default, Feb 19 2021, 05:36:01) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.16.1 -- An enhanced Interactive Python. Type '?' for help.
 
In [1]: import torch as t

输入exit命令或者按下“Ctrl+D”快捷键即可退出IPython。IPython有许多强大的功能，其中最常用的功能如下。

自动补全 IPython最方便的功能之一是自动补全，输入一个函数或者变量的前几个字母，按下“Tab”键，就能实现自动补全，如图2-7所示。

内省内省是指在程序运行时获得一个对象的全部类型信息，这对实际学习有很大帮助。例如，在某个函数或者模块之后，接着输入?可以查看它对应的帮助文档。有些帮助文档比较长，可能跨页，这时可按空格键翻页，输入q退出，示例如下：

In [1]: import torch as t
 
In [2]: t.abs?
Docstring:
abs(input, out=None) -> Tensor
 
Computes the element-wise absolute value of the given :attr:`input` tensor.
 
.. math::
    \text{out}_{i} = |\text{input}_{i}|
 
Args:
    input (Tensor): the input tensor.
    out (Tensor, optional): the output tensor.
 
Example::
 
    >>> torch.abs(torch.tensor([-1, -2, 3]))
    tensor([ 1,  2,  3])
Type:      builtin_function_or_method

在函数或模块名之后输入两个问号，例如，torch.nn.L1Loss??可以查看这个对象的源码。注意，此处的源码是Python对应的源码，无法查看C/C++的源码。

快捷键 IPython提供了很多快捷键。例如，按上箭头可以重新输入上一条代码；一直按上箭头，可以追溯到之前输入的代码。按"Ctrl+C"快捷键可以清空当前输入，或者停止正在运行的程序。常用的快捷键如表2-1所示。

:IPython常用快捷键

快捷键	功能
Ctrl+P或上箭头	搜索之前命令历史中以当前输入文本开头的命令
Ctrl+N或下箭头	搜索之后命令历史中以当前输入文本开头的命令
Ctrl+Shift+V	粘贴代码或代码块
Ctrl+A	跳转到行头
Ctrl+E	跳转到行尾
Ctrl+R	搜索命令历史中包含当前输入关键词的命令

魔术方法 IPython中还提供了一些特殊的命令，这些命令以%开头，称为魔术方法。例如，可以通过%hist查看当前IPython下的输入历史等，示例如下：

In [1]: import torch as t
 
In [2]: a = t.Tensor(2,3)
 
In [3]: %timeit a.sum() # 检测某条语句的执行时间
7.34 µs ± 18.3 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)In [4]: %hist # 查看输入历史
import torch as t
a = t.Tensor(2, 3)
%timeit a.sum()
%hist
 
In [5]: %paste # 执行粘贴板中的代码，如果只需粘贴但不执行，那么使用“Ctrl+Shift+V”
def add(x, y, z):
     return x + y + z
## -- End pasted text --
 
In [6]: %cat a.py # 查看某一个文件的内容，这个文件只有两行代码
b = a + 1
print(b.size())
 
In [7]: %run -i a.py # 执行文件，-i选项代表在当前命名空间中执行
                     # 此时会使用当前命名空间中的变量，结果也会返回至当前命名空间
torch.Size([2, 3])
 
In [8]: b 
Out[8]: 
 
tensor([[1., 1., 1.],
        [1., 1., 1.]])

和普通Python对象一样，魔术方法也支持自省，可以在命令后面加?或??查看对应的帮助文档或源代码。例如，通过%run?可以查看它的使用说明。其他常用魔术方法如表2-2所示。

:IPython的常用魔术方法

命令	说明
%debug	最重要的命令，进入调试模式(按q退出)
%quickref	显示快速参考
%who	显示当前命名空间中的变量
%magic	查看所有魔术命令
%env	查看系统环境变量
%xdel	删除变量并删除其在IPython上的一切引用

粘贴 IPython支持多种格式的粘贴，除了使用%paste魔术方法，还可以直接粘贴多行代码、doctest代码和IPython的代码（下面的代码都是使用“Ctrl+V”直接粘贴的，如果是Linux终端，那么应该使用“Ctrl+Shift+V”直接粘贴，或者单击鼠标右键，选择"粘贴"选项）。

In [1]: In [1]: import torch as t
   ...: 
   ...: In [2]: a = t.rand(2, 3)
   ...: 
   ...: In [3]: a
Out[1]: 
tensor([[0.9308, 0.3277, 0.4836],
        [0.8710, 0.8060, 0.7158]])
 
In [2]: >>> import torch as t
   ...: >>> a = t.rand(2, 3)
   ...: >>> a
   ...: 
Out[2]: 
tensor([[0.3637, 0.3146, 0.8401],
        [0.2032, 0.7698, 0.3965]])
 
In [3]: import torch as t
   ...: a = t.rand(2, 3)
   ...: a
Out[3]: 
tensor([[0.6753, 0.6220, 0.3510],
        [0.9146, 0.5749, 0.4940]])

使用IPython进行调试 IPython最主要、最好用的功能就是调试。IPython的调试器ipdb增强了pdb，提供了很多实用的功能，例如“Tab”键自动补全、语法高亮等。当通过%run main.py 运行程序报错时，IPython并不会退出，此时用户可以使用魔术命令%debug进入调试模式，直接跳转到报错的代码处，这样可以降低复现程序错误导致的开销。在调试模式下，可通过u、d实现堆栈中的上下移动，常用的调试命令如表2-3所示。

:ipdb常用的调试命令

命令	功能
h(elp)	显示帮助信息，help command显示这条命令的帮助信息
u(p)	在函数调用栈中向上移动
d(own)	在函数调用栈中向下移动
n(ext)	单步执行，执行下一步
s(tep)	单步进入当前函数调用
a(rgs)	查看当前调用函数的参数
l(ist)	查看当前行的上下文参考代码
b(reak)	在指定位置上设置断点
q(uit)	退出

调试是一个重要功能，不仅在学习PyTorch时需要用到，而且在平时学习Python或者使用IPython时也会经常使用。更多的调试功能，可以通过h <命令>查看该命令的使用方法。关于调试的更多技巧将在本书第9章进行介绍。

如果想在IPython之外使用调试功能，那么首先需要使用命令pip install ipdb安装ipdb，然后在需要调试的地方加上以下代码：

import ipdb
ipdb.set_trace()

当程序运行到这一步时，会自动进入调试模式。

3.3 Jupyter Notebook

Jupyter Notebook是一个交互式笔记本，前身是IPython Notebook，后来它从IPython中独立出来，目前支持运行40多种编程语言。对希望编写漂亮的交互式文档和从事科学计算的用户来说，Jupyter Notebook是一个不错的选择。

Jupyter Notebook的使用方法与IPython非常类似，Jupyter Notebook有以下三个优势。

更美观的界面：相比在终端下使用IPython，Jupyter Notebook提供图形化操作界面，对新手而言更加美观简洁。
更好的可视化支持：Jupyter Notebook与Web技术深度融合，支持直接在Jupyter Notebook中可视化，这对于需要经常绘图的科学运算实验来说十分便利。
方便远程访问：在服务器端开启Jupyter Notebook服务后，客户端电脑只需有浏览器且能访问服务器，就可以使用远程服务器上的Jupyter Notebook。这对于使用Linux服务器，而办公电脑使用Windows的用户来说十分方便，避免了在本地配置环境的复杂流程。

安装Jupyter Notebook只需要一条pip命令：

pip install jupyter 安装完成后，用户在命令行输入jupyter notebook命令即可启动Jupyter，此时浏览器会自动弹出，并打开Jupyter主界面。用户也可以手动打开浏览器，输入http://127.0.0.1:8888（Jupyter Notebook的默认端口是8888，用户可以在启动时指定不同的端口）访问Jupyter，界面如图2-8所示。

点击右上角的“New”选项，选择相应的Notebook类型（如Python3、Python2等），就可以新建一个Notebook。读者可以在In[ ]后面的编辑区输入代码，按“Ctrl+Enter”键运行代码，如图2-9所示。

如果用户需要访问远程服务器的Jupyter Notebook，那么需要在服务器中搭建Jupyter Notebook服务，然后通过浏览器访问，设置流程如下。

（1）生成Jupyter的配置文件：

jupyter notebook --generate-config执行上述命令，会在当前用户的.jupyter目录下生成名为jupyter_notebook_config.py的配置文件。

（2）设置密码，并获取加密后的密码：

from notebook.auth import passwd
 
p = passwd()
# 输入密码
# 确认密码
print(p)

打印得到的结果argon2:... 即为加密后的密码。

（3）打开第一步生成的配置文件，修改以下内容：

# 加密后的密码
c.NotebookApp.password = u'argon2:...' 
 
# 如果只想绑定某个ip，那么改成对应的ip即可
c.NotebookApp.ip = '*'
 
# 绑定的端口号，如果该端口已经被占用，
# 会自动使用下一个端口号10000
c.NotebookApp.port = 9999

（4）启动Jupyter Notebook：

jupyter notebook

（5）在客户端打开浏览器，访问url：http://[服务器ip]:9999，输入密码，即可访问Notebook。

如果客户端浏览器无法打开Jupyter Notebook，那么有可能是防火墙的缘故，用户可以输入以下命令开放对应的端口（若使用IPV6，请把命令iptables改成ip6tables）。

iptables -I INPUT -p tcp --dport 9999 -j ACCEPT
iptables save

Jupyter Notebook的使用和IPython极为类似，上文介绍的IPython使用技巧在Jupyter Notebook中都基本适用。它支持自动补全、内省、魔术方法、调试等功能，但它的快捷键与IPython有较大不同，读者可通过菜单栏的【Help】→【Keyboard Shortcuts】查看详细的快捷键。Jupyter Notebook还支持很多功能，如Markdown语法、HTML、各种可视化等。更多关于IPython和Jupyter Notebook的使用技巧，读者可以查看官方文档。

除了Jupyter Notebook，Jupyter还推出了最新的数据科学工具JupyterLab。JupyterLab包含了Jupyter Notebook的全部功能，并增强了交互式体验，如提供仪表盘用于灵活地更改参数、多视图预览同一文件等。二者的操作基本一致，读者可根据个人喜好进行选择。

4 服务器开发介绍

一般来说，用户的大规模计算资源（如GPU）都部署在远程服务器上，而用户通常是在本地进行代码编辑。因此，服务器开发是最常见的一种开发模式。下面对常用的几种服务器开发模式进行总结。

首先将服务器的文件夹通过SSHFS挂载到本地，然后通过VS Code打开，用本地的Python解释器运行、调试代码。在这种开发模式下，挂载的文件读写、运行较慢，而且无法使用服务器的GPU。
在本地的VS Code中编写代码，通过Git上传到远程服务器，在服务器上使用IPython/Python运行代码。这种做法比较烦琐，不方便调试。
首先在远程服务器上启动Jupyter Notebook或JupyterLab，然后在本地使用浏览器或者VS Code连接远程的Jupyter编写代码。由于Jupyter自带的编辑功能比较简陋，这个方法也不推荐。
笔者最推荐的方法：首先利用VS Code的Remote SSH打开远程服务器上的文件夹，然后使用远程服务器的Python解释器运行、调试代码。在这种开发模式下，代码启动更快，读取远程数据也更方便。