这节课我们来谈谈 Scrapy

说到Python爬虫，大牛们都会不约而同地提起Scrapy。因为Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

Scrapy最初是为了页面抓取（更确切来说, 网络抓取）所设计的，也可以应用在获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。

这节课主要讲解如何安装 Scrapy

使用的电脑系统：Windows 10 64位
使用的Python的版本：python 3.5.2

step1：安装Python 3.5.2

直接下载安装包安装即可，在安装时，必须勾选 Add Python 3.5 to PATH，这是将 python 添加到 PATH 环境变量。

如果在安装时没有勾选，也没关系，打开“运行”，输入cmd。执行以下命令，设置环境变量：

C:\Python35\python.exe C:\Python35\tools\Scripts\win_add2path.py

step2 ：确认Python 安装正确

重新打开cmd，输入命令“python --version”

–如果有显示Python2.7.9则说明成功；

–如果没有，请服用Windows特效药：重启系统尝试一下。

step3：安装pywin32（32位版本）

这里有两种办法安装：

法1：进入网页http://sourceforge.net/projects/pywin32/，下载pywin32，双击安装。

法2：打开cmd，输入命令 pip install pywin32，等待安装成功即可。

如果不能成功的话，可能就是没有安装 pip（如果你是使用Python2.9 以前的版本，是需要自己另外安装pip的，步骤如下:）

下面的内容针对没有 pip 的用户，其他的人可以直接看step4。

•安装pip，地址：

–pip · PyPI

a)下载get-pip.py

b)进入cmd，执行：python get-pip.py

c)检查Python27\Scripts中是否有pip.exe并设置Python27\Scripts到环境变量中

d)重启cmd，输入命令“pip --version”

•如果有显示版本号则说明成功；

•如果没有，请继续服用Windows特效药：重启系统尝试一下。

step4：安装 lxml

这里也可以使用两种办法安装：

法1：进入网页Installing lxml，下载 lxml，双击安装。

法2：打开cmd，输入命令 pip install lxml，等待安装成功即可。

step5：安装OpenSSL

法1：pypi.python.org/pypi/pyOpenSSL

法2：pip install pyOpenSSL

step6：安装Scrapy

pip install Scrapy

这样就安装 OK了，我们班来验证一下：

重新打开cmd，输入命令 Scrapy

C:\Users\XiangyangDai>Scrapy
:0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/pypi/service_identity> and make sure all of its dependencies are satisfied. Without the service_identity module, Twisted can perform only rudimentary TLS client hostname verification. Many valid certificate/hostname mappings may be rejected.
Scrapy 1.5.1 - no active project

Usage:
scrapy <command> [options] [args]

Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy

[ more ] More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command