一、创建scrapy项目

先来看一下爬取的字段情况：

本次爬取城市天气数据的scrapy项目使用pycharm创建。首先，使用pycharm创建一个项目并打开该项目，创建的项目名称为scrapyProject。打开pycharm的终端，输入命令scrapy startproject weatherspider，接下来在终端输入命令cd weatherspider进入该目录下。然后输入命令scrapy genspider weather www.xxx.com，这里的weather是spider的名字。项目便创建好了。

二、修改settings，设置UA，开启管道

打开settings.py，将ROBOTSTXT_OBEY改为False，LOG_LEVEL设置为ERROR，将User-Agent改为自己的User-Agen，如下图所示：

在settings.py文件中取消管道代码的注释，如下图所示：

<