创建Scrapy爬虫项目

前言

本文主要介绍如何创建并运行 Scrapy 爬虫项目。

正文

1、创建 Scrapy 框架

1. Scrapy 框架提供了 scrapy 命令用来建立 Scrapy 工程，在终端 terminal 中输入以下命令：

   scrapy startproject 自定义的项目名称
   

   

2. 创建好爬虫项目文件夹后先 cd 进入创建的爬虫项目，然后执行下列语句，即可生成一个爬虫文件：

   cd 自定义的项目名称
   scrapy genspider 创建的py文件名 爬取的url地址
   

   

3. 创建后的目录如下：
   

2、Scrapy 工程项目目录解析

1. spiders：存放爬虫文件,其中包含爬虫的业务逻辑(爬取那些网站)
2. items：定义数据结构
3. middlewares：中间件(爬虫中间件和下载中间件)
4. pipelines：管道,数据保存
5. settings：设置文件

3、运行 Scrapy 框架

运行 Scrapy 框架有两种方式：

1. 命令行启动：命令行输入 scrapy crawl 爬虫文件名

2. .py文件启动：在项目目录下新建run.py文件，导入 from scrapy import cmdline 执行cmdline.execute("scrapy crawl 创建的py文件名".split())

   from scrapy import cmdline
   
   cmdline.execute("scrapy crawl 爬虫文件名".split())