scrapy文档

        文档链接

         安装指南 — Scrapy 2.5.0 文档 (osgeo.cn)https://www.osgeo.cn/scrapy/intro/install.html

创建scrapy框架

        0.介绍：

                scrapy是异步非阻塞框架

                异步：一个主线程有20个任务，可以来回切换

                非阻塞：运行的程序不需要等待调用结果

        1.创建命令

命令：scrapy startproject 项目名称

例子：scrapy startproject mySpider

目录结构：

        2.创建爬虫脚本

        命令：scrapy genspider 爬虫名 允许爬取的域名

        例子：scrapy genspider baidu baidu.com

        3.运行项目 

在红框的目录下运行启动命令

命令：scrapy crawl 爬虫名称