github官网代码示例：https://github.com/rmax/scrapy-redis/blob/master/example-project/example/spiders/myspider_redis.py
什么是 Scrapy-Redis
Scrapy-Redis是一个基于Scrapy的扩展，用于实现分布式爬虫。它利用 Redis 作为分布式队列来共享待爬取的 URL 和去重数据，这样可以让多个爬虫实例（即多个爬虫节点）并行工作，从而实现大规模的分布式数据抓取。
把普通爬虫改造成分布式爬虫
使用普通爬虫，改造成分布式爬虫，更便于理解
1. 安装 scrapy_redis框架模块
pip install scrapy_redis2. 爬虫类修改如下：
import scrapy
# --- 1. 导入分布式爬虫类
from scrapy_redis.spiders import RedisSpider
# --- 2. 继承分布式爬虫类
class BaiduSpider(RedisSpider):
name = "baidu"
# --- 3. 注释原来普通爬虫的 allowed_domains，start_urls
# allowed_domains = ["baidu.com"]
# start_urls = ["https://www.baidu.com"]
# --- 4. 设置redis的key，起始url就存在这个key里
redis_key = "baidu"
# --- 5. 设置 __init__，固定写法如下
def __init__(self, *args, **kwargs):
domain = kwargs.pop('domain', '')
self.allowed_domains = list(filter(None, domain.split(','))) # 获取启动爬虫命令时输入的域名
super().__init__(*args, **kwargs)
def parse(self, response):
print("解析数据：", response.xpath('//title/text()').get())3. 配置 settings.py 文件
# myproject2 是项目名称
SPIDER_MODULES = ["myproject2.spiders"]
NEWSPIDER_MODULE = "myproject2.spiders"
# USER_AGENT = "scrapy-redis (+https://github.com/rolando/scrapy-redis)"
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36"
# 重复过滤器使用的模块
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 设置调度器，scrapy_redis中的调度器具备与数据库交互的功能
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 保持任务队列，当程序结束时不清空 Redis 中的队列
SCHEDULER_PERSIST = True
# 设置任务队列使用的类型，可选的类型有：
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue" # 基于优先级的队列
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue" # 基于 FIFO 的队列
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack" # 基于 LIFO 的队列
ITEM_PIPELINES = {
# "myproject2.pipelines.ExamplePipeline": 300,
"scrapy_redis.pipelines.RedisPipeline": 400,
}
# 配置 redis 连接信息
REDIS_HOST = "localhost"
REDIS_PORT = 6379
# REDIS_DB = 0
# REDIS_PASSWORD = "123456"
LOG_LEVEL = "DEBUG"
# Introduce an artifical delay to make use of parallelism. to speed up the
# crawl.
# 延迟时间，单位秒
DOWNLOAD_DELAY = 14. 启动分布式爬虫
在爬虫类所在目录打开多个命令行窗口，使用如下命令启动爬虫
# scrapy runspider 爬虫类
scrapy runspider baidu.py如下：表示启动了多个程序，一起用于对这个爬虫进行爬取
5. 向redis中添加爬取的url
向redis中添加爬取的url，启动的爬虫会从redis中读取url进行爬取
# lpush key value1 value2 value3
lpush baidu "https://www.baidu.com"6. 效果
向 redis 中存入多个url后，可以看到有多个窗口同时爬取不同url的数据
lpush baidu "https://www.baidu.com" "https://tieba.baidu.com/f?kw=沙井"
实际使用场景
当一个网站的数据特别多的时候，有很多分页，或者下拉分页。通过对分页比较找出分页规则，通过分页规则计算拿到所有的分页地址。把所有的分页地址存到 redis 中
