Redis 与 Scrapy：无缝集成的分布式爬虫技术

news2024/11/25 8:21:20

1. 分布式爬虫的概念

分布式爬虫系统通过将任务分配给多个爬虫节点，利用集群的计算能力来提高数据抓取的效率。这种方式不仅可以提高爬取速度，还可以在单个节点发生故障时，通过其他节点继续完成任务，从而提高系统的稳定性和可靠性。

2. Scrapy 简介

Scrapy 是一个用于快速抓取 web 数据的 Python 框架。它提供了一个异步处理的架构，可以轻松地处理大规模数据抓取任务。Scrapy 的主要特点包括：

异步处理：利用 Twisted 异步网络库，Scrapy 可以同时处理多个请求，提高数据抓取的效率。
强大的选择器：Scrapy 使用 lxml 或 cssselect 作为选择器，可以方便地从 HTML/XML 页面中提取数据。
中间件支持：Scrapy 支持下载中间件和蜘蛛中间件，允许开发者在请求和响应处理过程中插入自定义逻辑。
扩展性：Scrapy 可以轻松地与各种存储后端（如数据库、文件系统）集成。

3. Redis 简介

Redis 是一个开源的内存数据结构存储系统，用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串、哈希、列表、集合等。Redis 的主要特点包括：

高性能：Redis 的数据存储在内存中，读写速度快。
高可用性：通过主从复制和哨兵系统，Redis 可以提供高可用性。
数据持久化：Redis 支持 RDB 和 AOF 两种持久化方式，确保数据的安全性。
丰富的数据类型：Redis 支持字符串、列表、集合、有序集合、散列等多种数据类型。

4. Scrapy-Redis 架构

Scrapy-Redis 是 Scrapy 与 Redis 的集成库，它将 Scrapy 的爬虫任务和结果存储在 Redis 中。这种架构的主要优势包括：

分布式处理：通过 Redis，Scrapy-Redis 可以将爬虫任务分配到多个爬虫节点，实现分布式处理。
去重：利用 Redis 的集合数据类型，Scrapy-Redis 可以轻松实现 URL 的去重。
任务队列：Redis 作为任务队列，可以存储待抓取的 URL，避免重复抓取。

5. Scrapy-Redis 组件

Scrapy-Redis 架构主要由以下几个组件构成：

Redis 服务器：作为数据存储和任务队列的后端。
Scrapy 爬虫：执行实际的数据抓取任务。
Scrapy-Redis 扩展：提供 Scrapy 与 Redis 之间的集成功能。

6. 实现 Scrapy-Redis 架构

以下是实现 Scrapy-Redis 架构的基本步骤和示例代码：
首先，需要安装 Scrapy 和 Scrapy-Redis。可以通过 pip 安装.
在 Scrapy 项目的 settings.py 文件中。
接下来，定义一个 Scrapy 爬虫，并使用 Redis 存储爬取结果。

import scrapy
from scrapy import Request
from scrapy.utils.project import get_project_settings
from scrapy.exceptions import NotConfigured
from twisted.internet import reactor
from twisted.internet.error import TimeoutError
from twisted.internet.defer import inlineCallbacks
from scrapy.http import HtmlResponse
from scrapy.utils.response import response_status_message

from scrapy_redis.spiders import RedisSpider

class ProxyMiddleware(object):
    def __init__(self, proxyHost, proxyPort, proxyUser, proxyPass):
        self.proxyHost = proxyHost
        self.proxyPort = proxyPort
        self.proxyUser = proxyUser
        self.proxyPass = proxyPass

    @classmethod
    def from_crawler(cls, crawler):
        settings = crawler.settings
        return cls(
            proxyHost=settings.get('PROXY_HOST'),
            proxyPort=settings.get('PROXY_PORT'),
            proxyUser=settings.get('PROXY_USER'),
            proxyPass=settings.get('PROXY_PASS')
        )

    def process_request(self, request, spider):
        proxy = f"{self.proxyUser}:{self.proxyPass}@{self.proxyHost}:{self.proxyPort}"
        request.meta['proxy'] = proxy

class MySpider(RedisSpider):
    name = 'example'
    redis_key = 'example:start_urls'

    def start_requests(self):
        yield scrapy.Request(url=self.start_urls[0], callback=self.parse)

    def parse(self, response):
        for href in response.css('a::attr(href)').getall():
            yield response.follow(href, self.parse_item)

    def parse_item(self, response):
        item = {
            'domain_id': response.url,
            'domain_name': response.url,
        }
        yield item

# settings.py
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300,
}

DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'

SCHEDULER = 'scrapy_redis.scheduler.Scheduler'

SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderQueue'
SCHEDULER_QUEUE_LIMIT = 10000

REDIS_URL = 'redis://localhost:6379'

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 100,
}

PROXY_HOST = "www.16yun.cn"
PROXY_PORT = "5445"
PROXY_USER = "16QMSOML"
PROXY_PASS = "280651"