基于Scrapy框架的下载器中间件添加Cookie参数

前言

本文中介绍如何基于 Scrapy 框架的下载器中间件添加 Cookie 参数。

正文

1、添加中间件的流程

在 middlewares.py 中新建 Cookie参数中间件类
在 settings.py 中添加此下载器中间件，设置优先级并开启

2、基于Scrapy框架的下载器中间件添加Cookie参数的流程

在 middlewares.py 中新建 Cookie参数中间件类

# 中间件3：Cookie
class BaiduCookieDownloaderMiddleware(object):
    def process_request(self, request, spider):
        # 1、先抓包得到cookie
        cookie_dict = self.get_cookie()
        request.cookies = cookie_dict
        print(cookie_dict)

    def get_cookie(self):
        cookie_string = 'xxx:xxx'
        cookie_dict = {}
        for kv in cookie_string.split(";"):
            k = kv.split('=')[0]
            v = kv.split('=')[1]
            cookie_dict[k] = v
        return cookie_dict

注意1：Cookies 参数需要通过 F12 抓包得到；
注意2：要写一个函数，将 Cookies 字符串格式处理为字典格式。

    def get_cookie(self):
        cookie_string = ''
        cookie_dict = {}
        for kv in cookie_string.split(";"):
            k = kv.split('=')[0]
            v = kv.split('=')[1]
            cookie_dict[k] = v
        return cookie_dict

在 settings.py 中添加此下载器中间件，设置优先级并开启

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
# 开启中间件
DOWNLOADER_MIDDLEWARES = {
    "BaiduMiddle.middlewares.BaidumiddleDownloaderMiddleware": 543,
    "BaiduMiddle.middlewares.BaiduCookieDownloaderMiddleware": 400
}