爬虫小白-如何辨别是否有cookie反爬案例

news2024/11/27 1:41:19

一、Cookie介绍

先推荐该篇文章简单了解Cookie、Session、Token、JWT
1、cookie的类型：会话cookie和持久cookie；其唯一的区别在于过期时间，如果设置了Discard参数，或者没有设置Expires或Max-Age参数来说明扩展的过期时间，这个cookie就是一个会话cookie
2、会话cookie：是一种临时的cookie，它记录了用户访问站点时的设置和偏好，用户退出浏览器时，会话cookie就被删除了。
3、持久cookie的生存时间更长一些，它们存储在硬盘上，浏览器退出，计算机重启时它们仍然存在。通常用持久cookie维护某个用户会周期性访问的配置文件或登录名。

在这里插入图片描述

二、cookie生成来源区分查找

1、cookie参数一般是通过两种方式生成，一种是服务端返回的cookie，另一种是网页端有javascript代码生成的cookie
2、首先将打开谷歌开发者工具（一般按F12即可打开），清除掉网页缓存的cookie参数以及其他的参数，一般我们选择一个Clear Storage即可
3、清掉缓存后，再刷新网页，同样在谷歌开发者工具Application的位置查看是否有HttpOnly属性，或者是第一个请求的响应头里面的Set-Cookie , 测试网站

三、如何判断是否有cookie反爬

删掉cookie，重放请求，看是否还能和之前一样请求到一样的响应数据内容，如果能，则没有cookie反爬，如果不能，则有cookie反爬
如何确定cookie哪个参数是反爬的关键，测试法，多个键值对一个一个删，看谁影响到了，具体的看b站视频十一姐时一介绍讲解
测试：通过重放请求与删除单个cookie测试

四、来自服务器生成的cookie反爬解决方法

1、来自服务器生成的cookie，一般我们不用管，只需要请求对应的链接即可，可以直接用会话session保持，比如requests里面的session

2、案例一，szxx_session的cookie反爬，以及请求头参数X-Csrf-Token反爬
在这里插入图片描述

# -*- coding: utf-8 -*-            
# @Time : 2023-07-23
# @Author: sy
# @公众号: 逆向OneByOne
# @url: http://www.zjmazhang.gov.cn/hdjlpt/published?via=pc
import urllib3
import re
from loguru import logger
import requests
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)


def _requests(url, data=None):
    if data:
        res = ses.post(url, headers=headers, data=data, timeout=10)
    else:
        res = ses.get(url, headers=headers, timeout=10)
    logger.info(f">>>requests {url}")
    logger.success(f">>>status_code 【{res.status_code}】 res.cookies {res.cookies} ses.cookies {ses.cookies}")
    if res.status_code in [521, 412, 202, 200]:
        return res


def page(token):
    post_url = "http://www.zjmazhang.gov.cn/hdjlpt/letter/pubList"
    form_data = {
        "offset": "0",
        "limit": "20",
        "site_id": "759010"
    }
    headers.update({"X-Csrf-Token": token})
    resp = _requests(post_url, form_data)
    print(resp.text)
    print("请问麻章区办理居住证需要满足什么条件？" in resp.text)


def index():
    index_url = "http://www.zjmazhang.gov.cn/hdjlpt/published?via=pc"
    resp = _requests(index_url)
    print("请问麻章区办理居住证需要满足什么条件？" in resp.text)
    xsrf_token = re.search(r"var _CSRF = '(.*?)';",resp.text).group(1)
    return xsrf_token


ses = requests.session()
headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36"
}
_token = index()
page(_token)

五、来自js生成的cookie反爬解决方法

1、来自js生成的cookie需要解密研究，可以通过hook-cookie的方式定位，cookie生成位置，然后回溯生成逻辑过程

(function() {
   'use strict';
    var _cookie = ""; // hook cookie
    Object.defineProperty(document, 'cookie', {
        set: function(val) {
            console.log('cookie set->', new Date().getTime(), val);
            debugger;
            _cookie = val;
            return val;
        },
        get: function() {
            return _cookie;
        }
   });
})()