深入与浅出-Python爬虫逆向实战

news2025/2/11 15:58:00

一、什么是爬虫逆向？

爬虫逆向，简单来说，就是通过分析网页的前端和后端行为，找出数据的来源和获取方式，从而实现自动化抓取。很多时候，直接使用requests和BeautifulSoup可能无法获取到目标数据，因为数据可能由JavaScript动态加载，或者隐藏在API请求中。逆向工程的目标，就是通过分析这些行为，找到数据的真实来源，并模拟请求获取数据。

二、案例背景：一个动态加载的网页

假设我们遇到了一个动态加载的网页，页面内容通过JavaScript从后端API获取。我们的目标是抓取该页面的数据。为了方便讲解，我们假设目标网页的结构如下：

网页URL：https://example.com/list
页面内容通过JavaScript动态加载，数据来源是一个API接口。
数据展示在页面的<div class="item">标签中，每个<div>包含标题、链接和描述。

三、逆向分析的步骤

1. 使用浏览器开发者工具分析网页

首先，我们需要使用浏览器的开发者工具（如Chrome DevTools）来分析网页的行为。

(1) 查看页面结构

打开开发者工具，进入“Elements”选项卡，查看页面的HTML结构。假设我们发现数据存储在<div class="item">中，每个<div>的结构如下：

<div class="item">
    <a href="https://example.com/detail/123" class="title">Item Title</a>
    <p class="description">This is the description of the item.</p>
</div>

(2) 分析网络请求

切换到“Network”选项卡，刷新页面，观察浏览器发送的请求。我们发现页面加载时，发送了一个XHR（XMLHttpRequest）请求，请求URL为：

https://api.example.com/v1/items?page=1&size=10

这个请求返回了JSON格式的数据，其中包含了页面展示的内容。

2. 分析API请求的参数

通过开发者工具，我们可以进一步分析这个XHR请求的详细信息：

请求方法：GET
请求头（Headers）：包含User-Agent、Referer等信息。
查询参数：page=1和size=10，表示分页参数。

JSON响应数据如下：

{
    "items": [
        {
            "id": 123,
            "title": "Item Title",
            "description": "This is the description of the item.",
            "url": "https://example.com/detail/123"
        },
        ...
    ],
    "total_pages": 5
}

3. 模拟API请求

既然我们找到了数据的来源，接下来就是模拟这个API请求，获取数据。需要注意的是，有些网站会设置反爬机制，比如检查User-Agent、限制请求频率，甚至设置Referer验证。因此，我们需要在请求中带上这些必要的信息。

(1) 构建请求头

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
    "Referer": "https://example.com/list"
}

(2) 发送请求

使用requests库发送GET请求：

import requests

url = "https://api.example.com/v1/items"
params = {
    "page": 1,
    "size": 10
}

response = requests.get(url, params=params, headers=headers)
data = response.json()

4. 处理分页

通过观察API的返回数据，我们发现total_pages字段表示总页数。因此，我们需要循环遍历所有页数，获取所有数据。

total_pages = data["total_pages"]
all_items = []

for page in range(1, total_pages + 1):
    params = {
        "page": page,
        "size": 10
    }
    response = requests.get(url, params=params, headers=headers)
    data = response.json()
    all_items.extend(data["items"])

5. 数据存储

最后，我们可以将抓取到的数据存储到本地文件中，或者进行进一步的处理。

import json

with open("items.json", "w", encoding="utf-8") as f:
    json.dump(all_items, f, ensure_ascii=False, indent=4)

四、完整代码实现

以下是完整的代码实现，包含了上述所有步骤：

import requests
import json

def fetch_data():
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
        "Referer": "https://example.com/list"
    }

    url = "https://api.example.com/v1/items"
    params = {
        "page": 1,
        "size": 10
    }

    response = requests.get(url, params=params, headers=headers)
    data = response.json()

    total_pages = data["total_pages"]
    all_items = []

    for page in range(1, total_pages + 1):
        params["page"] = page
        response = requests.get(url, params=params, headers=headers)
        data = response.json()
        all_items.extend(data["items"])

    return all_items

def save_data(items):
    with open("items.json", "w", encoding="utf-8") as f:
        json.dump(items, f, ensure_ascii=False, indent=4)

if __name__ == "__main__":
    items = fetch_data()
    save_data(items)
    print("Data has been saved to items.json.")