Python爬虫——爬虫时如何知道是否代理ip伪装成功？

news2024/9/23 7:32:47

前言

在进行爬虫时，我们可能需要使用代理IP来伪装自己的身份，以避免被网站封禁。如何判断代理IP是否伪装成功呢？本篇文章将围绕这个问题展开讲解，同时提供Python代码示例。

1. 确认代理IP地址

首先，我们需要确认代理IP地址是否正确。我们可以使用一些免费的代理IP池网站，如：站大爷、碟鸟ip、开心代理等等，从中获取可用的代理IP。

以下是获取代理IP的Python代码示例：

import requests
from bs4 import BeautifulSoup

def get_proxy():
    url = 'https://www.zdaye.com/free/inha/1/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'html.parser')
    ips = soup.select('td[data-title="IP"]')
    ports = soup.select('td[data-title="PORT"]')
    proxies = []
    for ip, port in zip(ips, ports):
        proxy = ip.get_text() + ':' + port.get_text()
        proxies.append(proxy)
    return proxies

2. 测试代理IP是否可用

获取到代理IP之后，我们需要测试它是否可用。我们可以发送一个简单的请求来测试代理IP是否可以正常连接，如请求百度首页。如果请求成功，则说明代理IP可用。

以下是测试代理IP是否可用的Python代码示例：

import requests

def check_proxy(ip):
    try:
        proxies = {'http': 'http://' + ip, 'https': 'https://' + ip}
        test_url = 'https://www.baidu.com/'
        r = requests.get(test_url, proxies=proxies, timeout=5)
        if r.status_code == 200:
            return True
        else:
            return False
    except:
        return False

3. 爬取目标网站并使用代理IP

确认代理IP可用之后，我们需要使用代理IP进行实际的爬取操作。我们可以将代理IP放入请求头中的proxy参数中，发送到目标网站进行爬取。

以下是爬取目标网站并使用代理IP的Python代码示例：

import requests

def get_page_with_proxy(url, ip):
    try:
        proxies = {'http': 'http://' + ip, 'https': 'https://' + ip}
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        r = requests.get(url, headers=headers, proxies=proxies, timeout=5)
        if r.status_code == 200:
            return r.text
        else:
            return None
    except:
        return None

4. 判断是否代理IP是否伪装成功

在使用代理IP进行爬取后，我们需要判断代理IP是否伪装成功。判断的方法有很多种，下面介绍两种比较常见的方法。

4.1 判断响应中是否包含本机IP地址

我们可以获取本机IP地址，并判断爬取的页面中是否包含本机IP地址。如果包含，则说明代理IP没有成功伪装。

以下是判断代理IP是否伪装成功的Python代码示例：

import requests
import re

def check_ip(proxy_ip):
    try:
        proxies = {'http': 'http://' + proxy_ip, 'https': 'https://' + proxy_ip}
        res = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=5)
        if res.status_code == 200:
            pattern = re.compile('\d+\.\d+\.\d+\.\d+')
            match = pattern.search(res.text)
            if match:
                if match.group() == '你的本机IP地址':
                    return False
                else:
                    return True
            else:
                return False
    except:
        return False

4.2 判断爬取页面中是否包含关键字

如果我们知道目标网站中一定会出现的关键字，我们可以判断爬取的页面中是否包含这个关键字。如果包含，则说明代理IP已经成功伪装。

以下是判断代理IP是否伪装成功的Python代码示例：

import requests

def check_keyword(url, ip, keyword):
    try:
        proxies = {'http': 'http://' + ip, 'https': 'https://' + ip}
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        r = requests.get(url, headers=headers, proxies=proxies, timeout=5)
        if r.status_code == 200:
            if keyword in r.text:
                return True
            else:
                return False
        else:
            return False
    except:
        return False