【Python爬虫】使用代理ip进行网站爬取

news2024/11/16 7:30:31

前言

使用代理IP进行网站爬取可以有效地隐藏你的真实IP地址，让网站难以追踪你的访问行为。本文将介绍Python如何使用代理IP进行网站爬取的实现，包括代理IP的获取、代理IP的验证、以及如何把代理IP应用到爬虫代码中。

1. 使用代理IP的好处

在进行网站爬取时，大部分的爬虫程序都是使用自己的真实IP地址进行访问的。如果被爬取的网站针对该IP地址进行限制，程序的爬取效率就会大大降低，甚至可能无法得到有效数据。这时使用代理IP就能够很好地帮助我们解决这个问题。

代理服务器是一种让用户隐藏真实IP地址的中间服务器。使用代理IP进行网站爬取的好处主要有：

隐藏真实IP地址，保护个人隐私。
突破网站针对某一IP地址的限制，提高访问效率。
通过更换代理IP，避免网站对单一IP的反爬虫策略。

2. 获取代理IP

获取代理IP有几种方式，包括免费代理IP网站、付费代理IP网站和自建代理服务器。在这里，我们将介绍如何从免费代理IP网站上获取代理IP。

免费代理IP网站的代理IP通常免费提供，但是质量参差不齐。以下是一个获取免费代理IP的实例代码：

import requests
from bs4 import BeautifulSoup
import re

def get_proxies():
    url = 'https://www.zdaye.com/wn/'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    proxies = []
    for tr in soup.find_all('tr')[1:]:
        tds = tr.find_all('td')
        if tds:
            ip = tds[1].text.strip()
            port = tds[2].text.strip()
            protocol = tds[5].text.strip().lower()
            if protocol == 'http' or protocol == 'https':
                proxies.append('{}://{}:{}'.format(protocol, ip, port))
    return proxies

这个函数使用requests库获取 https://www.zdaye.com/wn/ 网站的HTML源代码，然后使用BeautifulSoup进行解析，提取出HTTP和HTTPS协议的代理IP。最后，返回一个代理IP列表。

3. 验证代理IP

获取到代理IP之后，我们需要验证它们是否可用。以下是一个验证代理IP可用性的实例代码：

import requests
from concurrent.futures import ThreadPoolExecutor

def check_proxy(proxy):
    try:
        response = requests.get('http://httpbin.org/ip', 
            proxies={'http': proxy, 'https': proxy}, timeout=5)
        if response.status_code == 200:
            return True
    except:
        return False
    return False

def get_valid_proxies(proxies):
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = [executor.submit(check_proxy, proxy) for proxy in proxies]
        valid_proxies = [f.result() for f in futures if f.result()]
    return valid_proxies

这个函数使用requests库发送HTTP请求，验证代理IP是否可用。如果响应状态码为200，则认为该代理IP可用。最后，返回一个可用代理IP列表。

这里使用了concurrent.futures库中的线程池，以便并发地验证多个代理IP。这样可以提高验证代理IP可用性的效率。

4. 应用代理IP

使用代理IP进行网站爬取也非常简单。以下是一个使用代理IP的示例代码：

import requests
import random

proxies = ['http://1.2.3.4:8888', 'http://5.6.7.8:9999']

url = 'http://www.example.com'
proxy = random.choice(proxies)
response = requests.get(url, proxies={'http': proxy, 'https': proxy})

这个示例代码中，我们定义了两个代理IP，并从中随机选择一个来访问目标网站。其中，使用proxies参数可以设置HTTP和HTTPS协议的代理。