【异步爬虫】requests和aiohttp中代理IP的使用

news2024/10/7 9:18:22

前言

在进行爬虫开发时，我们常常需要使用代理IP来隐藏自己的真实IP地址，以避免被一些网站限制或封禁。requests和aiohttp是两个非常常用的工具，本文将分别介绍如何在它们中使用代理IP，希望可以帮助大家更好地进行异步爬虫开发。

一、requests中代理IP的使用

1.1 requests包简介

requests是一个Python第三方库，用于发送HTTP请求，简化网络请求的过程。使用requests可以方便地发送get、post、put、delete等常见的请求，也可以发送HTTP、HTTPS等协议的请求。在爬虫开发过程中，requests是一个非常常用的工具。

1.2 requests中使用代理IP的原因

当我们在使用requests发送请求时，我们的请求会带上自己的IP地址。这意味着我们的请求会暴露我们的真实IP地址，而一些网站会对我们的请求进行限制，例如对频繁访问的请求进行拒绝，或者对某些国家或地区的IP地址进行限制等。

在这种情况下，我们可以使用代理IP。代理IP是一种可以隐藏我们的真实IP地址的技术，即通过代理服务器来发送请求，使得请求的IP地址变为代理服务器的IP地址。使用代理IP可以有效地避免我们的请求被限制，提高我们的请求成功率。

1.3 requests中使用代理IP的方法

requests中使用代理IP的方法非常简单，只需要在发送请求时指定代理IP即可。具体步骤如下：

1. 导入requests库

import requests

2. 指定代理IP

proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}

其中，http和https分别代表HTTP和HTTPS协议，"http://10.10.1.10:3128"和"http://10.10.1.10:1080"代表代理服务器的IP地址和端口号，需要根据实际情况进行修改。

3. 发送请求时指定代理IP

response = requests.get(url, proxies=proxies)

其中，url为请求的地址，proxies为指定的代理IP。

1.4 requests中使用代理IP的示例

下面以访问百度的搜索页为例，演示如何使用代理IP发送请求。

import requests

# 指定代理IP
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}

# 发送请求时指定代理IP
response = requests.get("https://www.baidu.com/s?wd=python", proxies=proxies)

# 打印响应内容
print(response.text)

在这个例子中，我们使用了一个代理IP，即"http://10.10.1.10:3128"和"http://10.10.1.10:1080"，然后发送一个请求访问https://www.baidu.com/s?wd=python，并打印出响应内容。如果代理IP有效，我们将会看到百度搜索结果的页面内容。

二、aiohttp中代理IP的使用

2.1 aiohttp包简介

aiohttp是一个Python第三方库，用于异步HTTP请求。它支持异步方式发送HTTP、HTTPS等协议的请求，支持WebSocket等网络协议。在爬虫开发中，aiohttp可以帮助我们更高效地发送请求和处理响应。

2.2 aiohttp中使用代理IP的原因

当我们在使用aiohttp发送异步请求时，我们的请求同样会暴露我们的真实IP地址。而一些网站会对我们的请求进行限制，例如对频繁访问的请求进行拒绝，或者对某些国家或地区的IP地址进行限制等。在这种情况下，我们同样可以使用代理IP来隐藏我们的真实IP地址，提高请求成功率。

2.3 aiohttp中使用代理IP的方法

aiohttp中使用代理IP的方法与requests相似，只需要在请求时指定代理IP即可。具体步骤如下：

1. 导入aiohttp库

import aiohttp

2. 指定代理IP

proxies = "http://10.10.1.10:3128"

其中，"http://10.10.1.10:3128"代表代理服务器的IP地址和端口号，需要根据实际情况进行修改。

3. 创建session对象

async with aiohttp.ClientSession() as session:
    # 发送请求时指定代理IP
    async with session.get(url, proxy=proxies) as response:
        # 处理响应

其中，url为请求的地址，proxies为指定的代理IP。

2.4 aiohttp中使用代理IP的示例

下面以访问百度的搜索页为例，演示如何使用代理IP发送请求。

import asyncio
import aiohttp

async def main():
    # 指定代理IP
    proxies = "http://10.10.1.10:3128"
    
    # 创建session对象
    async with aiohttp.ClientSession() as session:
        # 发送请求时指定代理IP
        async with session.get("https://www.baidu.com/s?wd=python", proxy=proxies) as response:
            # 处理响应
            print(await response.text())

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

在这个例子中，我们使用了一个代理IP，即"http://10.10.1.10:3128"，然后创建一个session对象，发送一个请求访问https://www.baidu.com/s?wd=python，并打印出响应内容。