Python爬虫利器requests：数据传递、代理隧道与证书异常处理！

news2024/9/9 4:52:37

🔸 数据传递：params参数

在使用requests库时，最常用的参数之一就是params，它用于在GET请求中传递查询参数：

import requests

# 构建URL
url = 'https://api.example.com/data'

# 定义查询参数
params = {
    'key1': 'value1',
    'key2': 'value2'
}

# 发送GET请求
response = requests.get(url, params=params)

# 打印响应内容
print(response.url)
print(response.json())

🔹 在这个例子中，params参数将查询参数添加到URL中，最终URL变成https://api.example.com/data?key1=value1&key2=value2。这非常适合用于过滤或搜索数据。

🔸 数据传递：data参数

data参数通常用于POST请求，传递表单数据：

import requests

# 构建URL
url = 'https://api.example.com/login'

# 定义表单数据
data = {
    'username': 'myusername',
    'password': 'mypassword'
}

# 发送POST请求
response = requests.post(url, data=data)

# 打印响应内容
print(response.text)

🔹 使用data参数可以模拟表单提交，将数据以表单格式发送到服务器。这在登录、注册等操作中非常常见。

🔸 数据传递：json参数

json参数用于传递JSON格式的数据，通常用于API请求：

import requests

# 构建URL
url = 'https://api.example.com/update'

# 定义JSON数据
json_data = {
    'id': 123,
    'status': 'active'
}

# 发送POST请求
response = requests.post(url, json=json_data)

# 打印响应内容
print(response.json())

🔹 json参数会自动将字典转换为JSON格式，并设置Content-Type为application/json。这在现代RESTful API中非常常用。

🔸 代理隧道的使用

在网络爬虫中，使用代理隧道可以隐藏真实IP，防止被封禁：

import requests

# 构建URL
url = 'https://api.example.com/data'

# 定义代理
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}

# 发送GET请求
response = requests.get(url, proxies=proxies)

# 打印响应内容
print(response.text)

🔹 使用proxies参数可以为请求指定代理服务器，有效隐藏真实IP，提高爬虫的稳定性。

🔸 证书异常处理

在进行HTTPS请求时，证书问题是常见的异常之一。我们可以通过设置verify参数来解决：

import requests

# 构建URL
url = 'https://self-signed.badssl.com/'

try:
    # 发送请求，忽略证书验证
    response = requests.get(url, verify=False)
    print(response.text)
except requests.exceptions.SSLError as e:
    print(f"SSL证书错误: {e}")

🔹 设置verify=False可以忽略证书验证，但这并不安全。在生产环境中，建议使用有效的证书或指定CA证书路径：

import requests

# 构建URL
url = 'https://api.example.com/data'

# 定义CA证书路径
cert_path = '/path/to/certfile.pem'

# 发送请求，指定CA证书路径
response = requests.get(url, verify=cert_path)
print(response.text)