爬虫可以使用 Python 中的 requests 库来发送 HTTP 请求。requests 库提供了简单易用的 API,可以方便地发送 GET、POST 等请求,并且支持设置请求头、请求参数、代理等功能。
以下是一个使用 requests 库发送 GET 请求的示例代码:
import requests
url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:
print(response.text)
else:
print('请求失败,状态码为:', response.status_code)
在这个示例中,我们首先导入了 requests 库,然后定义了一个 URL,使用 requests.get() 方法发送了一个 GET 请求,并将响应结果保存在 response 变量中。最后,我们判断响应的状态码是否为 200,如果是,则打印响应内容,否则打印请求失败的提示信息。
以下是使用 Python requests 库发送 HTTP GET 请求的示例代码:
import requests
url = 'https://www.example.com'
response = requests.get(url)
print(response.status_code) # 打印响应状态码
print(response.text) # 打印响应内容
如果需要发送 POST 请求,可以使用 requests.post()
方法。例如:
import requests
url = 'https://www.example.com/login'
data = {'username': 'your_username', 'password': 'your_password'}
response = requests.post(url, data=data)
print(response.status_code) # 打印响应状态码
print(response.text) # 打印响应内容
需要注意的是,爬虫发送 HTTP 请求时需要遵守网站的 robots.txt 协议,不要过度频繁地请求同一个网站,以免被封禁 IP。同时,也需要注意不要发送恶意请求,以免触犯法律。