Python中的HTTP客户端库：httpx与request | python小知识

在Python中，发送HTTP请求和处理响应是网络编程的基础。requests和httpx是两个常用的HTTP库，它们都提供了简洁易用的API来发送HTTP请求。然而，httpx作为新一代的HTTP客户端库，在功能和性能上都有所提升。本文将详细介绍httpx和requests的区别，并通过对比展示httpx的优势。

1. requests库简介

requests是一个非常流行的Python HTTP库，它基于urllib3库实现，提供了许多方便的功能，并且非常易于使用。requests库支持HTTP连接保持和连接池，能够自动处理cookies、文件上传、自动确定响应内容的编码以及国际化的URL和POST数据自动编码。requests库自称为“HTTP for Humans”，即让HTTP服务于人类，说明其设计目标是简洁和方便。

安装requests库

pip install requests

使用requests库发送HTTP请求

import requests

# 发送GET请求
response = requests.get('https://www.example.com')
print(response.status_code)  # 输出响应状态码
print(response.text)  # 输出响应文本

# 发送POST请求
data = {'key': 'value'}
headers = {'Content-Type': 'application/json'}
response = requests.post('https://www.example.com', json=data, headers=headers)
print(response.status_code)  # 输出响应状态码
print(response.text)  # 输出响应文本

2. httpx库简介与对比

httpx是一个新一代的Python HTTP客户端库，它支持同步和异步两种方式发送HTTP请求，并且提供了许多现代化的特性。与requests相比，httpx在以下几个方面有所提升：

2.1 异步支持

requests库只能使用同步方式发送HTTP请求，而httpx则既可以使用同步方式，也可以使用异步方式。这意味着httpx可以在处理需要等待的操作时不会阻塞程序，从而提高效率。

示例：使用httpx发送异步HTTP请求

import httpx
import asyncio

# 定义异步函数
async def fetch(url):
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        return response.json()

# 定义并发任务
async def main():
    urls = ['https://api.github.com', 'https://httpbin.org/get']
    tasks = [fetch(url) for url in urls]
    results = await asyncio.gather(*tasks)
    for result in results:
        print(result)

# 执行异步任务
asyncio.run(main())

2.2 HTTP/2支持

requests库只支持HTTP/1.1协议，而httpx则支持HTTP/2协议。HTTP/2提供了许多性能改进，比如多路复用和服务端推送，这些都可以提高HTTP通信的效率。

2.3 性能提升

httpx使用httptools库来解析和处理HTTP报文，而requests则使用urllib3库。httptools库在解析和处理HTTP报文方面有更好的性能，因此httpx可能会比requests更快。

2.4 兼容性

httpx的API设计与requests类似，因此从requests迁移到httpx的成本几乎是零。你可以很容易地将现有的requests代码替换为httpx代码，而无需做太多修改。

2.5 丰富的功能

httpx还支持多种认证方式（如Basic、Digest、JWT、OAuth等）、中间件挂载、设置请求的超时时间、自动处理重定向以及设置代理服务器等功能。这些功能使得httpx在处理复杂的HTTP请求时更加灵活和强大。

2.6 更多例子

当然可以，以下是使用httpx库进行POST请求的更多示例，包括同步和异步两种方式。

同步POST请求示例

示例1：发送表单数据

import httpx

# 目标URL
url = 'https://example.com/api/form'

# 表单数据
form_data = {
    'username': 'testuser',
    'password': 'testpass'
}

# 使用httpx发送同步POST请求（表单数据）
with httpx.Client() as client:
    response = client.post(url, data=form_data)  # 注意这里使用data参数发送表单数据

# 打印响应状态码和响应内容
print(response.status_code)
print(response.text)  # 假设服务器返回的是文本格式的响应体

示例2：发送JSON数据并设置请求头

import httpx

# 目标URL
url = 'https://example.com/api/json'

# JSON数据
json_data = {
    'name': 'John Doe',
    'age': 30
}

# 自定义请求头
headers = {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer your_token_here'
}

# 使用httpx发送同步POST请求（JSON数据+自定义请求头）
with httpx.Client() as client:
    response = client.post(url, json=json_data, headers=headers)  # json参数会自动设置Content-Type为application/json

# 打印响应状态码和响应内容
print(response.status_code)
print(response.json())  # 假设服务器返回的是JSON格式的响应体

异步POST请求示例

示例1：发送JSON数据

import httpx
import asyncio

# 异步函数，用于发送POST请求（JSON数据）
async def fetch_json(url, data):
    async with httpx.AsyncClient() as client:
        response = await client.post(url, json=data)
        return response

# 目标URL
url = 'https://example.com/api/json'

# JSON数据
json_data = {
    'name': 'Jane Doe',
    'email': 'jane.doe@example.com'
}

# 使用asyncio运行异步函数
async def main():
    response = await fetch_json(url, json_data)
    # 打印响应状态码和响应内容
    print(response.status_code)
    print(response.json())  # 假设服务器返回的是JSON格式的响应体

# 运行异步主函数
asyncio.run(main())

示例2：发送文件数据

import httpx
import asyncio

# 异步函数，用于发送POST请求（文件数据）
async def upload_file(url, file_path):
    async with httpx.AsyncClient() as client:
        with open(file_path, 'rb') as file:
            files = {'file': ('filename', file, 'application/octet-stream')}
            response = await client.post(url, files=files)
    return response

# 目标URL
url = 'https://example.com/api/upload'

# 文件路径
file_path = '/path/to/your/file.txt'

# 使用asyncio运行异步函数
async def main():
    response = await upload_file(url, file_path)
    # 打印响应状态码和响应内容
    print(response.status_code)
    print(response.text)  # 假设服务器返回的是文本格式的响应体

# 运行异步主函数
asyncio.run(main())

在这些示例中，我们展示了如何使用httpx库发送不同类型的POST请求，包括表单数据、JSON数据、自定义请求头以及文件上传。无论是同步还是异步方式，httpx都提供了简洁且强大的API来满足各种HTTP请求需求。

3. 总结

综上所述，httpx作为新一代的Python HTTP客户端库，在异步支持、HTTP/2支持、性能提升以及功能丰富性等方面都优于requests库。如果你正在寻找一个强大且灵活的HTTP客户端库来处理你的Python网络编程需求，那么httpx无疑是一个值得考虑的选择。

无论你是初学者还是经验丰富的开发者，都可以通过学习和使用httpx来提升你的Python网络编程技能。希望这篇博客能够帮助你更好地理解和使用httpx库！