requests：一个强大的HTTP请求Python库

news2024/11/15 20:07:22

我是东哥，一个热衷于用Python简化日常工作的技术爱好者。今天，我要和大家分享一个网络请求的Python利器——requests库。你是否曾经在编写代码时，需要从网络上获取数据，却对复杂的HTTP协议感到头疼？requests库将帮你轻松解决这个问题。

一、初识requests库

requests库是Python中一个用于发送HTTP请求的第三方库。它基于urllib库进行了封装，提供了更加简洁、易用的API。无论是GET请求、POST请求，还是其他类型的HTTP请求，requests库都能轻松应对。同时，它还支持SSL证书验证、会话管理、代理设置等功能，让你的网络请求更加安全、高效。

项目地址：https://github.com/psf/requests

二、安装requests库

在开始使用requests之前，你需要先安装它。打开你的命令行工具，输入以下命令：

pip install requests

安装完成后，你就可以在Python脚本中导入requests并开始使用了。

三、基本用法：轻松发送HTTP请求

让我们通过几个简单的例子来看看requests的基本用法。

1. 发送GET请求

import requests
# 发送GET请求到百度首页
response = requests.get('https://www.baidu.com')
# 打印响应内容的前500个字符
print(response.text[:500])

在这段代码中，我们向百度首页发送了一个GET请求，并打印出了响应内容的前500个字符，输出内容如下：

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img h

可以看到，此时显示有乱码。

2. 发送POST请求

import requests
# 发送POST请求到Postman的Echo服务
response = requests.post('https://postman-echo.com/post', data={'key': 'value'})
# 打印响应状态码
print(response.status_code)

这里，我们向Postman的Echo服务发送了一个POST请求，并传递了一些数据。然后，我们打印出了响应的状态码，输出内容如下：

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "name": "东哥说AI"
  },
  "headers": {
    "host": "postman-echo.com",
    "x-forwarded-proto": "http",
    "x-request-start": "t=1724975958.023",
    "connection": "close",
    "content-length": "34",
    "x-forwarded-port": "443",
    "x-amzn-trace-id": "Root=1-66d10b56-6b2cb9dd41259dec60d1044e",
    "user-agent": "python-requests/2.32.3",
    "accept-encoding": "gzip, deflate",
    "accept": "*/*",
    "content-type": "application/x-www-form-urlencoded"
  },
  "json": {
    "name": "东哥说AI"
  },
  "url": "http://postman-echo.com/post"
}

四、高级用法：玩转requests库

接下来，让我们看看requests的一些高级用法。

1. 传递Headers

有时候，我们需要模拟浏览器发送请求，这时候就需要传递Headers。

import requests
# 定义Headers
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送带Headers的GET请求到百度首页
response = requests.get('https://www.baidu.com', headers=headers)
print(response.text[:500])

在这个例子中，我们通过传递User-Agent来模拟浏览器请求百度首页，并打印出响应内容的前500个字符，输出内容如下：

<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#ffffff"><meta name="description" content="全球领先的中文搜索引擎、致力于让网民更便捷地获取信息，找到所求。百度超过千亿的中文网页数据库，可以瞬间找到相关的搜索结果。"><link rel="shortcut icon" href="https://www.baidu.com/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xm

此时显示的内容正常。

2. 处理Cookies

有时候我们需要处理Cookies来维持会话。

import requests
# 首先发送一个请求到Stack Overflow，获取Cookies
response = requests.get('https://stackoverflow.com')
# 使用Session对象来维持会话
session = requests.Session()
session.cookies = response.cookies
# 使用Session对象发送请求，Cookies会被自动处理
response = session.get('https://stackoverflow.com/questions')
print(response.text[:500])

这里我们使用了Session对象来维持会话，并自动处理Cookies，然后我们尝试获取Stack Overflow的问答页面，输出内容如下：

<!DOCTYPE html>


    <html class="html__responsive " lang="en">

    <head>

        <title>Newest Questions - Stack Overflow</title>
        <link rel="shortcut icon" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/favicon.ico?v=ec617d715196">
        <link rel="apple-touch-icon" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/apple-touch-icon.png?v=c78bd457575a">
        <link rel="image_src" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/apple-touch-icon.png?v=c78bd457575