Python爬虫：requests模块的基本使用

news2024/11/27 14:52:19

学习目标：

  1. 了解 requests模块的介绍
  2. 掌握 requests的基本使用
  3. 掌握 response常见的属性
  4. 掌握 requests.text和content的区别
  5. 掌握 解决网页的解码问题
  6. 掌握 requests模块发送带headers的请求
  7. 掌握 requests模块发送带参数的get请求

1 为什么要重点学习requests模块，而不是urllib

  • requests的底层实现就是urllib
  • requests在python2 和python3中通用，方法完全一样
  • requests简单易用
  • Requests能够自动帮助我们解压(gzip压缩的等)响应内容

2 requests的作用

作用：发送网络请求，返回响应数据

补充：Python爬虫踩坑：UnicodeEncodeError: ‘gbk‘ codec can‘t encode character 全有效解的决方法

  • PyCharm设置
  • 我注意到，我已经用utf-8来解码了，但是解释器的报错信息还是暴出gbk方面的解码错误。
  • 会对这串二进制流进行处理的只有三方，一方是Chrome浏览器，一方是Python解释器，另一方是PyCharm，事实证明Chrome浏览器用utf-8格式是可以解析的，那么格式肯定是对的，StreamReader类已经考虑到了异常字符的处理方式，所以Python本身也不会有问题，那么问题只有可能出在PyCharm的设置上了。
  • 点击File -> Settings…

将下面的GBK改成UTF-8就可以解决这个问题了：
在这里插入图片描述
大功告成：
在这里插入图片描述

3 requests模块发送简单的get请求、获取响应

需求：通过requests向百度首页发送请求，获取百度首页的数据

import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

在这里插入图片描述

response的常用属性：

  • response.text 响应体 str类型
  • respones.content 响应体 bytes类型
  • response.status_code 响应状态码
  • response.request.headers 响应对应的请求头
  • response.headers 响应头
  • response.request._cookies 响应对应请求的cookie
  • response.cookies 响应的cookie（经过了set-cookie动作）

思考：text是response的属性还是方法呢？

  • 一般来说名词，往往都是对象的属性，对应的动词是对象的方法

3.1 response.text 和response.content的区别

  • response.text

    • 类型：str
    • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码
    • 如何修改编码方式：response.encoding=”gbk”

  • response.content

    • 类型：bytes
    • 解码类型： 没有指定
    • 如何修改编码方式：response.content.deocde(“utf8”)

获取网页源码的通用方式：

  1. response.content.decode()
  2. response.content.decode("GBK")
  3. response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

所以：更推荐使用response.content.deocde()的方式获取响应的html页面

3.2 练习：把网络上的图片保存到本地

我们来把www.baidu.com的图片保存到本地

思考：

  • 以什么方式打开文件
  • 保存什么格式的内容

分析：

  • 图片的url: https://www.baidu.com/img/bd_logo1.png
  • 利用requests模块发送请求获取响应
  • 以2进制写入的方式打开文件，并将response响应的二进制内容写入
import requests

# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png'

# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url)

# print(response.content)

# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f:
    # 写入response.content bytes二进制类型
    f.write(response.content)

在这里插入图片描述

4 发送带header的请求

我们先写一个获取百度首页的代码

import requests

url = 'https://www.baidu.com'

response = requests.get(url)

print(response.content)

# 打印响应对应请求的请求头信息
print(response.request.headers)

在这里插入图片描述

为什么请求需要带上header？
模拟浏览器，欺骗服务器，获取和浏览器一致的内容

4.1 header的形式：字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

4.2 用法

requests.get(url, headers=headers)

4.3 完整的代码

import requests

url = 'https://www.baidu.com'

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 在请求头中带上User-Agent，模拟浏览器发送请求
response = requests.get(url, headers=headers)

# print(response.content)

# 打印请求头信息
print(response.request.headers)

在这里插入图片描述

5 发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?，那么该问号后边的就是请求参数，又叫做查询字符串

5.1 什么叫做请求参数：

例1：https://blog.csdn.net/weixin_51390582

例2：https://blog.csdn.net/weixin_51390582?spm=1011.2415.3001.5343

例1中没有请求参数！例2中?后边的就是请求参数

5.2 请求参数的形式：字典

kw = {'wd':'长城'}

5.3 请求参数的用法

requests.get(url,params=kw)

5.4 关于参数的注意点

在url地址中， 很多参数是没有用的，比如百度搜索的url地址，其中参数只有一个字段有用，其他的都可以删除
如何确定那些请求参数有用或者没用：挨个尝试！
对应的,在后续的爬虫中，越到很多参数的url地址，都可以尝试删除参数

5.5 两种方式：发送带参数的请求

对https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式

# 方式一：利用params参数发送带参数的请求
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'

# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'

# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)

# 当有多个请求参数时，requests接收的params参数为多个键值对的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}

print(response.content)

在这里插入图片描述

也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求，不使用params参数

# 方式二：直接发送带参数的url的请求
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'

# kw = {'wd': 'python'}

# url中包含了请求参数，所以此时无需params
response = requests.get(url, headers=headers)

小结

  1. requests模块的介绍：能够帮助我们发起请求获取响应
  2. requests的基本使用：requests.get(url)
  3. 以及response常见的属性：
  • response.text 响应体 str类型
  • respones.content 响应体 bytes类型
  • response.status_code 响应状态码
  • response.request.headers 响应对应的请求头
  • response.headers 响应头
  • response.request._cookies 响应对应请求的cookie
  • response.cookies 响应的cookie（经过了set-cookie动作）
  1. 掌握 requests.text和content的区别：text返回str类型，content返回bytes类型
  2. 掌握 解决网页的解码问题：
  • response.content.decode()
  • response.content.decode("GBK")
  • response.text
  1. 掌握 requests模块发送带headers的请求：requests.get(url, headers={})
  2. 掌握 requests模块发送带参数的get请求：requests.get(url, params={})

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1599656.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Unity架构师进阶:红点系统的架构与设计

Unity架构师进阶:红点系统的架构与设计

面试的时候经常被问道如何来设计一个红点系统,本文将详细地介绍如何设计一个红点系统，有哪些接口，并完整地给出实现。 红点系统的需求分析 首先我们来分析一下红点系统的设计需求: 红点系统严格意义上来说不属于框架，而是游戏逻辑&#xff0…
阅读更多...
DOS时代经典软件，落下帷幕，国产中文编程，蓬勃发展

DOS时代经典软件，落下帷幕，国产中文编程，蓬勃发展

互联网的变迁好像翻涌的波涛，有些我们以为已经忘掉的软件，其实还留在我们心里，特别是那些经历过从DOS系统换到Windows系统的人，这种感觉更加明显。 说起DOS软件，它是很多80后年轻时的美好记忆。虽然现在它已经成为了过…
阅读更多...
Python数学建模学习-PageRank算法

Python数学建模学习-PageRank算法

1-基本概念 PageRank算法是由Google创始人Larry Page在斯坦福大学时提出，又称PR，佩奇排名。主要针对网页进行排名，计算网站的重要性，优化搜索引擎的搜索结果。PR值是表示其重要性的因子。 中心思想： 数量假设&#…
阅读更多...
【DA-CLIP】图像退化类型检测功能演示代码

【DA-CLIP】图像退化类型检测功能演示代码

背景 在CLIP基础上微调而来，使用图像控制器编码生成退化类型embedding并在训练中对图像编码器进行控制。针对十种退化类型进行了训练。 解决CLIP模型在图像纹理等层面无法针对退化类型识别或识别率较低的问题。 训练数据集情况 GitHub有对应数据集连接 完整代码 项…
阅读更多...
【智能算法】鸭群算法（DSA）原理及实现

【智能算法】鸭群算法（DSA）原理及实现

目录 1.背景2.算法原理2.1算法思想2.2算法过程 3.结果展示4.参考文献 1.背景 2021年，Zhang等人受到自然界鸭群觅食行为启发，提出了鸭群算法（Duck Swarm Algorithm, DSA）。 2.算法原理 2.1算法思想 DSA基于自然界鸭群觅食过程&…
阅读更多...
JRT多服务器同步程序

JRT多服务器同步程序

之前的JRT只部署在一个服务器，实际运用可能会有数台、数十台、或者更多服务器。那么多台服务器就需要程序同步机制。这里借助Rsync同步，但是有个问题是Rsync同步jar之后他不知道是否需要重启站点，为此实现java控制台驱动Rsync，重定…
阅读更多...
滤波器笔记（杂乱）

滤波器笔记（杂乱）

线性相位是时间平移，相位不失真 零、基础知识 1、用相量表示正弦量 https://zhuanlan.zhihu.com/p/345546880 https://www.zhihu.com/question/347763932/answer/1103938667 A s i n ( ω t θ ) ⇔ A e j θ ⇔ A ∠ θ Asin(\omega t\theta) {\Leftrightarrow…
阅读更多...
【题解】AB5 点击消除（C++）

【题解】AB5 点击消除（C++）

把string当栈用&#xff0c;扫一遍就可以了&#xff0c;时间复杂度O(n) #include <iostream> #include <string> using namespace std;int main() {string s;cin >> s;int n s.size();string st;for (int i 0; i < n; i) {if (st.empty() || st.back()…
阅读更多...
【数据结构】遍历二叉树（递归和非递归遍历的先序、中序和后序遍历、层次遍历法）

【数据结构】遍历二叉树（递归和非递归遍历的先序、中序和后序遍历、层次遍历法）

目录 【数据结构】遍历二叉树&#xff08;递归和非递归遍历的先序、中序和后序遍历、层次遍历法&#xff09;一、递归算法先&#xff08;根&#xff09;序的遍历算法中&#xff08;根&#xff09;序的遍历算法后&#xff08;根&#xff09;序的遍历算法 二、非递归算法层次遍历…
阅读更多...
代码随想录算法训练营第四十二天| 二维背包、一维背包、LeetCode 416.分割等和子集

代码随想录算法训练营第四十二天| 二维背包、一维背包、LeetCode 416.分割等和子集

一、二维背包 文章讲解/视频讲解&#xff1a;https://programmercarl.com/%E8%83%8C%E5%8C%85%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%8001%E8%83%8C%E5%8C%85-1.html 状态&#xff1a;已解决 1.背包问题介绍 背包问题实则是一类问题的集合&#xff0c;有好多不同小类型&#xff0c…
阅读更多...
Linux_iptables防火墙学习笔记

Linux_iptables防火墙学习笔记

文章目录 iptables 概述四表五链iptables 安装启动iptables 配置详解iptables配置文件iptables配置语法iptables常用实例查看规则修改默认规则保存和备份规则恢复备份的规则清空规则放行SSH服务在ubuntu14.04中iptables规则持久化 iptables 概述 主机型 对主机进行保护 网络型…
阅读更多...
Element-Ui的Form表单：Label文本两端对齐，且必填项的*不影响布局

Element-Ui的Form表单：Label文本两端对齐，且必填项的*不影响布局

1. HTML 结构 首先&#xff0c;确保你的 HTML 或 Vue 模板中有一个 el-form 组件&#xff0c;类似下面这样&#xff1a; <div id"app"><el-form :model"form" label-width"100px"><el-form-item label"用户名">&l…
阅读更多...
Linux系统（centos,redhat,龙芯，麒麟等）忘记密码，怎么重置密码

Linux系统（centos,redhat,龙芯，麒麟等）忘记密码，怎么重置密码

Linux系统&#xff08;centos,redhat,龙芯&#xff0c;麒麟等&#xff09;忘记密码&#xff0c;怎么重置密码&#xff0c;怎么设置新的密码 今天在操作服务器时&#xff0c;DBA忘记了人大金仓数据库的kingbase密码&#xff0c;他的密码试了好多遍&#xff0c;都不行。最后只能…
阅读更多...
JCVI-筛选blast最佳结果（生物信息学工具-015）

JCVI-筛选blast最佳结果（生物信息学工具-015）

通常&#xff0c;大家会问我们经过了NR注释&#xff0c;SwissProt注释&#xff0c;那么如何进行&#xff0c;如何挑选最佳比对结果&#xff1f; 同理&#xff0c;存在一个问题&#xff0c;如何挑选最佳的blast比对结果&#xff1f;什么事最优的同源序列&#xff1f; 唐海宝老…
阅读更多...
jenkins构建微信小程序并展示二维码

jenkins构建微信小程序并展示二维码

测试小程序的过程中&#xff0c;很多都是在回头和前端开发说一句&#xff0c;兄弟帮我打一个测试版本的测试码&#xff0c;开发有时间的情况下还好&#xff0c;就直接协助了&#xff0c;但是很多时候他们只修复了其中几个bug&#xff0c;其他需要修复的bug代码正在编写&#xf…
阅读更多...
ENSP-旁挂式AC

ENSP-旁挂式AC

提醒&#xff1a;如果AC不能成功上线AP&#xff0c;一般问题不会出在AC上&#xff0c;优先关注AC-AP线路上的二层或三层组网的三层交换机 拓扑图 管理VLAN&#xff1a;99 | 业务VLAN&#xff1a;100 注意点&#xff1a; 1.连接AP的接口需要打上pvid为管理vlan的标签 2.AC和…
阅读更多...
引导和服务(2)

引导和服务(2)

服务 1.systemd服务的简要介绍 &#xff08;1&#xff09;对比5 6 可以解决依赖关系并行启动 &#xff08;2&#xff09;按需启动 &#xff08;3&#xff09;自动解决依赖关系 负责在系统启动或运行时&#xff0c;激活系统资源&#xff0c;服务器进程和其它进程 2.System…
阅读更多...
React-hooks：useReducer初始化函数 和 初始值 区别

React-hooks：useReducer初始化函数 和 初始值 区别

useReducer 用法&#xff1a; const [state, dispatch] useReducer(reducer, initState, init?);其中&#xff0c;initialArg 为初始值&#xff08;必传&#xff09;&#xff0c;init 为初始函数&#xff08;可选&#xff09;。 当没有 init 参数时&#xff0c;state的初始…
阅读更多...
Day56 动态规划 part16

Day56 动态规划 part16

Day56 动态规划 part16 583. 两个字符串的删除操作 我的思路&#xff1a; 感觉跟前两天子序列差不多&#xff0c;但是又有差别 这次是求删减最小次数&#xff0c;状态转移方程是比小 另外要注意初始化&#xff0c; 当i 0时&#xff08;word2为空&#xff09;&#xff0c;wor…
阅读更多...
全球最新国内外18个热门风景视频素材网站推荐

全球最新国内外18个热门风景视频素材网站推荐

寻找最新的高清风景视频素材&#xff1f;这里有国内外共18个热门网站&#xff0c;精心整理供您选择。 国内资源&#xff1a; 蛙学网&#xff1a;免费提供多种无版权视频素材&#xff0c;资源丰富。新GG网&#xff1a;需QQ登录&#xff0c;提供丰富的视频模板&#xff0c;通过…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023