Python爬虫库urllib使用详解

news2024/11/28 14:54:36

大家好 我是政胤

一、Python urllib库

Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。

Python3 的 urllib。

urllib 包 包含以下几个模块：

  • urllib.request - 打开和读取 URL。

  • urllib.error - 包含 urllib.request 抛出的异常。

  • urllib.parse - 解析 URL。

  • urllib.robotparser - 解析 robots.txt 文件。

需要用的就是每个模块的内置方法和函数。大概方法如下图：

二、urllib.request模块

urllib.request 定义了一些打开 URL 的函数和类，包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

这里主要介绍两个常用方法，urlopen和Request。

1. urlopen函数

语法格式如下：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

  • url：url 地址。

  • data：发送到服务器的其他数据对象，默认为 None。

  • timeout：设置访问超时时间。

  • cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用到。

  • cadefault：已经被弃用。

  • context：ssl.SSLContext类型，用来指定 SSL 设置。

示例：

import urllib.request#导入urllib.request模块url=urllib.request.urlopen("https://www.baidu.com")#打开读取baidu信息print(url.read().decode('utf-8'))#read获取所有信息，并decode()命令将网页的信息进行解码

运行结果：

<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}                     body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}  h1,h2,h3,h4,h5,h6{font-size:100%}                                               em{font-style:normal}                                                           small{font-size:12px}                                                           ol,ul{list-style:none}                                                          a{text-decoration:none}                                                         a:hover{text-decoration:underline}                                              legend{color:#000}                                                              fieldset,img{border:0}                                                          button,input,select,textarea{font-size:100%} ...

response对象是http.client. HTTPResponse类型，主要包含 read、readinto、getheader、getheaders、fileno 等方法，以及 msg、version、status、reason、debuglevel、closed 等属性。

常用方法：

  • read()：是读取整个网页内容，也可以指定读取的长度，如read(300)。获取到的是二进制的乱码，所以需要用到decode()命令将网页的信息进行解码。

  • readline() - 读取文件的一行内容。

  • readlines() - 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。

  • info()：返回HTTPMessage对象，表示远程服务器返回的头信息。

  • getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到。

  • geturl()：返回请求的url。

2、Request类

我们抓取网页一般需要对 headers（网页头信息）进行模拟，否则网页很容易判定程序为爬虫，从而禁止访问。这时候需要使用到 urllib.request.Request 类：

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

  • url：url 地址。

  • data：发送到服务器的其他数据对象，默认为 None。

  • headers：HTTP 请求的头部信息，字典格式。

  • origin_req_host：请求的主机地址，IP 或域名。

  • unverifiable：很少用整个参数，用于设置网页是否需要验证，默认是False。。

  • method：请求方法， 如 GET、POST、DELETE、PUT等。

示例：

import urllib.request#导入模块url = "https://www.baidu.com"#网页连接headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"}#定义headers，模拟浏览器访问req = urllib.request.Request(url=url,headers=headers)#模拟浏览器发送，访问网页response = urllib.request.urlopen(req)#获取页面信息print(response.read().decode("utf-8"))

三、urllib.error模块

urllib.error 模块为 urllib.request 所引发的异常定义了异常类，基础异常类是 URLError。

urllib.error 包含了两个方法，URLError 和 HTTPError。

URLError 是 OSError 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性 reason 为引发异常的原因。

HTTPError 是 URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候，包含的属性 code 为 HTTP 的状态码， reason 为引发异常的原因，headers 为导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

区别：

  • URLError封装的错误信息一般是由网络引起的，包括url错误。

  • HTTPError封装的错误信息一般是服务器返回了错误状态码。

关系：

  • URLError是OSERROR的子类，HTTPError是URLError的子类。

1. URLError 示例

from urllib import requestfrom urllib import error
if __name__ == "__main__":    #一个不存在的连接    url = "http://www.baiiiduuuu.com/"    req = request.Request(url)    try:        response = request.urlopen(req)        html = response.read().decode('utf-8')        print(html)    except error.URLError as e:        print(e.reason)

返回结果：

[Errno -2] Name or service not known

reason:

此错误的原因。它可以是一个消息字符串或另一个异常实例。

2. HTTPError示例

from urllib import requestfrom urllib import error
if __name__ == "__main__":    #网站服务器上不存在资源    url = "http://www.baidu.com/no.html"    req = request.Request(url)    try:        response = request.urlopen(req)        html = response.read().decode('utf-8')        print(html)    except error.HTTPError as e:        print(e.code)

返回结果：

404

code

一个 HTTP 状态码，具体定义见 RFC 2616。这个数字的值对应于存放在

http.server.BaseHTTPRequestHandler.responses 代码字典中的某个值。

reason

这通常是一个解释本次错误原因的字符串。

headers

导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

3. URLError和HTTPError混合使用

注意：由于HTTPError是URLError的子类，所以捕获的时候HTTPError要放在URLError的上面。

示例：

from urllib import requestfrom urllib import error
if __name__ == "__main__":    #网站服务器上不存在资源    url = "http://www.baidu.com/no.html"    req = request.Request(url)    try:        response = request.urlopen(req) #       html = response.read().decode('utf-8')    except error.HTTPError as e:        print(e.code)    except error.URLError as e:        print(e.code)

如果不用上面的方法，可以直接用判断的形式。

from urllib import requestfrom urllib import error
if __name__ == "__main__":    #网站服务器上不存在资源    url = "http://www.baidu.com/no.html"    req = request.Request(url)    try:        response = request.urlopen(req) #       html = response.read().decode('utf-8')    except error.URLError as e:        if hasattr(e, 'code'):            print("HTTPError")            print(e.code)        elif hasattr(e, 'reason'):            print("URLError")            print(e.reason)

执行结果：

HTTPError404

四、urllib.parse模块

模块定义的函数可分为两个主要门类: URL 解析和 URL 转码。

4.1 URL 解析

4.1.1 urlparse()

urllib.parse 用于解析 URL，格式如下：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring 为 字符串的 url 地址，scheme 为协议类型。

allow_fragments 参数为 false，则无法识别片段标识符。相反，它们被解析为路径，参数或查询组件的一部分，并 fragment 在返回值中设置为空字符串。

标准链接格式为：

scheme://netloc/path;params?query#fragment

对象中包含了六个元素，分别为：协议（scheme）、域名（netloc）、路径（path）、路径参数（params）、查询参数（query）、片段（fragment）。

示例：

from urllib.parse import urlparse
o = urlparse("https://docs.python.org/zh-cn/3/library/urllib.parse.html#module-urllib.parse")
print('scheme  :', o.scheme)print('netloc  :', o.netloc)print('path    :', o.path)print('params  :', o.params)print('query   :', o.query)print('fragment:', o.fragment)print('hostname:', o.hostname)

执行结果：

scheme  : https                                                                                                                                                                                          netloc  : docs.python.org                                                       path    : /zh-cn/3/library/urllib.parse.html                                    params  :                                                                       query   :                                                                       fragment: module-urllib.parse                                                   hostname: docs.python.org

以上还可以通过索引获取，如通过​​​​​​​

print(o[0])...print(o[5])

4.1.2 urlunparse()

urlunparse()可以实现URL的构造。（构造URL）

urlunparse()接收一个是一个长度为6的可迭代对象，将URL的多个部分组合为一个URL。若可迭代对象长度不等于6，则抛出异常。

示例：​​​​​​​

from urllib.parse import urlunparseurl_compos = ['http','www.baidu.com','index.html','user= test','a=6','comment']print(urlunparse(url_compos))

结果：

http://www.baidu.com/index.html;user= test?a=6#comment

4.1.3 urlsplit()

urlsplit() 函数也能对 URL 进行拆分，所不同的是， urlsplit() 并不会把 路径参数(params) 从 路径(path) 中分离出来。

当 URL 中路径部分包含多个参数时，使用 urlparse() 解析是有问题的，这时可以使用 urlsplit() 来解析.

4.1.4 urlsplit()

urlunsplit()与 urlunparse()类似，（构造URL），传入对象必须是可迭代对象，且长度必须是5。

示例：

from urllib.parse import urlunspliturl_compos = ['http','www.baidu.com','index.html','user= test','a = 2']print(urlunsplit(url_compos))urlunsplit()

结果：

http://www.baidu.com/index.html?user= test#a = 2

4.1.5 urljoin()

同样可以构造URL。

传递一个基础链接,根据基础链接可以将某一个不完整的链接拼接为一个完整链接.

注：连接两个参数的url, 将第二个参数中缺的部分用第一个参数的补齐,如果第二个有完整的路径，则以第二个为主。

4.2 URL 转码

python中提供urllib.parse模块用来编码和解码，分别是urlencode()与unquote()。

4.2.1 编码quote(string)

URL 转码函数的功能是接收程序数据并通过对特殊字符进行转码并正确编码非 ASCII 文本来将其转为可以安全地用作 URL 组成部分的形式。它们还支持逆转此操作以便从作为 URL 组成部分的内容中重建原始数据，如果上述的 URL 解析函数还未覆盖此功能的话

语法：

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

使用 %xx 转义符替换 string 中的特殊字符。字母、数字和 '_.-~' 等字符一定不会被转码。在默认情况下，此函数只对 URL 的路径部分进行转码。可选的 safe 形参额外指定不应被转码的 ASCII 字符 --- 其默认值为 '/'。

string 可以是 str 或 bytes 对象。

示例：

​​​​​​​

from urllib import parse
url = "http://www.baidu.com/s?wd={}"words = "爬虫"
#quote()只能对字符串进行编码query_string = parse.quote(words)url = url.format(query_string)print(url)

执行结果：

http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

4.2.2 编码urlencode()

quote()只能对字符串编码，而urlencode()可以对查询字符串进行编码。

# 导入parse模块from urllib import parse
#调用parse模块的urlencode()进行编码query_string = {'wd':'爬虫'}result = parse.urlencode(query_string)
# format函数格式化字符串，进行url拼接url = 'http://www.baidu.com/s?{}'.format(result)print(url)

结果：

http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

4.2.3 解码unquote(string)

解码就是对编码后的url进行还原。

示例：

from urllib import parsestring = '%E7%88%AC%E8%99%AB'result = parse.unquote(string)print(result)

执行结果：

爬虫

五、urllib.robotparser模块

（在网络爬虫中基本不会用到，使用较少，仅作了解）

urllib.robotparser 用于解析 robots.txt 文件。

robots.txt（统一小写）是一种存放于网站根目录下的 robots 协议，它通常用于告诉搜索引擎对网站的抓取规则。

Robots协议也称作爬虫协议，机器人协议，网络爬虫排除协议，用来告诉爬虫哪些页面是可以爬取的，哪些页面是不可爬取的。它通常是一个robots.txt的文本文件，一般放在网站的根目录上。

当爬虫访问一个站点的时候，会首先检查这个站点目录是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围进行爬取。如果没有找到这个文件，搜索爬虫会访问所有可直接访问的页面。

urllib.robotparser 提供了 RobotFileParser 类，语法如下：

class urllib.robotparser.RobotFileParser(url='')

这个类提供了一些可以读取、解析 robots.txt 文件的方法：

  • set_url(url) - 设置 robots.txt 文件的 URL。

  • read() - 读取 robots.txt URL 并将其输入解析器。

  • parse(lines) - 解析行参数。

  • can_fetch(useragent, url) - 如果允许 useragent 按照被解析 robots.txt 文件中的规则来获取 url 则返回 True。

  • mtime() -返回最近一次获取 robots.txt 文件的时间。这适用于需要定期检查 robots.txt 文件更新情况的长时间运行的网页爬虫。

  • modified() - 将最近一次获取 robots.txt 文件的时间设置为当前时间。

  • crawl_delay(useragent) -为指定的 useragent 从 robots.txt 返回 Crawl-delay 形参。如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

  • request_rate(useragent) -以 named tuple RequestRate(requests, seconds) 的形式从 robots.txt 返回 Request-rate 形参的内容。如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

  • site_maps() - 以 list() 的形式从 robots.txt 返回 Sitemap 形参的内容。如果此形参不存在或者此形参的 robots.txt 条目存在语法错误，则返回 None。

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/41855.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

3.6.3、随机接入-CSMA/CD协议

3.6.3、随机接入-CSMA/CD协议

总线局域网使用的协议 [^96 比特时间]: 发送 96 比特所耗费的时间&#xff0c;也成为帧间最小间隔。其作用是接收方可以检测出一个帧的结束&#xff0c;同时也使得所有其他站点都能有机会平等竟争信道并发送帧。 1、案例 多个主机连接到一根总线上&#xff0c;各主机随机发送帧…
阅读更多...
system函数实践1：system函数进程的爸爸是谁？

system函数实践1：system函数进程的爸爸是谁？

前言 有两个问题&#xff1a; system函数中修改了环境变量&#xff0c;会不会影响执行它的进程&#xff1f; 不会。 首先&#xff0c;这个我测过了&#xff0c;因为我原本想用它来传递参数。 为什么&#xff1f;因为system函数执行的时候&#xff0c;会先创建一个shell,然后再…
阅读更多...
自然灾害数据：中国台风数据集（更新至2022.3）

自然灾害数据：中国台风数据集（更新至2022.3）

1、数据来源&#xff1a;中国天气网 2、时间跨度&#xff1a;1949-2021年 3、区域范围&#xff1a;全国 4、指标说明&#xff1a; 包含指标如下&#xff1a; 序号、编号、中文名、登陆时间、登陆序号、登陆地、登陆地地区代码、登陆时强度等级、省份代码、省份、城市代码、…
阅读更多...
高分英语Essay写作内容怎么介绍？

高分英语Essay写作内容怎么介绍？

英国Essay的写作非常讲究逻辑思维&#xff0c;除此之外&#xff0c;单词、语法、标点符号这些细节也会影响Essay能否拿到高分。为了帮助大家写出质量高的英国Essay&#xff0c;接下来我们就详细介绍一下如何才能写出一篇高分英语Essay。 English Essay pays much attention to …
阅读更多...
CISAW培训可以自学报名考试吗？

CISAW培训可以自学报名考试吗？

首先要跟大家说明的是&#xff0c;CISAW是强制培训的&#xff0c;并不可以通过自学而取得证书&#xff0c;也就是说你需要找一家CISAW认证的培训机构&#xff08;要选授权机构哦&#xff01;&#xff09;。众所周知&#xff0c;CISAW认证涉及了很多方向&#xff0c;那每个方向都…
阅读更多...
centos系统下RabbitMQ安装教程

centos系统下RabbitMQ安装教程

centos系统下RabbitMQ安装教程 我这里的环境用的腾讯云的轻应用环境 RabbitMQ是一个开源的遵循AMQP协议实现的基于Erlang语言编写&#xff0c;即需要先安装部署Erlang环境再安装RabbitMQ环境。需加注意的是&#xff0c;读者若不想跟着我的版本号下载安装&#xff0c;可根据两者…
阅读更多...
Git 的内部工作原理

Git 的内部工作原理

简介 通过本次分享学习 Git 的内部工作原理和实现方式。 学习这部分内容对于理解 Git 的用途和强大至关重要。 首先要弄明白一点&#xff0c;从根本上来讲 Git 是一个内容寻址&#xff08;content-addressable&#xff09;文件系统&#xff0c;并在此之上提供了一个版本控制…
阅读更多...
WPF基础知识系例

WPF基础知识系例

WPF系列-绘图和动画1、WPF绘图1.1 直线1.2 矩形1.3 椭圆1.4 路径1、WPF绘图 这里将从静态图像绘制入手&#xff0c;进而学习动画效果制作。WPF 拥有自己的一套图形 API &#xff0c;使用这套 API 不但可以轻松地绘制出精美的图形&#xff0c;还可以方便地对图形进行滤镜、变形…
阅读更多...
致敬逆行者网页设计作品 大学生抗疫感动专题网页设计作业模板 疫情感动人物静态HTML网页模板下载

致敬逆行者网页设计作品 大学生抗疫感动专题网页设计作业模板 疫情感动人物静态HTML网页模板下载

&#x1f389;精彩专栏推荐 &#x1f4ad;文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 &#x1f482; 作者主页: 【主页——&#x1f680;获取更多优质源码】 &#x1f393; web前端期末大作业&#xff1a; 【&#x1f4da;毕设项目精品实战案例 (10…
阅读更多...
RPC 对比 HTTP

RPC 对比 HTTP

初识RPC RPC 远程方法调用&#xff08;Remote Procedure Call&#xff09;大多用在服务治理领域 基本都是分布式环境中的注册中心来负责新服务的注册、服务续约、服务下线、服务销毁国内 Dubbo 是应用最广的 RPC 框架国外 gRPC RPC协议 无论哪种RPC方案&#xff0c;都要自定义…
阅读更多...
你好，法语！A2知识点总结（3）

你好，法语！A2知识点总结（3）

3.句型 3.1疑问 注意1 主谓倒装的疑问句式&#xff0c;主语必须是代词。 •主语是名词&#xff0c;不能直接倒装&#xff0c;要人为加进去一个代替主语的代词放在动词后面&#xff0c;“-”连接 •EX: Votre pre est professeur? •Est-votre pre professeur? •Votre pre e…
阅读更多...
Kafka的设计原理

Kafka的设计原理

Kafka的设计原理和使用场景一、Kafka简介二、Kafka的架构2.1、Kafka 一些重要概念2.2、工作流程2.3、副本原理2.4、分区和主题的关系2.5、生产者2.5.1、分区可以水平扩展2.5.2、分区策略2.6、消费者2.6.1、消费方式2.6.2、分区分配策略2.7、数据可靠性保证2.7.1、副本数据同步策…
阅读更多...
Linux基础知识

Linux基础知识

目录 流行的Linux发行版本 Linux系统的启动顺序 禁止使用ping命令 鉴定故障解决办法 user 不在 sudoers 文件中。此事将被报告解决办法 修改文件或目录的所属用户与权限 1、chgrp&#xff1a;更改文件属组 2、chown&#xff1a;更改文件属主&#xff0c;也可以同时更改文…
阅读更多...
Agent 与对象的辨析

Agent 与对象的辨析

如果说对象是70年代以来软件界最激动人心的革新之一&#xff0c;那么&#xff0c;Agent的相关理论和技术&#xff0c;为分布式开放系统的设计与实现提供了新的途径&#xff0c;可以称之为软件开发的又一重大突破。讨论问题的前提是概念的澄清&#xff0c;什么是对象&#xff1f…
阅读更多...
【学习笔记49】JavaScript的this指向

【学习笔记49】JavaScript的this指向

一、this指向 每一个函数内部都有一个关键字thisthis的值, 和函数的调用有关, 与函数书写无关 1. 普通调用方式 一个普通的全局函数, 在正常调用的情况下, this window function fn() {console.log(this); }fn() // this window2. 函数放置到对象 如果将函数放置到对象…
阅读更多...
图数据技术护航网络安全 - Neo4j 大中华区总经理 方俊强

图数据技术护航网络安全 - Neo4j 大中华区总经理 方俊强

网络数字化及人工智能为许多行业来革命性的进步&#xff0c;但与此同时&#xff0c;网络安全领域产生的问题也日益严峻。人工智能进攻性风险和网络威胁领域的发展正在重新定义企业安全&#xff0c;从而给企业带来了更高的挑战。如何守护网络安全&#xff0c;成为企业深化数字化…
阅读更多...
CSDN第十一场竞赛

CSDN第十一场竞赛

目录 1.比赛详情 2.竞赛详情 3.原题回顾 (1).圆小艺 思路模拟 代码实现 (2). K皇把妹 思路模拟 代码实现 (3).筛选宝物 思路模拟 代码实现 (4).圆桌 思路模拟 代码实现 4.总结 1.比赛详情 报名地址&#xff1a;https://edu.csdn.net/contest/detail/24?utm_sou…
阅读更多...
目标检测论文解读复现之二十:基于改进Yolov5的地铁隧道附属设施与衬砌表观病害检测方法

目标检测论文解读复现之二十:基于改进Yolov5的地铁隧道附属设施与衬砌表观病害检测方法

前言 此前出了目标改进算法专栏&#xff0c;但是对于应用于什么场景&#xff0c;需要什么改进方法对应与自己的应用场景有效果&#xff0c;并且多少改进点能发什么水平的文章&#xff0c;为解决大家的困惑&#xff0c;此系列文章旨在给大家解读最新目标检测算法论文&#xff0…
阅读更多...
14个SpringBoot优化小妙招

14个SpringBoot优化小妙招

1. 定义配置文件信息 有时候我们为了统一管理会把一些变量放到 yml 配置文件中 例如 用 ConfigurationProperties 代替 Value 使用方法 定义对应字段的实体 Data // 指定前缀 ConfigurationProperties(prefix "developer") Component public class DeveloperPro…
阅读更多...
力扣(LeetCode)813. 最大平均值和的分组(C++)

力扣(LeetCode)813. 最大平均值和的分组(C++)

动态规划 本题需要用到前缀和&#xff0c;前缀和需要将下标 iii 后移一位&#xff0c;所以我们将状态的下标 iii 也后移一位&#xff1b;由于状态转移依赖于 j−1j-1j−1 &#xff0c;我们将 jjj 的下标后移一位。 class Solution { public:double largestSumOfAverages(vecto…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023