Python 爬虫库 urllib 使用详解！

news2024/11/24 15:59:54

一、Python urllib库

Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。

Python3 的 urllib。

urllib 包 包含以下几个模块：

  • urllib.request - 打开和读取 URL。

  • urllib.error - 包含 urllib.request 抛出的异常。

  • urllib.parse - 解析 URL。

  • urllib.robotparser - 解析 robots.txt 文件。

需要用的就是每个模块的内置方法和函数。大概方法如下图：

二、urllib.request模块

urllib.request 定义了一些打开 URL 的函数和类，包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

这里主要介绍两个常用方法，urlopen和Request。

1. urlopen函数

语法格式如下：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

  • url：url 地址。

  • data：发送到服务器的其他数据对象，默认为 None。

  • timeout：设置访问超时时间。

  • cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用到。

  • cadefault：已经被弃用。

  • context：ssl.SSLContext类型，用来指定 SSL 设置。

示例：

import urllib.request
#导入urllib.request模块
url=urllib.request.urlopen("https://www.baidu.com")
#打开读取baidu信息
print(url.read().decode('utf-8'))
#read获取所有信息，并decode()命令将网页的信息进行解码

运行结果：

<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="
html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}                     
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}  
h1,h2,h3,h4,h5,h6{font-size:100%}                                               
em{font-style:normal}                                                           
small{font-size:12px}                                                           
ol,ul{list-style:none}                                                          
a{text-decoration:none}                                                         
a:hover{text-decoration:underline}                                              
legend{color:#000}                                                              
fieldset,img{border:0}                                                          
button,input,select,textarea{font-size:100%} 
...

response对象是http.client. HTTPResponse类型，主要包含 read、readinto、getheader、getheaders、fileno 等方法，以及 msg、version、status、reason、debuglevel、closed 等属性。

常用方法：

  • read()：是读取整个网页内容，也可以指定读取的长度，如read(300)。获取到的是二进制的乱码，所以需要用到decode()命令将网页的信息进行解码。

  • readline() - 读取文件的一行内容。

  • readlines() - 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。

  • info()：返回HTTPMessage对象，表示远程服务器返回的头信息。

  • getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到。

  • geturl()：返回请求的url。

2、Request类

我们抓取网页一般需要对 headers（网页头信息）进行模拟，否则网页很容易判定程序为爬虫，从而禁止访问。这时候需要使用到 urllib.request.Request 类：

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

  • url：url 地址。

  • data：发送到服务器的其他数据对象，默认为 None。

  • headers：HTTP 请求的头部信息，字典格式。

  • origin_req_host：请求的主机地址，IP 或域名。

  • unverifiable：很少用整个参数，用于设置网页是否需要验证，默认是False。。

  • method：请求方法， 如 GET、POST、DELETE、PUT等。

示例：

import urllib.request
#导入模块
url = "https://www.baidu.com"
#网页连接
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
#定义headers，模拟浏览器访问
req = urllib.request.Request(url=url,headers=headers)
#模拟浏览器发送，访问网页
response = urllib.request.urlopen(req)
#获取页面信息
print(response.read().decode("utf-8"))

三、urllib.error模块

urllib.error 模块为 urllib.request 所引发的异常定义了异常类，基础异常类是 URLError。

urllib.error 包含了两个方法，URLError 和 HTTPError。

URLError 是 OSError 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性 reason 为引发异常的原因。

HTTPError 是 URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候，包含的属性 code 为 HTTP 的状态码， reason 为引发异常的原因，headers 为导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

区别：

  • URLError封装的错误信息一般是由网络引起的，包括url错误。

  • HTTPError封装的错误信息一般是服务器返回了错误状态码。

关系：

  • URLError是OSERROR的子类，HTTPError是URLError的子类。

1. URLError 示例

from urllib import request
from urllib import error

if __name__ == "__main__":
    #一个不存在的连接
    url = "http://www.baiiiduuuu.com/"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
        html = response.read().decode('utf-8')
        print(html)
    except error.URLError as e:
        print(e.reason)

返回结果：

[Errno -2] Name or service not known

reason:

此错误的原因。它可以是一个消息字符串或另一个异常实例。

2. HTTPError示例

from urllib import request
from urllib import error

if __name__ == "__main__":
    #网站服务器上不存在资源
    url = "http://www.baidu.com/no.html"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
        html = response.read().decode('utf-8')
        print(html)
    except error.HTTPError as e:
        print(e.code)

返回结果：

404

code

一个 HTTP 状态码，具体定义见 RFC 2616。这个数字的值对应于存放在

http.server.BaseHTTPRequestHandler.responses 代码字典中的某个值。

reason

这通常是一个解释本次错误原因的字符串。

headers

导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

3. URLError和HTTPError混合使用

注意：由于HTTPError是URLError的子类，所以捕获的时候HTTPError要放在URLError的上面。

示例：

from urllib import request
from urllib import error

if __name__ == "__main__":
    #网站服务器上不存在资源
    url = "http://www.baidu.com/no.html"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
 #       html = response.read().decode('utf-8')
    except error.HTTPError as e:
        print(e.code)
    except error.URLError as e:
        print(e.code)

如果不用上面的方法，可以直接用判断的形式。

from urllib import request
from urllib import error

if __name__ == "__main__":
    #网站服务器上不存在资源
    url = "http://www.baidu.com/no.html"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
 #       html = response.read().decode('utf-8')
    except error.URLError as e:
        if hasattr(e, 'code'):
            print("HTTPError")
            print(e.code)
        elif hasattr(e, 'reason'):
            print("URLError")
            print(e.reason)

执行结果：

HTTPError
404

四、urllib.parse模块

模块定义的函数可分为两个主要门类: URL 解析和 URL 转码。

4.1 URL 解析

4.1.1 urlparse()

urllib.parse 用于解析 URL，格式如下：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring 为 字符串的 url 地址，scheme 为协议类型。

allow_fragments 参数为 false，则无法识别片段标识符。相反，它们被解析为路径，参数或查询组件的一部分，并 fragment 在返回值中设置为空字符串。

标准链接格式为：

scheme://netloc/path;params?query#fragment

对象中包含了六个元素，分别为：协议（scheme）、域名（netloc）、路径（path）、路径参数（params）、查询参数（query）、片段（fragment）。

示例：

from urllib.parse import urlparse

o = urlparse("https://docs.python.org/zh-cn/3/library/urllib.parse.html#module-urllib.parse")

print('scheme  :', o.scheme)
print('netloc  :', o.netloc)
print('path    :', o.path)
print('params  :', o.params)
print('query   :', o.query)
print('fragment:', o.fragment)
print('hostname:', o.hostname)

执行结果：

scheme  : https                                                                                                                                                                                          
netloc  : docs.python.org                                                       
path    : /zh-cn/3/library/urllib.parse.html                                    
params  :                                                                       
query   :                                                                       
fragment: module-urllib.parse                                                   
hostname: docs.python.org

以上还可以通过索引获取，如通过

print(o[0])
...
print(o[5])

4.1.2 urlunparse()

urlunparse()可以实现URL的构造。（构造URL）

urlunparse()接收一个是一个长度为6的可迭代对象，将URL的多个部分组合为一个URL。若可迭代对象长度不等于6，则抛出异常。

示例：

from urllib.parse import urlunparse
url_compos = ['http','www.baidu.com','index.html','user= test','a=6','comment']
print(urlunparse(url_compos))

结果：

http://www.baidu.com/index.html;user= test?a=6#comment

4.1.3 urlsplit()

urlsplit() 函数也能对 URL 进行拆分，所不同的是， urlsplit() 并不会把 路径参数(params) 从 路径(path) 中分离出来。

当 URL 中路径部分包含多个参数时，使用 urlparse() 解析是有问题的，这时可以使用 urlsplit() 来解析.

4.1.4 urlsplit()

urlunsplit()与 urlunparse()类似，（构造URL），传入对象必须是可迭代对象，且长度必须是5。

示例：

from urllib.parse import urlunsplit
url_compos = ['http','www.baidu.com','index.html','user= test','a = 2']
print(urlunsplit(url_compos))urlunsplit()

结果：

http://www.baidu.com/index.html?user= test#a = 2

4.1.5 urljoin()

同样可以构造URL。

传递一个基础链接,根据基础链接可以将某一个不完整的链接拼接为一个完整链接.

注：连接两个参数的url, 将第二个参数中缺的部分用第一个参数的补齐,如果第二个有完整的路径，则以第二个为主。

4.2 URL 转码

python中提供urllib.parse模块用来编码和解码，分别是urlencode()与unquote()。

4.2.1 编码quote(string)

URL 转码函数的功能是接收程序数据并通过对特殊字符进行转码并正确编码非 ASCII 文本来将其转为可以安全地用作 URL 组成部分的形式。它们还支持逆转此操作以便从作为 URL 组成部分的内容中重建原始数据，如果上述的 URL 解析函数还未覆盖此功能的话

语法：

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

使用 %xx 转义符替换 string 中的特殊字符。字母、数字和 '_.-~' 等字符一定不会被转码。在默认情况下，此函数只对 URL 的路径部分进行转码。可选的 safe 形参额外指定不应被转码的 ASCII 字符 --- 其默认值为 '/'。

string 可以是 str 或 bytes 对象。

示例：

from urllib import parse

url = "http://www.baidu.com/s?wd={}"
words = "爬虫"

#quote()只能对字符串进行编码
query_string = parse.quote(words)
url = url.format(query_string)
print(url)

执行结果：

http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

4.2.2 编码urlencode()

quote()只能对字符串编码，而urlencode()可以对查询字符串进行编码。

# 导入parse模块
from urllib import parse

#调用parse模块的urlencode()进行编码
query_string = {'wd':'爬虫'}
result = parse.urlencode(query_string)

# format函数格式化字符串，进行url拼接
url = 'http://www.baidu.com/s?{}'.format(result)
print(url)

结果：

http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

4.2.3 解码unquote(string)

解码就是对编码后的url进行还原。

示例：

from urllib import parse
string = '%E7%88%AC%E8%99%AB'
result = parse.unquote(string)
print(result)

执行结果：

爬虫

五、urllib.robotparser模块

（在网络爬虫中基本不会用到，使用较少，仅作了解）

urllib.robotparser 用于解析 robots.txt 文件。

robots.txt（统一小写）是一种存放于网站根目录下的 robots 协议，它通常用于告诉搜索引擎对网站的抓取规则。

Robots协议也称作爬虫协议，机器人协议，网络爬虫排除协议，用来告诉爬虫哪些页面是可以爬取的，哪些页面是不可爬取的。它通常是一个robots.txt的文本文件，一般放在网站的根目录上。

当爬虫访问一个站点的时候，会首先检查这个站点目录是否存在robots.txt文件，如果存在，搜索爬虫会根据其中定义的爬取范围进行爬取。如果没有找到这个文件，搜索爬虫会访问所有可直接访问的页面。

urllib.robotparser 提供了 RobotFileParser 类，语法如下：

class urllib.robotparser.RobotFileParser(url='')

这个类提供了一些可以读取、解析 robots.txt 文件的方法：

  • set_url(url) - 设置 robots.txt 文件的 URL。

  • read() - 读取 robots.txt URL 并将其输入解析器。

  • parse(lines) - 解析行参数。

  • can_fetch(useragent, url) - 如果允许 useragent 按照被解析 robots.txt 文件中的规则来获取 url 则返回 True。

  • mtime() -返回最近一次获取 robots.txt 文件的时间。这适用于需要定期检查 robots.txt 文件更新情况的长时间运行的网页爬虫。

  • modified() - 将最近一次获取 robots.txt 文件的时间设置为当前时间。

  • crawl_delay(useragent) -为指定的 useragent 从 robots.txt 返回 Crawl-delay 形参。如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

  • request_rate(useragent) -以 named tuple RequestRate(requests, seconds) 的形式从 robots.txt 返回 Request-rate 形参的内容。如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

  • site_maps() - 以 list() 的形式从 robots.txt 返回 Sitemap 形参的内容。如果此形参不存在或者此形参的 robots.txt 条目存在语法错误，则返回 None。

     

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/90873.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

自学了半个月python，感觉没用，怎么办？

自学了半个月python，感觉没用，怎么办？

本人从零基础开始学习python&#xff0c;已有两年之久&#xff0c;虽然一路上磕磕绊绊&#xff0c;但学习了一段时间之后&#xff0c;日常很多繁琐的工作&#xff0c;在python的助力下确实得到了很好的解决&#xff0c;工作效率也大大提高。 回到问题上来&#xff0c;自学了半…
阅读更多...
Windows11如何通过附近共享发送文件，附近共享传输文件到电脑

Windows11如何通过附近共享发送文件，附近共享传输文件到电脑

Windows11如何通过附近共享发送文件&#xff1f;2018年&#xff0c;微软推出了名为Nearear Share&#xff08;附近共享&#xff09;的新功能。Near share是一种在PC之间传输文件的新方式&#xff0c;类似Airdrop的功能&#xff0c;只需要开启蓝牙和WiFi就能分享照片/影片/文件给…
阅读更多...
[附源码]Python计算机毕业设计Django快转二手品牌包在线交易系统

[附源码]Python计算机毕业设计Django快转二手品牌包在线交易系统

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…
阅读更多...
Android OpenGL ES 学习(八) –矩阵变换

Android OpenGL ES 学习(八) –矩阵变换

OpenGL 学习教程 Android OpenGL ES 学习(一) – 基本概念 Android OpenGL ES 学习(二) – 图形渲染管线和GLSL Android OpenGL ES 学习(三) – 绘制平面图形 Android OpenGL ES 学习(四) – 正交投影 Android OpenGL ES 学习(五) – 渐变色 Android OpenGL ES 学习(六) – 使用…
阅读更多...
UML图讲解(关联关系，单向关联，双向关联，自关联，组合关系，依赖关系，继承关系，实现关系)

UML图讲解(关联关系，单向关联，双向关联，自关联，组合关系，依赖关系，继承关系，实现关系)

UML图讲解 简介&#xff1a;本文讲解UML图的各种情况下的含义。 简介 百度百科&#xff1a; UML-Unified Modeling Language统一建模语言&#xff0c;又称标准建模语言。是用来对软件密集系统进行可视化建模的一种语言。UML的定义包括UML语义和UML表示法两个元素。 UML是在开…
阅读更多...
【实时数仓】动态分流的实现源码（反序列化器、配置表、广播流、业务流）

【实时数仓】动态分流的实现源码（反序列化器、配置表、广播流、业务流）

文章目录一 根据MySQL的配置表&#xff0c;动态进行分流1 自定义反序列化器&#xff08;1&#xff09;需求分析&#xff08;2&#xff09;代码实现2 从配置表中读取数据&#xff08;1&#xff09;自定义CDC采集的反序列化器&#xff08;2&#xff09;使用FlinkCDC读取配置表数据…
阅读更多...
事务的隔离级别

事务的隔离级别

目录 1.1 数据并发问题 1.2 SQL中的四种隔离级别 1.3 MySQL支持的四种隔离级别 1.4 如何设置事务的隔离级别 MySQL是一个 客户端&#xff0f;服务器 架构的软件&#xff0c;对于同一个服务器来说&#xff0c;可以有若干个客户端与之连接&#xff0c;每 个客户端与服务器连接…
阅读更多...
简说四种架构的通用思维

简说四种架构的通用思维

一.自顶向下构建架构 ​1.首先定义问题&#xff0c;而定义问题中最重要的是定义客户的问题&#xff0c;特别主要识别出关键问题&#xff0c;关键问题是对客户有体感&#xff0c;能够解决客户痛点&#xff0c;通过一定的数据化来衡量识别出来&#xff0c;关键问题要优先给出解决…
阅读更多...
我从“校园小白”到仿真“职场小达人”的CFD学习史

我从“校园小白”到仿真“职场小达人”的CFD学习史

CFD属于CAE技术中比较难的一款软件&#xff0c;主要原因就是流体的特点决定了&#xff0c;因为相比于固体&#xff0c;流体太容易变形了&#xff0c;分子之间的距离比较大。所以&#xff0c;导致了一系列的问题。常常的结果是&#xff0c;忙了半天或者很长&#xff0c;根本得不…
阅读更多...
Spring Security自定义认证逻辑实现图片验证码登录

Spring Security自定义认证逻辑实现图片验证码登录

前言 相信大家在网上冲浪都遇到过登录时输入图片验证码的情况&#xff0c;既然我们已经学习了 Spring Security&#xff0c;也上手实现过几个案例&#xff0c;那不妨来研究一下如何实现这一功能。 首先需要明确的是&#xff0c;登录时输入图片验证码&#xff0c;属于认证功能…
阅读更多...
【录用案例】计算机电子类SCI，仅1个月15天录用

【录用案例】计算机电子类SCI，仅1个月15天录用

【期刊简介】IF&#xff1a;1.0-2.0&#xff0c;JCR4区&#xff0c;中科院4区 【检索情况】SCI在检&#xff0c;正刊 【征稿领域】自主传感器网络的高级接口电路及其应用 【参考周期】2-3个月左右 重要时间节点&#xff1a; 2022.12.15 | Accepted 2022.11.22 | 提交返修稿 20…
阅读更多...
设计模式之建造者模式

设计模式之建造者模式

builder desigin pattern 建造者模式的概念、建造者模式的结构、建造者模式的优缺点、建造者模式的使用场景、建造者模式的实现示例、建造者模式的源码分析 1、建造者模式的概念 将一个复杂对象的构建和表示分离&#xff0c;使得同样的创建过程可以得到不同的表示。其主要特点…
阅读更多...
一种高复用的组件式安装包制作系统

一种高复用的组件式安装包制作系统

目录 整体设计 流程描述 文件目录结构设计 产品资源的配置与更新 安装包制作流程 安装包执行流程 整体设计 如下展示了安装包系统的整体结构&#xff1a; 将集群布署可能用到的docker资源&#xff0c;按最小的单元进行整理&#xff0c;以压缩包的形式放于资源库&#xf…
阅读更多...
欧姆龙电气元器件要点14讲

欧姆龙电气元器件要点14讲

对于一个电气工程师来说&#xff0c;不仅仅只是要会PLC、伺服控制、变频器参数调优和总线控制、触摸屏这些大的元件的使用&#xff0c;还有很多种类齐全、功能各异的电气元器件&#xff0c;它们的作用、原理、维护方法、安全要点都要熟记于心&#xff0c;牢牢掌握。 第一章 电气…
阅读更多...
艾美捷CpG ODN——ODN 1720 (TLRGRADE)说明书

艾美捷CpG ODN——ODN 1720 (TLRGRADE)说明书

艾美捷CpG ODN系列——ODN 1720 (TLRGRADE)&#xff1a;具有硫代磷酸酯骨架的GpC寡脱氧核苷酸。 艾美捷CpG ODN 丨ODN 1720 (TLRGRADE)化学性质&#xff1a; 序列&#xff1a;5-tccatgagcttcctgatgct-3&#xff08;小写字母表示硫代磷酸酯键&#xff09;。 MW&#xff1a;638…
阅读更多...
Java中的运算符

Java中的运算符

算术运算符&#xff1a;&#xff0c; -&#xff0c;*&#xff0c;/&#xff0c;%&#xff0c;&#xff0c;--关系运算符&#xff1a;&#xff0c;!&#xff0c;<&#xff0c;>&#xff0c;<&#xff0c;>逻辑运算符&#xff1a;&&&#xff0c;||&#xff0…
阅读更多...
基于STM32的温度控制系统

基于STM32的温度控制系统

提示&#xff1a;记录毕设 文章目录前言一、任务书1.1设计(研究)目标:1.2设计(研究)内容:二、代码思路三、硬件四、联系我们五、设计六、框图代码等资料喜欢请点赞哦&#xff01;前言 基于STM32的温度控制系统&#xff0c;主控使用STM32F103ZET6&#xff0c;在正点原子的精英板…
阅读更多...
ubuntu18.0 调节显卡GPU涡轮风扇转速

ubuntu18.0 调节显卡GPU涡轮风扇转速

前言&#xff1a; 在炼丹的时候发现涡轮显卡的温度已经很高了85摄氏度&#xff0c;但是涡轮的风扇转速还不到65%&#xff0c;此时显卡计算频率明显已经下降了&#xff0c;所以需要手动调节风扇的转速&#xff0c;让噪音和计算速度处于均衡状态。 一、准备工作 》》安装显卡驱…
阅读更多...
html：自定义网页右键菜单

html：自定义网页右键菜单

<div id"menu"><divclass"menu-item"data-id"1">功能1</div><divclass"menu-item"data-id"2">功能2</div><divclass"menu-item"data-id"3">功能3</div><…
阅读更多...
股票购买接口委托下单c++代码

股票购买接口委托下单c++代码

炒股并非是运气可以驱使的&#xff0c;买股票不是赌博&#xff0c;是一种有风险的经济投资。在股市投资生涯中&#xff0c;掌握一门实战买卖技巧是我们必备的武器&#xff0c;这也是我们能长久在股市投资中得以生存的技法。 其实做股票投资是非常讲究买入和卖出的时机的。一只…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023