开篇

本篇文章旨在总结urlib基本库的一些常用用法。

相关方法

urlopen

用户打开和读取URL。

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))

• 带data参数

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'name': 'germey'}), 'utf-8')
response = urllib.request.urlopen('http://httpbin.org/post', data)
# 输出模拟提交的参数
print(response.read().decode('utf-8'))

• • 输出

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "name": "germey"
  },
  "headers": {
    "Accept-Encoding": "identity",
    "Content-Length": "11",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "Python-urllib/3.11",
    "X-Amzn-Trace-Id": "Root=1-6688939e-622c82b231ff076079ee145a"
  },
  "json": null,
  "origin": "114.86.155.241",
  "url": "http://httpbin.org/post"
}

• 带timeout参数
  • 基本使用

import urllib.request
import urllib.error
import socket

try:
    response = urllib.request.urlopen('https://www.httpbin.org/get', timeout=0.1)
    print(response.read())
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('超时错误')

• 输出

超时错误

Request

利用urlopen方法可以发起最基本的请求，但那几个简单的参数不足以构建一个完整的请求。如果需要往请求中加入Headers等信息，就得利用更强大的Request类来构建请求了。

• 基本使用

import urllib.request

request = urllib.request.Request('https://python.org/')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

• 带参数使用

from urllib import request, parse

url = 'https://www.httpbin.org/post'
headers = {
  'user-Agent': 'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)',
  'Host': 'www.httpbin.org'
}
dict = {'name': 'germey'}
data = bytes(parse.urlencode(dict), encoding='utf-8')
req = request.Request(url, data, headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

• 运行结果为

运行结果为：
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "germey"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "11", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "www.httpbin.org", 
    "User-Agent": "Mozilla/4.0(compatible;MSIE 5.5;Windows NT)", 
    "X-Amzn-Trace-Id": "Root=1-669397b1-1361c6c9074724d22efebd7f"
  }, 
  "json": null, 
  "origin": "114.86.155.200", 
  "url": "https://www.httpbin.org/post"
}

• handler和opener

在构建请求后，要想进行一些更高级的操作（例如Cookie处理、代理设置等），就需要Handler登场了。简而言之，Handler可以理解为各种处理器，有专门处理登录验证的、处理Cookie的、处理代理设置的。

• 基本使用

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
from urllib.error import URLError

# 设置用户名和密码
username = 'admin'
password = 'admin'

# 设置要访问的URL
url = 'https://ssr3.scrape.center/'

# 创建一个密码管理器，并添加用户名和密码
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)

# 创建一个基本认证处理器，并将密码管理器传递给它
auth_handler = HTTPBasicAuthHandler(p)

# 构建一个打开器，并将认证处理器添加到它
opener = build_opener(auth_handler)

# 尝试打开URL
try:
    # 使用构建的打开器打开URL
    result = opener.open(url)
    # 读取并打印结果
    print(result.read().decode('utf-8'))
except URLError as e:
    # 如果出现URL错误，打印错误原因
    print(e.reason)

• 代理

from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener

proxy_handler = ProxyHandler({
    'http': 'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080'
})
opener = build_opener(proxy_handler)
try:
    response = opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

Cookie

处理Cookie需要用到的相关的Handler。

• 基本使用

import http.cookiejar, urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')

for item in cookie:
    print(item.name + "=" + item.value)

• 输出文件格式的内容

import urllib.request, http.cookiejar

filename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

此处，如果要生成LWP格式的文件，可以用下面这句代码:

cookie = http.cookiejar.LWPCookieJar(filename)

• 读取Cookie文件（以LWP格式为例）

import urllib.request, http.cookiejar

cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
print(response.read().decode('utf-8'))

此处，会输出百度网页的源代码:

处理异常

• URLError

URLError类都来自urlib库的error模块，继承自OSError类，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类来处理。

from urllib import request, error

try:
  response = request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:
  print(f"Code: {e.code}")
  print(f"Reason: {e.reason}")

• HTTPError

HTTPError是URLError的子类，专门用来处理HTTP请求错误，例如认证请求失败等。

from urllib import request, error

try:
  response = request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:
  print(e.reason, e.code, e.headers, sep='\n')

上面的代码也可以写成:

from urllib import request, error

try:
  response = request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:
  print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
  print(f"Reason: {e.reason}")
else:
  print('Request Successful')

有时，reason属性返回的不一定是字符串，也可能是一个对象:

import socket
import urllib.request
import urllib.error

try:
  response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:
  print(type(e.reason))
  if isinstance(e.reason, socket.timeout):
    print('socket timeout')

解析链接

• urlparse

用于实现URL的识别和分段。

from urllib.parse import urlparse

result = urlparse('https://www.baidu.com/index.html;user?id=5#comment')
print(type(result))
print(result)

• urlunparse

用于构造URL。

from urllib.parse import urlunparse

data = ['https', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
print(urlunparse(data))

• urlsplit

和urlparse方法非常相似，只不过它不再单独解析params这一部分（params会合并到path中），只返回5个结果。

from urllib.parse import urlsplit

result = urlsplit('https://www.example.com/path/to/resource?key=value#fragment')
print(result)

• urlunsplit

与urlunparse方法类似，这也是将链接各个部分合成完整链接的方法，传入的参数也是一个可迭代对象，例如列表、元祖等，唯一区别是这里参数的长度必须为5。

from urllib.parse import urlunsplit

data = ['https', 'www.baidu.com', 'index.html', 'user', 'a=6']
print(urlunsplit(data))

• urljoin

用于生成链接的方法，如果我们提供一个base_url（基础链接）作为该方法的第一个参数，将新的链接作为第二个参数。urljoin方法会分析base_url的scheme、netloc和path这三个内容，并对新链接缺失的部分进行补充。

from urllib.parse import urljoin

print(urljoin('https://example.com/foo', '/bar'))

• urlencode

用于将params序列化为GET请求的参数。

from urllib.parse import urlencode

params = {
  'name': 'germey',
  'age': 3
}
base_url = 'https://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

• parse_qs

反序列化方法，用于将一串GET请求参数转回字典。

from urllib.parse import parse_qs

query = 'name=zyc&age=19'
print(parse_qs(query))

• parse_qsl

用于将参数转化为由元祖组成的列表。

from urllib.parse import parse_qsl

query = 'name=zyc&age=19'
print(parse_qsl(query))

• quote

此方法可以将内容转化为URL编码的格式。当URL中带有中文参数时，有可能导致乱码问题，此时用quote方法可以将中文字符转化为URL编码。

from urllib.parse import quote

keyword = '壁纸'
url = 'https://www.baidu.com/s?wd =' + quote(keyword)
print(url)

• unquote

有了quote方法，自然就会有unquote方法，它可以进行URL解码

from urllib.parse import unquote

url = 'https://www.baidu.com/s?wd =%E5%A3%81%E7%BA%B8'
print(unquote(url))

注

以上便是这一部分全部学习笔记了。