目录
一、urllib异常
三、urllib handler 处理器的基本使用
四、urllib 代理和代理池
参考
一、urllib异常
URLError/HTTPError
简介：
1.HTTPError类是URLError类的子类
2.导入的包urllib.error.HTTPError urllib.error.URLError
3.http错误：http错误是针对浏览器无法连接到服务器而增加出来的错误提示。引导并告诉浏览者该页是哪里出了问题。
4.通过urllib发送请求的时候，有可能会发送失败，这个时候如果想让你的代码更加健壮，可以通过try-except进行捕捉异常，异常有两类URLError和HTTPError
完整代码：
# 异常
# URLError/HTTPError
from urllib.error import URLError
from urllib.error import HTTPError
import urllib.request
# 正确url
# url = 'https://blog.csdn.net/m0_45447650/article/details/1342414341'
# 地址错误
url = 'https://blog.csdn.net/m0_45447650/article/details/1342414341'
# 主机名错误
# url = 'https://blob.csdn.net/m0_45447650'
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
try:
# 请求对象定制
request = urllib.request.Request(url, headers = headers)
# 获取网页源码
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
print(content)
except HTTPError:
print('url地址写错了')
except URLError:
print('url主机名错了')
二、urllib cookie登录
# 微博的cookie登录
# 应用场景： 数据采集时，绕开登录，进入到某个页面
完整代码：
# 微博的cookie登录
# 应用场景： 数据采集时，绕开登录，进入到某个页面
# 个人信息界面是utf-8，但还是报编码错误，因为并没有进入到个人信息页面，而是跳转到登录页面，登录页面不是utf-8，所以报错。
# 什么情况下访问不成功，请求头的信息不够才会访问不成功
# refere :防盗链，判断当前路径是不是由上一个路径进来的，一般情况下是做图片的防盗链
import urllib.request
url = 'https://weibo.com/你的微博主页'
headers = {
"User-Agent": "主页的UA",
'Cookie':'主页的CK',
'Referer':'https://weibo.com/'
}
request = urllib.request.Request(url, headers = headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
with open ('weibo.html', 'w',encoding='utf-8') as file:
file.write(content)三、urllib handler 处理器的基本使用
为什么要学handler？
urllib.request.urlopen(url)
不能定制请求头
urllib.request.Request(url，header，data)
可以定制请求头
handler
定制更高级的请求头（随着业务逻辑的复杂，请求对象的定制已经满足不了我们的需求（动态cookie和代理不能使用请求对象的定制））
使用handler三步：
1.获取handler对象
2.获取opener对象
3.调用open方法
完整代码：
# 使用handler访问百度，获取网页源码
import urllib.request
url = 'http://www.baidu.com'
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
# 请求对象定制
request = urllib.request.Request(url, headers=headers)
# handler build_opener open
# 1.获取handler对象
handler = urllib.request.HTTPHandler()
# 2.获取opener对象
opener = urllib.request.build_opener(handler)
# 3.调用open方法
response = opener.open(request)
content = response.read().decode('utf-8')
print(content)四、urllib 代理和代理池
1.代理的常用功能?
（1）.突破自身IP访问限制，访问国外站点
（2）.访问一些单位或团体内部资源
扩展:某大学FTP(前提是该代理地址在该资源的允许访问范围之内)，使用教育网内地址段免费代理股务器，就可以用于对教育网开放的各类FTP下载上传，以及各类资料查询共亨等服务，
（3）.提高访问速度
扩展: 通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时， 则直接由缓冲区中取出信息，传给用户，以提高访问速度，
（4）.隐感真实IP
扩展:上网者也可以通过这种方法隐藏自己的IP，免受攻击
2.代码配置代理
创建Reuqest对象
创建ProxyHandler对象
用handler对象创建opener对象
使用opener.open函数发送请求
使用handler模拟客户端向服务器发送请求
# handler build_opener open
handler = urllib.request.ProxyHandler(proxies=proxies)
opener = urllib.request.build_opener(handler)
response = opener.open(request)设置一个简单的代理池
# 代理池
proxies_pool= [
# 'key':'主机'+'端口号'
{'http':'61.216.185.88:60808'},
{'http':'182.140.244.163:8118'}
]
import random
proxies = random.choice((proxies_pool))完整代码
import urllib.request
url = 'https://www.baidu.com/s?wd=ip'
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
# 请求对象定制
request = urllib.request.Request(url, headers=headers)
# response = urllib.request.urlopen(request)
# 获取免费快代理 https://www.kuaidaili.com/free/
# 代理 ip 以字典的方式存在
proxies = {
# 'key':'主机'+'端口号'
'http':'61.216.185.88:60808'
}
"""
# 代理池
proxies_pool= [
# 'key':'主机'+'端口号'
{'http':'61.216.185.88:60808'},
{'http':'182.140.244.163:8118'}
]
import random
proxies = random.choice((proxies_pool))
"""
# handler build_opener open
handler = urllib.request.ProxyHandler(proxies=proxies)
opener = urllib.request.build_opener(handler)
response = opener.open(request)
content = response.read().decode('utf-8')
print(content)
# with open ('weibo.html', 'w',encoding='utf-8') as file:
# file.write(content)参考
尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）
