文章目录
- 前言
- 一、pandas是什么？
- 二、使用步骤
- 1.引入库
- 2.读入数据
- 总结
前言
Python爬虫是一种通过自动化程序爬取互联网上的信息的技术。爬虫可以自动访问网页并提取所需的数据，比如网站的文本、图片、视频等。Python是一种简单易学的编程语言，广泛用于开发爬虫程序。
一.requests模块
requests模块可以用于发送GET、POST、PUT、DELETE等各种类型的HTTP请求，并且可以处理URL参数、请求头、响应内容等。
常用函数：
请求函数
- 发送GET请求，并返回一个Response对象
requests.get(url)- 发送POST请求，并返回一个Response对象
requests.post(url)响应函数
- 获取响应的文本内容
response.text- 以字节（bytes）形式获取响应体的内容
response.content- 获取Http响应的状态码
response.status_code- 获取Http响应的头部信息
response.headers- 获取响应的JSON格式数据
response.json()二.re模块
re模块是Python中的正则表达式模块，它提供了对字符串进行模式匹配和替换的功能。
- 返回字符串中所有与正则表达式匹配的非重叠模式的列表。
re.findall(pattern, string)三. 爬虫模板
第一步：安装必要的库如：requests库
第二步：在爬取站点页面右键检查，查找User-Agent内容，如下图
第三步：使用
requests库向目标网页发送请求，并获取网页的HTML内容
import requests
header = {"User-Agent":"..."} 填入请求报文中User-Agent内容
url = 'http://example.com'
response = requests.get(url,headers=header)
response.encoding = 'utf-8' 如果有需要，设置正确的编码
html_content = response.text 获取响应文本内容爬虫案例
下面通过爬取站点 https://pic.netbian.com/的图片做一个演示。
- 第一步：发送Http请求访问需要爬取的网站
import re
import requests
import os
header = {"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Mobile Safari/537.36 Edg/128.0.0.0"}
response = requests.get("https://pic.netbian.com/",headers=header)
#防止乱码对response返回数据进行解码
response.encoding = response.apparent_encoding
print(response.text)
- 第二步：利用正则表达式筛选出图片链接的相对路径
#利用正则表达式匹配以字符串 /uploads/allimg/ 开头，后面跟着一个或多个非双引号（"）字符的序列
#此处findall函数会找出所有以/uploads/allimg/开头的图片链接的相对路径
image = re.findall("/uploads/allimg/[^\"]+",response.text)
- 第三步： 创建图片链接的绝对路径
如下图，不难发现第二步获取的图片链接与图片源中的链接还有差别，此时需要我们将获取的相对链接扩展为绝对链接
#image获取的是图片链接的相对路径，绝对路径需要添加https://pic.netbian.com/
#创建空列表link用于存储图片链接的绝对路径
link = []
#利用for循将图片链接的绝对路径添加到空列表link中
for i in image:
link.append("https://pic.netbian.com/"+i)
- 第四步：创建用于保存爬取图片的文件并保存爬取图片
#for循环每次遍历一个图片链接
for i in range(1,len(link)+1):
#遍历的同时创建一个保存图片的文件
with open(f"爬虫/image{i}.jpg.","wb") as img:
#向图片链接发送Http请求
res = requests.get(link[i - 1])
#将返回的字节数据写入文件
img.write(res.content)
img.close()整体代码演示：
import re
import requests
import os
header = {"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Mobile Safari/537.36 Edg/128.0.0.0"}
response = requests.get("https://pic.netbian.com/",headers=header)
response.encoding = response.apparent_encoding
image = re.findall("/uploads/allimg/[^\"]+",response.text)
link = []
for i in image:
link.append("https://pic.netbian.com/"+i)
for i in range(1,len(link)+1):
with open(f"爬虫/image{i}.jpg.","wb") as img:
res = requests.get(link[i - 1])
img.write(res.content)
img.close()
