## 数据解析
聚焦爬虫
爬取页面中指定的页面内容
- 编码流程
- 指定url
- 发起请求
- 获取响应数据
- 数据解析
- 持久化存储
数据解析分类
- 正则
- bs4
- xpath（***）
数据解析原理概述
- 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储
- 进行指定标签的定位
- 标签或者标签对应的属性中存储的数据值进行提取（解析）
数据解析——正则表达式
常用正则表达式
限定符
-
？表示前面的字母出现0次或者1次
例如：used? ：可以用来匹配use和used
-
❤ 匹配0个或者多个字符
例如：ab*c ：表示b可以没有也可以出现多次
-
加号 匹配1个及以上
例如：ab+c ：表示b出现1次或者1次以上
-
{} 表示字符出现的次数
例如：ab{6}c ：表示b出现6次
ab{2,6}c ：表示b出现2-6次
ab{2,}c ：表示b出现2次以上
“或”运算
-
| ：或运算
例如：a(cat|dog)
字符类
-
[] 匹配集合中任意一个字符
例如：[a-z] ：表示匹配所有的小写字母
元字符
- \d ：数字字符
- \w ：单词字符（英文字符、数字、下划线）
- \s ：空白符（包含tab和换行符）
- \D ：非数字字符
- \W ：非单词字符
- \S ：非空白符
- . ：代表任意字符但不包括换行符
- ^ ：匹配行首
- $ ：匹配行尾
贪婪与懒惰匹配
爬取pinterest中的指定图片
import requests
url='https://wwd.com/wp-content/uploads/2024/08/Fall-Trends-Report-Newsroom-Header-1.jpg?w=1000&h=563&crop=1&resize=681%2C383'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0'
}
#content返回的是二进制形式的图片数据
#text(字符串) content(二进制) json(对象)
img_data=requests.get(url=url,headers=headers).content
with open('./qiutu.jpg', 'wb') as f:
f.write(img_data)
print('over')
数据解析——bs4解析
-
bs4数据解析的原理：
（1）实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
（2）通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
-
环境安装：
（1）pip install bs4
(2) pip install lxml
-
如何实例化BeaytifulSoup对象
（1）from bs4 import BeautifulSoup
（2）对象的实例化：
-
将本地的html文档中的数据加载到该对象中
fp=open('./sogou.html','r',encoding='utf-8') soup=BeautifulSoup(fp,'lxml')
-
将互联网上获取的页面源码加载到该对象中
page_text=response.text soup=BeautifulSoup(page_text,'lxml)
（3） 提供的用于数据解析的方法和属性
-
soup.tagName 例如：soup.a soup.div 返回的是html中第一次出现的标签内容
-
soup.find():
(a) find(‘tagName’)：等同于soup.div
(b)属性定位：soup.find(‘div’,class_/id/attr=‘song’)
-
soup.find_all(‘tagName’):返回符合要求的所有标签（列表）
-
soup.select():
(a) select(‘某种选择器（id,class,标签……选择器）’)，返回的是一个列表。
(b)层级选择器：
- soup.select(‘.tang>ul>li>a’): >表示的是一个层级
- soup.select(‘.tang>ul a’): 空格表示的是多个层级
-
获取标签之间的文本数据：soup.a.text/string/get_text()
注：text 和get_text()可以获取这个标签下的所有的文本内容 ；string只能获取该标签下面直系的文本。
-
获取标签中的属性值：soup.a[‘href’]
-
bs4实战需求：爬取三国演义小说所有的章节标题和章节内容
import requests
from bs4 import BeautifulSoup
#对首页的页面数据进行爬取
url='https://www.shicimingju.com/book/sanguoyanyi.html'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0'
}
page_text=requests.get(url=url,headers=headers).content.decode('utf-8')
#在首页中解析出章节的标题和详情页的url
#1.实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中
soup=BeautifulSoup(page_text,'lxml')
#解析章节标题和详情页的url
li_list=soup.select('.book-mulu > ul > li')
fp=open('./sanguo.txt','w',encoding='utf-8')
for li in li_list:
title=li.a.string
detail_url='https://www.shicimingju.com'+li.a['href']
#对详情页发起请求，解析出章节内容
detail_page_text=requests.get(url=detail_url,headers=headers).content.decode('utf-8')
#解析出详情页中相关的章节内容
detail_soup=BeautifulSoup(detail_page_text,'lxml')
div_tag=detail_soup.find('div',class_='chapter_content')
#解析到了章节的内容
content=div_tag.text
fp.write(title+content+'\n')
print(title,'爬取成功')
数据解析——xpath解析
最常用且最便捷高效的一种解析方式。通用性最强的解析方式。
-
xpath解析原理
（1）实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中
（2）调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获
-
环境的安装
（1） pip install lxml
-
如何实例化一个etree对象:from lxml import etree
（1）将本地的html文档中的源码数据加载到etree对象中：etree.parse(filePath)
（2）可以将从互联网上获取的页面源码数据加载到该对象中：etree.HTML(‘page_text’)
（3）xpath(‘xpath表达式’)
- / 表示的是从根节点开始定位。表示的是一个层级
- // 表示的是多个层级。可以表示从任意位置开始定位
- 属性定位：//div[@class=‘song’] tag[@attrName=“attrValue”]
- 索引定位：//div[@class=‘song’]/p[3] 索引是从1开始的
- 取文本：
- /text() 获取的是标签中直系的文本内容
- //text() 标签中非直系的文本内容（所有的文本内容）
- 取属性：
- /@attrName ==>img/src
xml import etree
- /@attrName ==>img/src
（1）将本地的html文档中的源码数据加载到etree对象中：etree.parse(filePath)
（2）可以将从互联网上获取的页面源码数据加载到该对象中：etree.HTML(‘page_text’)
（3）xpath(‘xpath表达式’)
- / 表示的是从根节点开始定位。表示的是一个层级
- // 表示的是多个层级。可以表示从任意位置开始定位
- 属性定位：//div[@class=‘song’] tag[@attrName=“attrValue”]
- 索引定位：//div[@class=‘song’]/p[3] 索引是从1开始的
- 取文本：
- /text() 获取的是标签中直系的文本内容
- //text() 标签中非直系的文本内容（所有的文本内容）
- 取属性：
- /@attrName ==>img/src
