爬虫学习--5.xpath数据解析

news2024/11/17 5:30:31

xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式。 

基本概念

  • XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航

  • xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能 

HTML树状结构图

HTML 的结构就是树形结构，HTML 是根节点，所有的其他元素节点都是从根节点发出的。其他的元素都是这棵树上的节点Node，每个节点还可能有属性和文本。而路径就是指某个节点到另一个节点的路线。

节点之间的关系

  • 父节点(Parent)： HTML 是 body 和 head 节点的父节点；

  • 子节点(Child)：head 和 body 是 HTML 的子节点；

  • 兄弟节点(Sibling)：拥有相同的父节点，head 和 body 就是兄弟节点。title 和 div 不是兄弟，因为他们不是同一个父节点。

  • 祖先节点(Ancestor)：body 是 form 的祖先节点，爷爷辈及以上👴；

  • 后代节点(Descendant)：form 是 HTML 的后代节点，孙子辈及以下👶。

Xpath中的绝对路径与相对路径

Xpath 中的绝对路径从 HTML 根节点开始算，相对路径从任意节点开始。通过开发者工具，我们可以拷贝到 Xpath 的绝对路径和相对路径代码：

但是由于拷贝出来的代码缺乏灵活性，也不全然准确。大部分情况下，都需要自己定义 Xpath 语句，因此 Xpath 语法还是有必要学习。

绝对路径

Xpath 中最直观的定位策略就是绝对路径。 以百度中的输入框和按钮为例，通过拷贝出来的 full Xpath：

/html/body/div[2]/div/div/div/div/form/span/input 

这就是一个绝对路径我们可以看出，绝对路径是从根节点/html开始往下，一层层的表示 出来直到需要的节点为止。这明显不是理智的选项，因此了解以下即可，不用往心里去。

相对路径

除了绝对路径，Xpath 中更常用的方式是相对路径定位方法，以“//”开头。 相对路径可以从任意节点开始，一般我们会选取一个可以唯一定位到的元素开始写，可以 增加查找的准确性。

相对路径定位语法

基本定位语法
表达式说明举例
/从根节点开始选取/html/div/span
//从任意节点开始选取//input
.选取当前节点
..选取当前节点的父节点//input/.. 会选取 input 的父节点
@选取属性或者根据属性选取//input[@data] 选取具备 data 属性的 input 元素 //@data 选取所有 data 属性
*通配符，表示任意节点或任意属性

元素属性定位

属性定位是通过 @ 符号指定需要使用的属性。

层级属性结合定位

遇到某些元素无法精确定位的时候，可以查找其父级及其祖先节点，找到有确定的祖先节点后通过层级依次向下定位。 以下面的结构为例：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<form action="search" id="form" method="post">
  <span class="bg">
    <span class="soutu">搜索</span>
  </span>
  <span class="soutu">
    <input type="text" name="key" id="su">
  </span>
  <div></div>
</form>
</body>
</html>

1、根据层级向下找，从 form 找到绿色的span：
//form[@id="form"]/span/span
2、查找某元素内部的所有元素，选取 form元素内部的所有span：
//form[@id="form"]//span   (第二个双斜杠，表示选取内部所有的 span，不管层级关系)

使用谓语定位

谓语是 Xpath 中用于描述元素位置。主要有数字下标、最后一个子元素last()、元素下标函数position()。注意点：Xpath 中的下标从 1 开始。

1、使用下标的方式,从form找到input:
//form[@id="form"]/span[2]/input

2、查找最后一个子元素,选取form下的最后一个span:
//form[@id="form"]/span[last()]

3、查找倒数第几个子元素,选取 form下的倒数第二个span:
//form[@id="form"]/span[last()-1]

4、使用 position() 函数,选取 from 下第二个span:
//form[@id="form"]/span[position()=2]

5、使用 position() 函数,选取下标大于 2 的span:
//form[@id="form"]/span[position()>2]

使用逻辑运算符定位

如果元素的某个属性无法精确定位到这个元素，我们还可以用逻辑运算符 and 连接多个属性进行定位，以百度输入框为例。

使用and:
//*[@name='wd' and @class='s_ipt']
查找 name 属性为 wd 并且 class 属性为 s_ipt 的任意元素

使用or:
//*[@name='wd' or @class='s_ipt']
查找 name 属性为 wd 或者 class 属性为 s_ipt 的任意元素，取其中之一满足即可。

使用|同时查找多个路径,取或：
//form[@id="form"]//span | //form[@id="form"]//input

使用文本定位

我们在爬取网站使用Xpath提取数据的时候，最常使用的就是Xpath的text()方法，该方法可以提取当前元素的信息，但是某些元素下包含很多嵌套元素， 我们想一并的提取出来，这时候就用到了string(.)方法，但是该方法使用的时候跟text()不太一样，下面就举实例来讲解一下具体的区别。

import requests
from lxml import etree

url = 'https://www.biedoul.com/article/180839'

headers= {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}

response = requests.get(url,headers=headers)
html = etree.HTML(response.text)
data = html.xpath('//div[@class="cc2"]//text()')
print(data)
data1 = html.xpath('//div[@class="cc2"]')[0].xpath('string(.)')
print(data1)

使用部分匹配函数
函数说明举例
contains选取属性或者文本包含某些字符//div[contains(@id, 'data')] 选取 id 属性包含 data 的 div 元素

| starts-with | 选取属性或者文本以某些字符开头 | //div[starts-with(@id, 'data')] 选取 id 属性以 data 开头的 div 元素

| | ends-with | 选取属性或者文本以某些字符结尾 | //div[ends-with(@id, 'require')] 选取 id 属性以 require 结尾的 div 元素

|

验证Xpath定位语法

方法一：在开发者工具的 Elements 中按Ctrl + F，在搜索框中输入 Xpath

方法二：使用Xpath Helper定位工具验证

不是万能的  
1 chrome插件 xpath helper
2 firefox插件 xpath checker 
安装流程
1 双击解压包 解压出来的文件夹建议单独放在一个盘符中  最好不要放在桌面
2 打开谷歌浏览器------点击右上角三个点选择更多工具----点击扩展程序
3 打开开发者模式 
4 点击加载已解压扩展程序文件 找到你的插件目录将插件加载即可
5 开启插件方式 alt+shift+x  (注意你自己的电脑和其他快捷软件的冲突和Fn)

lxml的基本使用

# 导入模块
from lxml import etree
# html源代码
web_data = """
        <div>
            <ul>
                 <li class="item-0"><a href="link1.html">first item</a></li>
                 <li class="item-1"><a href="link2.html">second item</a></li>
                 <li class="item-inactive"><a href="link3.html">third item</a></li>
                 <li class="item-1"><a href="link4.html">fourth item</a></li>
                 <li class="item-0"><a href="link5.html">fifth item</a>
             </ul>
         </div>
        """
# 将html转成xml文件
element = etree.HTML(web_data)
# print(element)
# 获取li标签下面的a标签的href
links = element.xpath('//ul/li/a/@href')
print(links)
# 获取li标签下面的a标签的文本数据
result = element.xpath('//ul/li/a/text()')
print(result)

xpath实战

import requests
from lxml import etree
'''
目标:熟悉xpath解析数的方式
需求:爬取电影的名称 评分 引言 详情页的url  翻页爬取1-10页 保存到列表中

如何实现?
设计技术与需要的库 requests lxml(etree)

实现步骤
1 页面分析(一般讲数据解析模块 都是静态页面)
   1.1 通过观察看网页源代码中是否有我们想要的数据 如果有就分析这个url
        如果没有再通过ajax寻找接口   通过分析数据在网页源代码中

   1.2 确定目标url
        https://movie.douban.com/top250?start=0&filter= 第一页
        通过页面分析发现所有我们想要的数据都在一个div[class="info"]里面

具体实现步骤
1 获取整个网页的源码 html
2 将获取的数据源码转成一个element对象(xml)
3 通过element对象实现xpath语法 对数据进行爬取(标题 评分 引言 详情页的url)
4 保存数据  先保存到字典中-->列表中

'''

# 定义一个函数用来获取网页源代码
def getsource(pagelink):
    # 请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    # 获取源码
    response = requests.get(pagelink, headers=headers)
    response.encoding = 'utf-8'
    html = response.text
    return html

# 定义一个函数用于解析我们的网页源代码并获取我们想要的数据
def geteveryitem(html):
    element = etree.HTML(html)
    # 拿到[class="info"]的所有div
    movieitemlist = element.xpath('//li//div[@class="info"]')
    # print(movieitemlist,len(movieitemlist))
    # 定义一个列表
    itemlist = []
    for item in movieitemlist:
        # 定义一个字典
        itemdict = {}
        # 标题
        title = item.xpath('./div[@class="hd"]/a/span[@class="title"]/text()')
        title = "".join(title).replace("\xa0", "")
        # print(title)
        # 副标题
        othertitle = item.xpath('./div[@class="hd"]/a/span[@class="other"]/text()')[0].replace("\xa0", "")
        # print(othertitle)
        # 评分
        grade = item.xpath('./div[@class="bd"]/div[@class="star"]/span[2]/text()')[0]
        # print(grade)
        # 详情页的url
        link = item.xpath('div[@class="hd"]/a/@href')[0]
        # print(link)
        # 引言
        quote = item.xpath('div[@class="bd"]/p[@class="quote"]/span/text()')
        # print(quote)
        # list index out of range
        # 处理方式1 非空处理
        if quote:
            quote = quote[0]
        else:
            quote = ""
        # 将数据存放到字典中
        itemdict['title'] = ''.join(title + othertitle)
        itemdict['grade'] = grade
        itemdict['link'] = link
        itemdict['quote'] = quote
        # print(itemdict)
        itemlist.append(itemdict)
    # print(itemlist)
    return itemlist


if __name__ == '__main__':
    url = 'https://movie.douban.com/top250?start=0&filter='
    html = getsource(url)
    itemlist = geteveryitem(html)

    print(itemlist)

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1658273.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

计算机网络-----总结UDP的报文结构

计算机网络-----总结UDP的报文结构

UDP报文结构 UDP报文结构: 有报头和载荷组成 源端口: 发送端的端口号 目的端口: 接收端的端口号 数据报长度 : UDP报文的数据长度 包括报头和载荷 校验和: 检测UDP报文在传输过程中是否损坏, 用于数据完整性校验 说明: UDP报头一共八个字节 因此, 每个部分(源端口, 目的端…
阅读更多...
sql Server2015安装——参考的教程

sql Server2015安装——参考的教程

1.sql Server安装包来自&#xff1a;https://mp.weixin.qq.com/s/Pe_YbWw_MgwjzzZhQWIYfA 2.需要的替换文件和补丁&#xff1a;https://blog.csdn.net/Auspicious_air/article/details/108315154 https://blog.csdn.net/m0_60477996/article/details/126748477 3.安装manger…
阅读更多...
php开发-个人博客项目文件操作类编辑器上传下载删除读写

php开发-个人博客项目文件操作类编辑器上传下载删除读写

特地整了个软件 这就舒服了 文件操作类的开发 文件的任意上传&#xff0c;下载&#xff0c;读取&#xff0c;删除操作等 1.文件上传类-任意文件上传 分为三类 1&#xff0c;代码自主编写的 先写一个html的上传表单&#xff0c;这个网上搜索就有 标题看着不够明确啊&#…
阅读更多...
php168 6.0.1变量覆盖

php168 6.0.1变量覆盖

php168 6.0.1变量覆盖 -》 远程代码执行漏洞 前言:敢说全网最详细是因为我做一半我做不下去了&#xff0c;我心态做崩溃了&#xff0c;然后上网找漏洞成因&#xff0c;我找不到&#xff0c;然后又搞了好久&#xff0c;真的心态崩了&#xff0c;到最后灰盒测试的时候我可能PHP版…
阅读更多...
【论文阅读】Spectral–Spatial Attention Network for Hyperspectral Image Classification

【论文阅读】Spectral–Spatial Attention Network for Hyperspectral Image Classification

Spectral–Spatial Attention Network for Hyperspectral Image Classification 论文地址摘要&#xff1a;1. 简介1.1.动机1.2.贡献 2. 相关作品2.1.双向递归网络RNN2.2.CNN2.3. Attention Mechanism 3. 方法3.1 Attention with RNN for Spectral Classification3.2&#xff0e…
阅读更多...
【转载】数字化工厂规划蓝图报告

【转载】数字化工厂规划蓝图报告

制造业进入到全新的数字化时代&#xff0c;需要构建新型智能工厂、数字化工厂与智能车间以助力传统产业智能制造升级&#xff0c;将新一代信息技术贯穿到设计、工艺、生产、物流等各个环节。目的是完善创新体系、提升产品质量、推行绿色制造、增强核心竞争力、发展现代化客户体…
阅读更多...
4月功能更新 | 知识库新增微信分享图配置，丰富模板一键应用

4月功能更新 | 知识库新增微信分享图配置，丰富模板一键应用

4月HelpLook带来了更多知识库模板资源&#xff0c;直观的文章版本对比和微信分享图配置等功能&#xff0c;更多功能更新等你往下挖...... 目录 知识库管理功能升级 1. 知识库的全局替换支持替换标题2. 知识库支持配置微信分享图3. 知识库链接支持生成二维码和下载4. 后台站点栏…
阅读更多...
计算机中GPU快不行的几个标志，看下有没有你遇到的

计算机中GPU快不行的几个标志，看下有没有你遇到的

GPU是处理图形密集型任务的主要组件。尽管它非常耐用，但它最终会磨损并开始失效。在到达生命的终结之前，它通常会显示出即将发生故障的迹象，需要及时修复或更换。本指南详细介绍了这些标志。 在我们开始之前 在深入研究GPU故障的迹象之前，重要的是要承认，下面提到的一些…
阅读更多...
来！给我讲讲分库分表！

来！给我讲讲分库分表！

你好面试官&#xff0c;在我的理解中分库分表分为四个类型&#xff0c;垂直分表、垂直分库、水平分表、水平分库。接下来我会对这几个名词谈谈我的理解&#xff0c;具体如下&#xff1a; 垂直分表 1&#xff09;简单来说就是将原本的一张表切割成多张表。举个例子&#xff1a…
阅读更多...
身份证OCR识别接口如何对接

身份证OCR识别接口如何对接

身份证OCR识别接口又叫身份证识别API接口、身份证正反面文字识别接口&#xff0c;指的是传入身份证照片&#xff0c;精准识别静态身份证图像上的文字信息&#xff0c;如果传的是正面照片只返回正面信息&#xff0c;如果传的是反面只返回反面信息。那么身份证OCR识别接口如何对接…
阅读更多...
SD-WAN助力企业实现多分支互联

SD-WAN助力企业实现多分支互联

随着企业规模的扩大和业务的多样化&#xff0c;多分支互联已成为许多行业不可或缺的网络架构。SD-WAN&#xff08;软件定义广域网&#xff09;作为一种创新的网络解决方案&#xff0c;以其独特的优势&#xff0c;正在助力企业实现更高效、智能和安全的多分支互联。 一、SD-WAN的…
阅读更多...
应用层协议之 DNS 协议

应用层协议之 DNS 协议

DNS 就是一个域名解析系统。域名就是网址&#xff0c;类似于 www.baidu.com。网络上的服务器想要访问它&#xff0c;就得需要它对应的 IP 地址&#xff0c;同时&#xff0c;每个域名对对应着一个 / N个 IP 地址&#xff08;即对应多台服务器&#xff09;。 因此&#xff0c;为了…
阅读更多...
解决uniapp软键盘弹起导致页面fixed定位元素被顶上去

解决uniapp软键盘弹起导致页面fixed定位元素被顶上去

在移动端开发中通常导航栏需要固定在页面的最顶端&#xff0c;但当页面中有输入框且dom元素较多时&#xff0c;点击输入框弹出软键盘会促使导航栏往上移 正常情况如图一所示&#xff0c;软键盘弹起如图二所示 图一 图二 解决办法 1&#xff09;给输入框添加 :adjust-position…
阅读更多...
本地搭建hydra服务用go以验证oidc流程

本地搭建hydra服务用go以验证oidc流程

目录 1、docker搭建hydra&#xff0c;环境配置&#xff1a; 2、搭建完成后服务调用&#xff1a; 2.1保证服务正常启动&#xff1a; 2.2 通过postman调用&#xff0c;获取client_id&#xff1a; 2.3 通过client_id&#xff0c;实现oauth2/auth调用 3. 通过go语言实现oidc验…
阅读更多...
一套C语言开发的 PACS影像系统源码 PACS系统的基本概念、系统业务流程

一套C语言开发的 PACS影像系统源码 PACS系统的基本概念、系统业务流程

PACS系统基本概念 PACS&#xff0c;全称 Picture Archiving and Communication Systems&#xff0c;中文意为影像归档和通信系统。它是应用于医院影像科室的一种系统&#xff0c;主要任务是把日常产生的各种医学影像&#xff08;包括核磁&#xff0c;CT&#xff0c;超声&#…
阅读更多...
怎么将文字做成二维码？文本活码在线的生成技巧

怎么将文字做成二维码？文本活码在线的生成技巧

文本类型的活码该如何来制作呢&#xff1f;通过二维码来展示文字信息是现在很常用的一种方式&#xff0c;包括物品、建筑、人员等方面的信息&#xff0c;都可以用生成二维码后让其他人通过扫码了解自己需要的信息。那么文本活码的制作需要几步操作呢&#xff1f;下面就教大家使…
阅读更多...
CPU的星际穿越——“三维”解析“二维”之谜

CPU的星际穿越——“三维”解析“二维”之谜

文章目录 写在前面为什么三维的CPU能执行二维的指令二维指令是三维机器的抽象而已计算机所有东西都是三维的降维抽象没有软件没有指令二维到三维的总结操作系统的重塑 写在前面 以下是自己关于CPU为何能执行指令的迷惑的抽丝破茧的解答—— 困扰我的一个的问题之CPU的星际穿越…
阅读更多...
RV1106点亮1.44寸SPI接口tftlcd

RV1106点亮1.44寸SPI接口tftlcd

最近入手了一块微雪的幸狐RV1106微型Linux开发板&#xff0c;具体型号为Luckfox Pico Max&#xff0c;这是一款集成ARM Cortex-A7/RISC-V MCU/NPU/ISP等处理器。 根据微雪官网的wiki入门指导测试了一下&#xff0c;功能一切正常&#xff0c;感觉很nice&#xff0c;这款板子真的…
阅读更多...
kubernate 基本概念

kubernate 基本概念

一 K8S 是什么&#xff1f; K8S 全称&#xff1a;Kubernetes 作用&#xff1a; 用于自动部署、扩展和管理“容器化&#xff08;containerized&#xff09;应用程序”的开源系统。 可以理解成 K8S 是负责自动化运维管理多个容器化程序&#xff08;比如 Docker&#xff09;的…
阅读更多...
element-ui skeleton 组件源码分享

element-ui skeleton 组件源码分享

今日简单分享 skeleton 骨架屏组件源码&#xff0c;主要从以下四个方面来讲解&#xff1a; 1、skeleton 组件的页面结构 2、skeleton 组件的属性 3、skeleton item 组件的属性 4、skeleton 组件的 slot 一、skeleton 组件的页面结构 二、skeleton 组件的属性 2.1 animate…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023