【Python爬虫实战】高效解析和操作XML/HTML的实用指南

news2024/11/28 2:52:22

  🌈个人主页：https://blog.csdn.net/2401_86688088?type=blog
🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html

目录

前言

一、lxml的安装

（一）使用 pip 安装

（二）如果你使用的是 conda

（三）安装时可能遇到的问题

（四）验证安装

二、lxml模块的入门使用

（一）基本用法

（二）使用 XPath 提取数据

（三）创建和修改 XML/HTML 文档

（四）写入文件

（五）lxml模块的入门使用总结

三、lxml的深入练习

（一）高级 XPath 查询

（二）使用 CSS 选择器

（三）处理大型 XML 文档

（四）使用 XSLT 转换

（五）修改和重构 XML 文档

（六）处理命名空间

（七）lxml的深入练习总结

四、总结

前言

在 Python 生态系统中，lxml 是一个功能强大且广泛使用的库，用于高效地解析和操作 XML 和 HTML 文档。无论你是处理简单的 HTML 页面还是复杂的 XML 数据结构，lxml 都提供了强大的工具集，包括 XPath、XSLT 转换以及 CSS 选择器支持等。这篇文章从 lxml 的基础安装开始，逐步深入讲解如何解析文档、提取数据、修改文档结构，并涵盖了处理大型文档和使用命名空间等进阶操作。无论你是刚开始接触 lxml 还是希望深入掌握其高级功能，这篇文章都将为你提供完整的参考。

一、lxml的安装

安装 lxml 模块非常简单，你可以使用 pip 工具来完成。以下是具体的安装步骤：

（一）使用 pip 安装

如果你使用的是 Python 的包管理器 pip，可以直接在终端或命令提示符中运行以下命令：

pip install lxml

（二）如果你使用的是 conda

如果你使用的是 Anaconda 或 Miniconda，可以使用 conda 来安装：

conda install lxml

（三）安装时可能遇到的问题

  • 编译问题：lxml 依赖于 C 库 libxml2 和 libxslt，如果你在安装过程中遇到错误，可能是系统缺少这些依赖。大多数情况下，pip 会自动解决这个问题，但如果无法成功安装，你可以手动安装这些库。

  • Windows 用户：lxml 的 Windows 版本一般会自动包含必要的二进制依赖，因此在 Windows 上安装不需要特别配置。如果遇到问题，可以使用预编译的二进制文件（通常通过 pip 安装时自动处理）。

（四）验证安装

安装完成后，你可以通过在 Python 解释器中导入 lxml 来验证是否安装成功：

import lxml

如果没有报错，说明安装成功。

二、lxml模块的入门使用

lxml 模块是一个非常强大的 Python 库，主要用于解析和操作 XML 和 HTML 文档。它具有高效、易用的特点，并且支持 XPath 和 XSLT 等功能。以下是 lxml 的入门使用指南，帮助你快速上手。

（一）基本用法

1.解析 HTML 文档

lxml 可以从字符串或文件中解析 HTML 文档。

from lxml import etree

html_string = """
<html>
  <body>
    <h1>Welcome to lxml!</h1>
    <div class="content">This is a test.</div>
  </body>
</html>
"""

# 使用 HTML 解析器
parser = etree.HTMLParser()
tree = etree.fromstring(html_string, parser)

# 打印解析后的 HTML 文档
print(etree.tostring(tree, pretty_print=True).decode("utf-8"))

这个例子展示了如何从一个 HTML 字符串中解析出一个文档树。

2.解析 XML 文档

lxml 同样适用于 XML 文档的解析。

xml_string = """
<root>
  <element key="value">This is an element</element>
</root>
"""

# 解析 XML 字符串
tree = etree.XML(xml_string)

# 打印解析后的 XML 文档
print(etree.tostring(tree, pretty_print=True).decode("utf-8"))

3.从文件解析

除了从字符串中解析，还可以直接从文件中读取并解析文档：

# 解析 HTML 文件
tree = etree.parse("example.html", parser)

# 解析 XML 文件
tree = etree.parse("example.xml")

（二）使用 XPath 提取数据

lxml 支持 XPath，非常适合用来从文档中提取特定的信息。

# 提取所有 div 元素的内容
div_content = tree.xpath("//div[@class='content']/text()")
print(div_content)  # 输出: ['This is a test.']

# 提取 h1 元素的内容
h1_content = tree.xpath("//h1/text()")
print(h1_content)  # 输出: ['Welcome to lxml!']

（三）创建和修改 XML/HTML 文档

1.创建一个新的文档

可以使用 lxml 来创建新的 XML/HTML 文档，并向其中添加元素和属性：

# 创建根元素
root = etree.Element("root")

# 添加子元素
child = etree.SubElement(root, "child")
child.text = "This is a child element."

# 设置属性
child.set("class", "highlight")

# 打印生成的 XML 文档
print(etree.tostring(root, pretty_print=True).decode("utf-8"))

2.修改现有文档

可以在解析文档后对其进行修改，比如添加新元素或更改文本内容：

# 添加一个新的 div 元素
new_div = etree.Element("div", id="new")
new_div.text = "This is a new div."
tree.getroot().append(new_div)

# 打印修改后的文档
print(etree.tostring(tree, pretty_print=True).decode("utf-8"))

（四）写入文件

也可以将解析或修改后的内容写入文件：

# 将树写入文件
tree.write("output.html", pretty_print=True, method="html", encoding="utf-8")

（五）lxml模块的入门使用总结

lxml 是一个非常高效的 XML/HTML 解析和处理工具。通过上述基本操作，你可以快速上手，使用它来解析、提取、创建和修改文档。

三、lxml的深入练习

要深入掌握 lxml 模块，需要了解其高级功能，如更复杂的 XPath 查询、使用 CSS 选择器、处理和转换大型 XML/HTML 文档、以及执行 XSLT 转换等。以下是一些深入练习的示例。

（一）高级 XPath 查询

在实际使用中，我们可能需要编写更复杂的 XPath 查询来提取特定数据。下面是一些练习示例：

from lxml import etree

html_string = """
<html>
  <body>
    <div class="content">
        <p class="intro">Welcome to lxml!</p>
        <p class="text">lxml is powerful.</p>
        <a href="http://example.com">Example</a>
    </div>
    <div class="footer">
        <p>Contact us at: info@example.com</p>
    </div>
  </body>
</html>
"""

parser = etree.HTMLParser()
tree = etree.fromstring(html_string, parser)

# 1. 提取所有 <p> 元素的内容
paragraphs = tree.xpath("//p/text()")
print(paragraphs)

# 2. 提取具有 class 属性为 'intro' 的 <p> 元素内容
intro_paragraph = tree.xpath("//p[@class='intro']/text()")
print(intro_paragraph)

# 3. 提取所有链接的 href 属性
links = tree.xpath("//a/@href")
print(links)

（二）使用 CSS 选择器

lxml 还支持 CSS 选择器，可以使用 cssselect 模块实现类似于 jQuery 的查询方式。首先，确保你已经安装了 cssselect：

pip install cssselect

然后，你可以这样使用：

from lxml import etree

html_string = """
<html>
  <body>
    <div class="content">
        <p class="intro">Welcome to lxml!</p>
        <p class="text">lxml is powerful.</p>
        <a href="http://example.com">Example</a>
    </div>
  </body>
</html>
"""

parser = etree.HTMLParser()
tree = etree.fromstring(html_string, parser)

# 选择所有 <p> 元素
paragraphs = tree.cssselect("p")
for p in paragraphs:
    print(p.text)

# 选择带有 class="intro" 的 <p> 元素
intro_paragraph = tree.cssselect("p.intro")
print(intro_paragraph[0].text)

# 选择所有链接
links = tree.cssselect("a")
for link in links:
    print(link.get("href"))

（三）处理大型 XML 文档

对于大型 XML 文档，可以使用 iterparse 来逐行解析，这样可以节省内存并提高效率。

large_xml_string = """
<root>
  <item id="1"><name>Item 1</name></item>
  <item id="2"><name>Item 2</name></item>
  <item id="3"><name>Item 3</name></item>
  <!-- 更多内容 -->
</root>
"""

context = etree.iterparse(etree.BytesIO(large_xml_string.encode('utf-8')), events=('end',), tag='item')

for event, elem in context:
    # 打印每个 item 的内容
    name = elem.find("name").text
    item_id = elem.get("id")
    print(f"ID: {item_id}, Name: {name}")

    # 清除已处理的元素，以释放内存
    elem.clear()

（四）使用 XSLT 转换

lxml 支持使用 XSLT（可扩展样式表语言转换）来转换 XML 文档。这在处理 XML 数据时非常有用。

xslt_string = """
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
  <xsl:template match="/">
    <html>
      <body>
        <h2>Transformed XML Data</h2>
        <ul>
          <xsl:for-each select="root/item">
            <li>
              <xsl:value-of select="name"/>
            </li>
          </xsl:for-each>
        </ul>
      </body>
    </html>
  </xsl:template>
</xsl:stylesheet>
"""

xml_string = """
<root>
  <item><name>Item 1</name></item>
  <item><name>Item 2</name></item>
  <item><name>Item 3</name></item>
</root>
"""

# 解析 XML 和 XSLT
xml_doc = etree.XML(xml_string)
xslt_doc = etree.XML(xslt_string)

# 创建 XSLT 转换器
transform = etree.XSLT(xslt_doc)
result_tree = transform(xml_doc)

# 打印转换后的结果
print(str(result_tree))

（五）修改和重构 XML 文档

你可以使用 lxml 来遍历和修改现有文档，比如插入新节点、删除节点或修改属性。

# 修改 XML 文档
xml_string = """
<library>
  <book id="1" available="yes"><title>Python Programming</title></book>
  <book id="2" available="no"><title>Advanced Mathematics</title></book>
</library>
"""

tree = etree.XML(xml_string)

# 为所有书籍添加一个 <author> 元素
for book in tree.xpath("//book"):
    author = etree.Element("author")
    author.text = "Unknown"
    book.append(author)

# 修改 id="2" 的书籍的 title
book_to_modify = tree.xpath("//book[@id='2']/title")[0]
book_to_modify.text = "Advanced Calculus"

# 删除所有 available="no" 的书籍
for book in tree.xpath("//book[@available='no']"):
    book.getparent().remove(book)

# 打印最终的 XML
print(etree.tostring(tree, pretty_print=True).decode("utf-8"))

（六）处理命名空间

lxml 可以处理 XML 文档中的命名空间，这在解析复杂 XML 文档时非常有用。

xml_string = """
<root xmlns:h="http://www.w3.org/TR/html4/">
  <h:table>
    <h:tr>
      <h:td>Cell 1</h:td>
      <h:td>Cell 2</h:td>
    </h:tr>
  </h:table>
</root>
"""

# 定义命名空间
ns = {'h': 'http://www.w3.org/TR/html4/'}

tree = etree.XML(xml_string)

# 提取所有 h:td 元素
cells = tree.xpath("//h:td/text()", namespaces=ns)
print(cells)  # 输出: ['Cell 1', 'Cell 2']

（七）lxml的深入练习总结

lxml 是一个功能非常强大的库，适合处理各种 XML 和 HTML 文档。通过掌握 XPath、CSS 选择器、XSLT 转换、大文档解析等功能，可以灵活、高效地处理不同的数据结构。希望这些深入练习能够帮助你进一步理解和应用 lxml！如果有其他问题或需要更深入的示例，可以随时问我！

四、总结

lxml 是一个高效、灵活且功能强大的 Python 库，适用于各种 XML 和 HTML 文档的处理需求。通过掌握 lxml 的基础用法，你可以快速解析文档、提取数据、创建和修改文档结构。深入学习后，你还能使用 XPath、XSLT 以及 CSS 选择器来处理复杂的数据查询和转换，甚至优化大文件的解析效率。希望本文的示例和练习能帮助你更好地理解和应用 lxml，成为你在数据处理和文档解析过程中的得力助手。如果你在使用过程中遇到任何问题或需要更深入的示例，欢迎随时提问！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2222571.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

（一）ubuntu下通过c++编译cpu版本paddleocr-2.8.1

（一）ubuntu下通过c++编译cpu版本paddleocr-2.8.1

编译环境 操作系统&#xff1a;ubuntu 20.04/22.04 OCR版本&#xff1a;paddleocr 2.8.1 Opencv版本&#xff1a;opencv3.4.16/4.10.0 o参照官方文档&#xff1a; PaddleOCR/deploy/cpp_infer/readme_ch.md at release/2.6 PaddlePaddle/PaddleOCR GitHubhttps://github…
阅读更多...
Vue3脚手架和指令

Vue3脚手架和指令

什么是Vue&#xff1f; 简单来说&#xff0c;vue就是可以让有写代码很爽的体验。 概念&#xff1a;Vue是一套构建用户界面的渐进式JavaScript框架。 什么是构建用户界面&#xff1f; 基于数据渲染出用户可以看到的界面 什么是渐进式&#xff1f; 渐进式就是循序渐进的学习…
阅读更多...
LabVIEW提高开发效率技巧----VI继承与重载

LabVIEW提高开发效率技巧----VI继承与重载

在LabVIEW开发中&#xff0c;继承和重载是面向对象编程&#xff08;OOP&#xff09;中的重要概念。通过合理运用继承与重载&#xff0c;不仅能提高代码的复用性和灵活性&#xff0c;还能减少开发时间和维护成本。下面从多个角度介绍如何在LabVIEW中使用继承和重载&#xff0c;并…
阅读更多...
HttpURLConnection构造请求体传文件

HttpURLConnection构造请求体传文件

HttpURLConnection构造请求体传文件 在Java中&#xff0c;使用HttpURLConnection构造请求体传输文件&#xff0c;你需要做以下几步&#xff1a; 1、创建URL对象指向你想要请求的资源。 2、通过URL打开连接&#xff0c;转换为HttpURLConnection实例。 3、设置请求方法为POST。 …
阅读更多...
Java 多线程（五）—— 阻塞队列、wait、notify

Java 多线程（五）—— 阻塞队列、wait、notify

wait wait 和 notify 都是 Object 类提供的方法&#xff0c;也就是说 Java 任意对象都可以使用 这两个方法。 首先 wait 会抛出 InterruptedException 这个异常&#xff0c;说明这个方法可以被 interrupt 给唤醒。 然后我们是不能直接使用 wait 方法的&#xff0c;否则还会抛…
阅读更多...
Win10系统安装docker操作步骤

Win10系统安装docker操作步骤

Docker下载 docker下载地址&#xff1a;Docker: Accelerated Container Application Development 打开网页后&#xff0c;点击图下所示&#xff0c;下载windows版本的docker 启用Hyper-V 和容器特性 右键左下角windows图标&#xff0c;选择应用和功能 然后在下面的界面中&am…
阅读更多...
电脑技巧：Rufus——最佳USB启动盘制作工具指南

电脑技巧：Rufus——最佳USB启动盘制作工具指南

目录 一、功能强大&#xff0c;兼容性广泛 二、界面友好&#xff0c;操作简便 三、快速高效&#xff0c;高度可定制 四、安全可靠&#xff0c;社区活跃 在日常的电脑使用中&#xff0c;无论是为了安装操作系统、修复系统故障还是进行其他需要可引导媒体的任务&#xff0c;拥…
阅读更多...
初始JavaEE篇——多线程（2）：join的用法、线程安全问题

初始JavaEE篇——多线程（2）：join的用法、线程安全问题

找往期文章包括但不限于本期文章中不懂的知识点&#xff1a; 个人主页&#xff1a;我要学编程(ಥ_ಥ)-CSDN博客 所属专栏&#xff1a;JavaEE 目录 模拟实现线程中断 join的用法 线程的状态 NEW&#xff1a; RUNNABLE&#xff1a; TIMED_WAITING&#xff1a; TERMINATED…
阅读更多...
ElasticSearch-7.17.10集群升级至ElasticSearch-7.17.24

ElasticSearch-7.17.10集群升级至ElasticSearch-7.17.24

文章目录 集群概览 主机名系统版本es01CentOS_7.6-aaarch64ElasticSearch-7.17.10es02CentOS_7.6-aaarch64ElasticSearch-7.17.10es03CentOS_7.6-aaarch64ElasticSearch-7.17.10 需求 1. 将三台ES节点从ElasticSearch-7.17.10升级至ElasticSearch-7.17.24&#xff1b; 2. 保证…
阅读更多...
1212，查询球队积分

1212，查询球队积分

查询球队积分 表: Teams ------------------------- | Column Name | Type | ------------------------- | team_id | int | | team_name | varchar | ------------------------- team_id 是该表具有唯一值的列。 表中的每一行都代表一支独立足球队。表…
阅读更多...
HarmonyOS 模块化设计

HarmonyOS 模块化设计

1.HarmonyOS 模块化设计 模块化设计文档   应用程序包开发与使用文档 1.1. 概述 组件化一直是移动端比较流行的开发方式&#xff0c;有着编译运行快&#xff0c;业务逻辑分明&#xff0c;任务划分清晰等优点&#xff0c;HarmonyOs组件化的使用&#xff0c;有利于模块之间的解…
阅读更多...
【WRF数据准备】地形-SRTM的3s高分辨率地形数据集

【WRF数据准备】地形-SRTM的3s高分辨率地形数据集

【WRF数据准备】地形-SRTM的3s高分辨率地形数据集 数据概述数据下载 数据处理合并多个SRTM 数据-GDAL库转为geogrid二进制格式WPS 中的设置 数据对比海洋区域缺省值参考 WRF中地形数据&#xff08;海拔高度&#xff09;分辨率最高为30s&#xff0c;差不多就是900 m&#xff0c;…
阅读更多...
CST光子晶体微谐振腔分析和Q值提取

CST光子晶体微谐振腔分析和Q值提取

本期介绍基于文献[1]的一种二维光子晶体波导结构&#xff0c;利用路径上加微谐振腔来实现一些特殊的滤波功能。一般是要看谐振频率的变化和Q值变化&#xff0c;因为工艺误差或任何造成结构不规则的因素对这样细小的结构谐振来说影响非常大。下图为文献中提到的硅薄膜结构&#…
阅读更多...
使用Jenkins持续集成的一些经验总结！

使用Jenkins持续集成的一些经验总结！

01、Performance插件兼容性问题 自由风格项目中&#xff0c;有使用 Performance 插件收集构建产物&#xff0c;但是截至到目前最新版本&#xff08;Jenkins v2.298&#xff0c;Performance&#xff1a;v3.19&#xff09;&#xff0c;此插件和Jenkins都存在有兼容性问题&#x…
阅读更多...
业余时间试一试利用AI 人工智能赚钱

业余时间试一试利用AI 人工智能赚钱

内容创作与写作&#xff1a; 撰写文章&#xff1a;许多网站、博客和企业都需要大量的优质内容。利用 AI 工具如 ChatGPT 等&#xff0c;获取文章的思路、框架甚至初稿&#xff0c;然后根据自己的知识和经验进行修改、润色和完善。你可以在一些自由撰稿人平台、内容创作平台上承…
阅读更多...
autumn是 “秋天”，year是 “年”，那autumn years是什么意思？柯桥商务剑桥英语学习外贸口语

autumn是 “秋天”，year是 “年”，那autumn years是什么意思？柯桥商务剑桥英语学习外贸口语

autumn是“秋天”&#xff0c;year是“年”&#xff0c; 那你知道 autumn years 是什么意思&#xff1f; autumn years是什么意思&#xff1f; autumn years 直译为“秋天的15857575376*年”&#xff0c;但这样的理解并不准确&#xff0c;《剑桥辞典》中对这个词组的英文解释…
阅读更多...
如何评估检索增强型生成（RAG）应用

如何评估检索增强型生成（RAG）应用

RAG&#xff0c;也就是检索增强型生成&#xff0c;是现在大型语言模型&#xff08;LLMs&#xff09;时代里的一个超火的AI框架&#xff0c;比如你知道的ChatGPT。它通过把外面的知识整合进来&#xff0c;让这些模型变得更聪明&#xff0c;能给出更准确、更及时的回答。详见前篇…
阅读更多...
[WiFi] Wi-Fi HaLow: IEEE 802.11ah 无线网络协议介绍

[WiFi] Wi-Fi HaLow: IEEE 802.11ah 无线网络协议介绍

参考链接 802.11ah&#xff08;HaLow&#xff09;协议解析1&#xff1a;协议简介 - 知乎 802.11ah&#xff08;HaLow&#xff09;协议解析3&#xff1a;物理层改进 - 知乎 Wi-Fi HaLow: IEEE 802.11ah Wireless Networking Protocol - IoTEDU Wi-Fi CERTIFIED HaLow | Wi-F…
阅读更多...
实现iOS Framework生成全流程详解

实现iOS Framework生成全流程详解

引言 在iOS开发中&#xff0c;Framework是实现代码复用和模块化开发的有效手段。它不仅可以将复杂的功能封装为独立的组件&#xff0c;还能提升代码的可维护性和可扩展性。Framework的广泛应用使得我们可以轻松地集成第三方库&#xff0c;或将自己的功能打包分发给团队成员使用…
阅读更多...
CF351E Jeff and Permutation 题解

CF351E Jeff and Permutation 题解

#1024程序员节&#xff5c;征文# 人生中的第一道紫题。。。 ​​​​​​题目传送门 解题思路 首先我们可以得到读入时 的正负不影响答案&#xff0c;因为我们可以进行一次操作将它们变成它们的相反数&#xff0c;从而使其变成原数&#xff0c;因此&#xff0c;我们可以将…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023