1.xpath
注意:提前安装xpath插件
(1)打开chrome浏览器
(2)点击右上角小圆点
(3)更多工具
(4)扩展程序
(5)拖拽xpath插件到扩展程序中
(6)如果crx文件失效,需要将后缀修改zip
(7)再次拖拽
(8)关闭浏览器重新打开
(9)ctrl + shift + x
(10)出现小黑框
出现这个表示已经安装好了
xpath基本语法:
1.路径查询 //:查找所有子孙节点,不考虑层级关系 / :找直接子节点
2.谓词查询 //div[@id] //div[@id=“maincontent”]
3.属性查询 //@class
4.模糊查询 //div[contains(@id, “he”)] //div[starts‐with(@id, “he”)]
5.内容查询 //div/h1/text() 6.逻辑运算 //div[@id=“head” and @class=“s_down”] //title | //price
1.安装lxml库
pip install lxml ‐i https://pypi.douban.com/simple
2.导入lxml.etree
from lxml import etree
3.etree.parse()
解析本地文件 html_tree = etree.parse(‘XX.html’)
4.etree.HTML() 服务器响应文件
html_tree = etree.HTML(response.read().decode(‘utf‐8’)
5.html_tree.xpath(xpath路径)
2.BeautifulSoup
1.BeautifulSoup简称: bs4
2.什么是BeatifulSoup? BeautifulSoup,和lxml一样,是一个html的解析器,主要功能也是解析和提取数据
3.优缺点? 缺点:效率没有lxml的效率高 优点:接口设计人性化,使用方便
注意:默认打开文件的编码格式gbk所以需要指定打开编码格式