文章目录
- 简介
- find()和find_all()
- 字符串
- 通过id查找
- 通过属性查找
- 通过.方式查找
- 通过CSS选择器查找
- 通过xpath查找
- 正则表达
- 自定义方法
- 总结
简介
上一篇详细的介绍了如何使用Beautiful Soup的使用方法，但是最常用的还是如何解析html元素，这里再汇总介绍下查询html元素的一些方式，比如通过id查找、通过xpath查找、通过css查找等方式的最佳实践。
find()和find_all()
这两个方法参数差不多，区别在于find返回一个，find_all可能返回多个，find底层调用的也是find_all只是设置里limit=1。所以下面讲到的一些用法不区分是find还是find_all
字符串
soup.find_all('b')
查找所有标签是b的tag
通过id查找
keyword: key=value的形式，value可以是过滤器：字符串 , 正则表达式 , 列表, True .
soup.find(id='xxxx')
soup.find(id=re.compile('my'))
id是标签的属性，一般用于唯一元素定位
通过属性查找
上面id其实也是tag的一个属性，所以展开就是taq的属性可以类似查找.比如：
soup.find(class='xxxx')
通过.方式查找
这种比较直观，有点像链式调用，其实能直接看出html的层级结构
soup.head.title
通过CSS选择器查找
css路径可以通过下图这种方式在页面上快速定位：
#s_xmancard_news_new > div > div.s-news-rank-wrapper.s-news-special-rank-wrapper.c-container-r > div > div > ul
soup.select('#s_xmancard_news_new > div > div.s-news-rank-wrapper.s-news-special-rank-wrapper.c-container-r > div > div > ul')
通过xpath查找
xpath全称为XML Path Language， 一种小型的查询语言，实现的功能与re以及bs一样，但是大多数情况会选择使用xpath。由于XPath属于lxml库模块，所以首先要安装库lxml。xpath路径查找：
//*[@id=“s_xmancard_news_new”]/div/div[1]/div/div/ul
from lxml import etree
selector=etree.HTML('') # 将源码转化为能被XPath匹配的格式
# <Element html at 0x29b7fdb6708>
ret = selector.xpath('//*[@id="s_xmancard_news_new"]/div/div[1]/div/div/ul') # 返回为一列表
正则表达
# name: 搜索name参数的值可以使任一类型的 过滤器 ,字符窜,正则表达式,列表,方法或是 True .
soup.find_all(name=re.compile('^t'))
自定义方法
# 如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
soup.find_all(has_class_but_no_id)
或者使用匿名函数
soup.find_all(lambda tag: True if tag.has_attr("class") and tag.has_attr("id") else False)
总结
更多使用方法参考官网：https://beautifulsoup.readthedocs.io/zh-cn/v4.4.0/#id7
