文章目录
- 前言
- 安装及用法
- 实战一下
- 1 打开目标网站
- 2 自动化表单提交
- 3 数据爬取
- 最后
- 关于Python技术储备
- 一、Python所有方向的学习路线
- 二、Python基础学习视频
- 三、精品Python学习书籍
- 四、Python工具包+项目源码合集
- ①Python工具包
- ②Python实战案例
- ③Python小游戏源码
- 五、面试资料
- 六、Python兼职渠道
前言
今天推荐一款小众轻量级的爬虫库：RoboBrowser
RoboBrowser，Your friendly neighborhood web scraper！由纯 Python 编写，运行无需独立的浏览器，它不仅可以做爬虫，还可以实现 Web 端的自动化
项目地址：
https://github.com/jmcarp/robobrowser
安装及用法
在实战之前，我们先安装依赖库及解析器
PS：官方推荐的解析器是 「lxml」
\# 安装依赖
pip3 install robobrowser
# lxml解析器（官方推荐）
pip3 install lxml
RoboBrowser 常见的 2 个功能为：
- 模拟表单 Form 提交
- 网页数据爬取
使用 RoboBrowser 进行网页数据爬取，常见的 3 个方法如下：
- find
查询当前页面满足条件的第一个元素
- find_all
查询当前页面拥有共同属性的一个列表元素
- select
通过 CSS 选择器，查询页面，返回一个元素列表
需要指出的是，RoboBrowser 依赖于 BS4，所以它的使用方法和 BS4 类似
更多功能可以参考：
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
实战一下
我们以「 百度搜索及爬取搜索结果列表 」为例
1 打开目标网站
首先，我们实例化一个 RoboBrowser 对象
from time import sleep
from robobrowser import RoboBrowser
home\_url = 'https://baidu.com'
# parser: 解析器，HTML parser; used by BeautifulSoup
# 官方推荐：lxml
rb = RoboBrowser(history=True, parser='lxml')
# 打开目标网站
rb.open(home\_url)
然后，使用 RoboBrowser 实例对象中的 open() 方法打开目标网站
2 自动化表单提交
首先，使用 RoboBrowser 实例对象获取网页中的表单 Form
然后，通过为表单中的输入框赋值模拟输入操作
最后，使用 submit_form() 方法进行表单提交，模拟一次搜索操作
\# 获取表单对象
bd\_form = rb.get\_form()
print(bd\_form)
bd\_form\['wd'\].value = "AirPython"
# 提交表单，模拟一次搜索
rb.submit\_form(bd\_form)
3 数据爬取
分析搜索页面的网页结构，利用 RoboBrowser 中的 select() 方法匹配出所有的搜索列表元素
遍历搜索列表元素，使用 find() 方法查询出每一项的标题及 href 链接地址
\# 查看结果
result\_elements = rb.select(".result")
# 搜索结果
search\_result = \[\]
# 第一项的链接地址
first\_href = ''
for index, element in enumerate(result\_elements):
title = element.find("a").text
href = element.find("a")\['href'\]
search\_result.append(title)
if index == 0:
first\_href = element.find("a")
print('第一项地址为:', href)
print(search\_result)
最后，使用 RoboBrowser 中的 follow_link() 方法模拟一下「点击链接，查看网页详情」的操作
\# 跳转到第一个链接
rb.follow\_link(first\_href)
# 获取历史
print(rb.url)
需要注意的是，follow_link() 方法的参数为带有 href 值的 a 标签
最后
文中结合百度搜索实例，使用 RoboBrowser 完成了一次自动化及爬虫操作
相比 Selenium、Helium 等，RoboBrowser 更轻量级，不依赖独立的浏览器及驱动
如果想处理一些简单的爬虫或 Web 自动化，RoboBrowser 完全够用；但是面对一些复杂的自动化场景，更建议使用 Selenium、Pyppeteer、Helium 等
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
保存图片微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、Python所有方向的学习路线
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python基础学习视频
② 路线对应学习视频
还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~在这里插入图片描述
③练习题
每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
因篇幅有限，仅展示部分资料
三、精品Python学习书籍
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
四、Python工具包+项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
②Python实战案例
光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
③Python小游戏源码
如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
五、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
六、Python兼职渠道
而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以保存图片微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
