友情提示:本章节只做相关技术讨论, 爬虫触犯法律责任与作者无关。
LLM虽然如火如荼进行着, 但是没有数据支撑, 都是纸上谈兵， 人工智能的三辆马车:算法-数据-算力，缺一不可。之前写过关于LLM微调文章《微调入门篇:大模型微调的理论学习》、《微调实操一: 增量预训练(Pretraining)》、《微调实操三:人类反馈对语言模型进行强化学习(RLHF)》、《微调实操四:直接偏好优化方法-DPO》等文章， 奈何无大数据支撑，停留在浅显层面，所以有必要学习数据获取相关技术发展。数据在这个领域起着至关重要的角色。数据作为重要的生产要素， 是企业核心资产，但对于大部分普通用户基本利用爬虫方获取，强如搜索引擎也同样离不开爬虫, 爬虫离不开反爬这个话题。 爬虫除了能够获取数据之外, 对于自动化测试、提高重复性工作效率同样有借鉴意义。
细心的同学肯定会发现,现在网站的验证码、验证逻辑越来越复杂, 以下图为例, 让机器自动化的难度越来越大。
现在大部分网站都采用js动态渲染, 传统接口抓取的缺点是抓不到 js 渲染后的页面和服务器渲染的web页面。
Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效, Selenium虽然能够模拟人的行为, 依然会出现爬虫的限制, 有哪些针对Selenium反爬的策略呢?今天我们一起深入研究一下:
1、 ip 代理, 轮换ip
2、禁用webdriver等自动化标识
3、轮换http header等标识
4、移除JavaScript标志
5、使用cookie
6、使用浏览器插件
