第七步：简单爬虫与网页测试

news2025/3/10 18:20:07

Puppeteer

官方文档：https://puppeteer.bootcss.com/

1、安装

puppeteer是一个node插件
安装命令：npm i puppeteer

2、概念

无头浏览器：就是不打开浏览器的页面，直接进行浏览器后台操作

3、入门

引入：import puppeteer from "puppeteer"
创建浏览器：const browser = await puppeteer.launch([options])
创建新页面：const page = await browser.newPage()
然后就可以使用page进行页面的相关操作了
操作完成后就可以关闭：await browser.close()

4、puppeteer

puppeteer.launch([options])：打开一个浏览器，异步成功返回一个browser浏览器操作对象
- headless：是否开启无头浏览器，默认true
- defaultViewpord<object>: 为每个页面设置一个默认视图窗口大小，默认800*600
  - width：页面宽度
  - height：页面高度
  - deviceScaleFactor：dpr，默认为1
  - null：设置为null就禁用视图窗口
- args<array>：给浏览器实例传递的其他参数
  - “–window-size=1920,1080”：将窗口调整为1920*1080

5、browser

browser.newPage()：异步成功返回一个page页面操作对象
browser.close()：异步关闭浏览器
browser.pages()：异步返回打开的所有页面操作对象列表

6、page

page.goto(url, [options])：异步进入url地址的页面
- timeout：跳转等待时间，默认30秒，30秒内没有打开页面就判断跳转失败
- waitUntil：满足什么条件认为页面跳转完成，默认load
  - load：页面加载时触发
  - domcontentloaded：页面加载完成触发
  - networkidle0：页面不再有网络连接时触发
  - networkidle2：只有两个网络连接时触发
- referer：设置请求头的referer，用来欺骗服务器的防盗链拦截
page.goBack([options])：操控页面后退路由，参数同上
page.goForward[options]：操控页面前进路由，参数同上
page.close()：关闭当前页面
page.isClosed()：返回页面是否被关闭
page.cookies()：异步返回当前页面的cookie
page.screenshot(options)：对页面进行截图
- path：截图本地保存路径
- fullpage：是否截取整个网站(就是下拉才能看清全部的真个)，默认false
page.pdf(options)：对页面保存为pdf
- path：pdf本地保存路径
- format：保存格式可选值 - [“A4”]
page.evaluate(fn, [...args])：异步获取在浏览器的控制台注入代码，代码执行后的结果
- fn：在控制台运行的函数
  - 就相当于在浏览器的控制台执行JS脚本语言
  - 获取的结果可以用return返回结果
  - 注意，这个函数已经完全进入到浏览器控制台的作用域
- args：给fn传递的参数
page.addScriptTag(options)：异步给网页注入JS代码
- url：script标签的src属性值
- path：注入的JS代码本地文件路径
- content：以字符串的形式注入的css代码内容
- type：脚本引入类型 - [module]
page.addStyleTag(options)：异步给网页注入css代码
- url：link标签的href属性值
- path：注入的css代码本地文件路径
- content：以字符串的形式注入的css代码
page.waitForSelector(selector, [options])：异步等待页面某个元素加载完成
- selector：元素css选择器
- options：
  - visible：等待元素在dom中可见
  - hidden：等待元素在页面中消失
  - timeout：等待时间
page.waitForRequest(url, [options])
- url：等待的请求地址
- options：
  - timeout：等待时间
page.setCacheEnabled(false)：设置请求缓存状态，默认启动缓存
page.select(selector)：异步获取页面元素
page.click(selector, [options])：异步点击页面元素
- selector：元素css选择器
- options：
  - button：鼠标按键，默认left，值可为-[left, right, middle]
  - clickCount：点击次数
  - delay：鼠标按下和弹起之间的间隔时间，单位毫秒，默认为0
page.hover(selector)：异步鼠标悬浮到某个元素
page.type(selector, text, [options])：异步在输入框输入内容
- selector：元素css选择器
- text：输入的内容
- options：
  - dalay：每个字符输入的延迟，单位毫秒，默认0
page.focus(selector)：异步聚焦到某个元素
page.keyboard.type(text)：异步使用虚拟键盘模拟输入
page.keyboard.down(key)：异步使用虚拟键盘模拟key键按下
page.keyboard.press(key)：异步使用虚拟键盘模拟key键敲击
page.keyboard.up(key)：异步使用虚拟键盘模拟key键弹起
page.mouse.click(x, y, [options])：异步使用虚拟鼠标模拟点击
- x：x轴位置
- y：y轴位置
- options:
  - button：鼠标按键 - [left, right, middle]
  - clickCount：点击次数
  - delay：鼠标按下和弹起时间间隔
page.mouse.down(options)：异步使用虚拟鼠标模拟按下，参数同上
page.mouse.up(options)：异步使用虚拟鼠标模拟弹起，参数同上
page.mouse.move(x, y, [options])：异步使用鼠标模拟移动
- x：移动到x轴位置
- y：移动到y轴位置
- options:
  - steps：每次移动的步长：默认为1，就意味着鼠标光标从原来位置到(x, y)位置之间闪现过去了。
page.touchscreen(x, y)：异步模拟触摸

7、绕过拦截

隐身插件：puppeteer-extra、puppeteer-extra-plugin-stralth

使用：

import puppeteer from "puppeteer-extra";
import pluginStealth from "puppeteer-extra-plugin-stralth";
puppeteer.use(pluginStealth()); // 像express使用中间件那样
// ......