一文带你快速掌握爬虫开发中的一些高级调试技巧

news2024/11/16 19:43:12

文章目录

  • 1. 写在前面
  • 2. Reply XHR(重新发起请求)
  • 3. copy as fecth(修改参数请求)
  • 4. copy()复制变量
  • 5. Web网页全屏截图
  • 6. 控制台安装使用npm
  • 7. 控制台中引用上次执行结果
  • 8. 控制台表展示对象数组

1. 写在前面

  做过爬虫开发的人都知道,浏览器的开发者工具基本是离不开的,有时候在准备开发一个web爬虫的时候,往往最先开始的就是打开浏览器开发者工具进行请求、参数、响应…的分析。用好了确实是可以大大的帮我们提高调试代码的效率!

本文将介绍几个高级的工具使用技巧,帮助大家提升爬虫开发的效率


在这里插入图片描述


2. Reply XHR(重新发起请求)

  我们在做逆向分析的时候,在调试的时候需要多次对URL进行请求。在这里,相信还有很多人一样手动刷新浏览器重新请求或者使用第三方的一些工具

其实拿Chrome的开发者工具来说,已经有一个让用户发起请求的功能,我们完全可以使用此功能对一个URL重新发起请求

Network–>Fetch/XHR–>Reply XHR

在这里插入图片描述

3. copy as fecth(修改参数请求)

  使用copy as fecth请求可以动态修改请求参数,这样就不用到代码里面去改了,而是直接在开发者工具里面改就行了,更加灵活且使用场景也很多,在做爬虫开发时,可能header头里面的代码写错了,平常就是回过头来改再去发送,而使用copy as fecth则完全不用编辑器改代码,减少了出错的可能和时间

Network–>Fetch/XHR–>Copy–>Copy as fecth

在这里插入图片描述

点击复制代码后,我们将代码帖到控制台上进行测试(自己可以根据需求修改参数来重新发送请求),下图为例修改了查看更多翻页参数所示:

在这里插入图片描述

请求的结果如下,状态码也都是正常的:

在这里插入图片描述
在这里插入图片描述

4. copy()复制变量

  大家在做JS逆向调试的时候查看并复制一个JS对象比较常见,一般比较觉见的都是在控制台获取并复制,但是复制时往往都是JSON格式,或不方便复制

如下所示,params是一个请求参数对象,可以在控制台使用copy()方法获取

在这里插入图片描述

参数再多,这样的复制不仅省时简单,还不会丢失!

5. Web网页全屏截图

  如果只是截取一屏的方法,有很多方式。但是,如果一个网页有很多屏,想要滚动截取所有网页屏幕,这里给大家也推荐两种方式

方式一:控制台截屏
操作:打开要截屏的网页,然后按F12调出开发者工具,进入console控制台,按Shift+Ctrl+p ,输入capture,如下所示:

在这里插入图片描述

如果要截取某个 DOM 元素的屏幕截图,你可以使用Capture node screenshot命令

方式二:Chrome插件
操作:安装捕捉网页截图-FireShot,安装该插件后即可使用,插件功能如下图所示:

在这里插入图片描述

6. 控制台安装使用npm

  有时候想调用npm里面的库跟API,正常是直接在我们电脑环境里面调用,其实不然是可以直接在开发者工具的控制台里面安装,然后调用安装好的库的api

Github安装方式:console-importer

安装完以后我们就可以安装第三方的库,然后如下所示使用:

在这里插入图片描述

7. 控制台中引用上次执行结果

  我们在控制台中调试代码的时候,可以使用魔术变量$_引用上一次操作的结果,可以让更加优雅的调试代码
在这里插入图片描述

8. 控制台表展示对象数组

  有时候在控制台中有的数据元素内容复杂且长,查看起来数据难以阅读理解,我们可以使用Chrome所提供的表格展示功能将数组对象进行列表展示,如下图所示:

在这里插入图片描述

  好了,到这里又到了跟大家说再见的时候了。创作不易,帮忙点个赞再走吧。你的支持是我创作的动力,希望能带给大家更多优质的文章

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1106657.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

视频模板SDK,为企业带来无限创意与效率

在当今的数字化时代,视频已经成为了信息传播的主流方式之一,对于企业来说,制作高质量的视频已经成为了一项重要的业务需求。然而,制作一部高质量的企业视频需要耗费大量时间和金钱,对于许多企业来说是一个不小的负担。…

web漏洞挖掘指南-前端跨域漏洞

web漏洞挖掘指南 前端跨域漏洞 如果你对网络安全入门感兴趣,那么你需要的话可以点击这里👉【入门&进阶全套282G学习资源包免费分享!】 一、何为跨域 1.设想一种场景,一个恶意网站上嵌入了一个iframe标签去加载银行的登陆页…

求臻医学:重磅 共识发布

共识发布 近日,我国首个《胃癌分子残留病灶检测与临床应用中国专家共识(2023版)》[1](以下简称“共识”)正式发表于《中华消化外科杂志》。 该共识由中国医师协会外科医师分会上消化道外科医师专家工作组发起&#xf…

【leetcode】2530.执行k次操作后的最大分数

前言 每次都取最大值的策略我是知道的&#xff0c;排序的时间复杂度太高&#xff0c;用栈也不行。没想到c里面已经内置了优先队列priority_queue 代码 #include<iostream> #include<algorithm> #include<vector> #include<stack> #include<queue…

从零开始了解协同OA办公系统,一篇文章就够了!

随着现代企业管理的不断发展&#xff0c;越来越多的企业开始关注协同OA办公系统&#xff0c;以提高工作效率和降低成本。但是&#xff0c;很多企业对协同OA办公系统并不了解&#xff0c;甚至不知道该如何开始使用。本文将从零开始&#xff0c;为大家详细介绍协同OA办公系统。 一…

.npmrc 使用详解

配置.npmrc之后需要&#xff1a; 清理项目目录中的 node _modules 目录(package-lock.json,umi)。清理 node cache: npm cache clear --force&#xff1b;{ 此步骤必须&#xff0c;主要是大家的电脑经过多年使用后&#xff0c;npm 配置比较混乱&#xff0c;为了避免或者减少配…

虚实融合 智兴百业 | 赵捷副市长莅临拓世科技集团筹备展台指导,本月19号!拓世科技集团与您相约世界VR产业大会

新时代科技革命中&#xff0c;虚拟现实技术、5G和“元宇宙”概念崛起&#xff0c;助力全球范围内的数字经济和产业转型。我国也正迈向高质量发展攻坚阶段&#xff0c;在中部腹地的江西&#xff0c;政府结合全球技术趋势和自身发展需求&#xff0c;选择虚拟现实为新的经济增长点…

SpringBoot集成Lettuce客户端操作Redis

目录 一、前言二、基础集成配置&#xff08;redis单节点&#xff09;2.1、POM2.2、添加配置文件application.yml2.3、编写配置文件2.4、编写启动类2.5、编写测试类测试是否连接成功 一、前言 spring-boot-starter-data-redis有两种实现 lettuce 和 jedis&#xff0c;spring bo…

【Vue项目】通过设置全局的异常处理来统一处理后端返回的异常

文章目录 简介方法一创建统一异常处理模块使用axios拦截器处理异常在页面中使用异常处理 方法二创建全局异常处理函数在main.js中配置全局异常处理在网络请求中捕获异常 方法三创建全局异常处理插件在main.js中注册全局异常处理插件在网络请求中捕获异常 总结 简介 在Vue项目中…

PaddleX解决分类、检测两大场景问题?实战精讲教程来了!

AI技术加速数字化进程&#xff0c;从制造、交通、能源等基础行业&#xff0c;到医疗、城市、零售、家居等与人们日常生活息息相关的行业&#xff0c;AI技术推动了数字化变革&#xff0c;也不断赋能于千行百业&#xff0c;但产业落地实践中依然面临着数据、算法等诸多困难。为了…

SOLIDWORKS motion如何创建动画

SOLIDWROKS motion是SOLIDWORKS中一个高性能的插件&#xff0c;它能够帮助工程师完成虚拟样机的仿真分析&#xff0c;motion既可以对众多的机械结构进行运动学和动力学仿真&#xff0c;同时在SOLIDWROKS motion中也可以完成样机动画制作。今天我们就来看看SOLIDWOKRS motion是如…

7款最佳的图片编辑App

无论你是设计师需要调整界面图片大小&#xff0c;还是摄影师需要剪图片&#xff0c;追求完美的比例&#xff0c;还是日常照片&#xff0c;需要P图片&#xff0c;或多或少会有剪图片的需求&#xff0c;如何选择一个简单和轻的剪图软件应用程序&#xff0c;不是一件容易的事情。本…

数据结构与算法-栈和队列小练习

&#x1f31e; 这里给大家分享一道栈的练习和一道队列的练习&#xff01; &#x1f388;1.练习一 利用栈的基本操作实现将任何一个十进制整数转化为R进制整数。 &#x1f52d;1.1栈的初始化 Sqstack::Sqstack() {base top new SElemType[InitStacksize];stacksize InitStac…

Golang笔记

01 = 和 := 的区别? 前者是赋值变量,后者是定义变量 02 指针的作用 指针指向变量的地址,在64位机器上占8个字节 【1 字节(Byte)= 8 位(bit) 1 千字节(KB,Kilobyte)= 1,024 字节(2^10 字节)】 作用 取址然后取值swap函数 交换变量的值指针接收器来改变结构体里面…

C#实现文本生成音频文件并播放

本文将使用C#实现一个简单的winfrom窗体应用程序&#xff0c;可以自定义文本转换为声音进行播放&#xff0c;生成音频文件。采用Microsoft提供的SpeechSynthesizer类来实现这个功能。 首先需要在代码中引用System.Speech.Synthesis命名空间&#xff0c;就可以使用SpeechSynthes…

项目管理与SSM框架(二)| Spring

Spring简介 Spring是一个开源框架&#xff0c;为简化企业级开发而生。它以IOC&#xff08;控制反转&#xff09;和AOP&#xff08;面向切面&#xff09;为思想内核&#xff0c;提供了控制层 SpringMVC、数据层SpringData、服务层事务管理等众多技术&#xff0c;并可以整合众多…

量化:概率统计基础

文章目录 分布四个矩 分布 将股票收益率看作一个随机变量。如中国平安某段时间涨跌幅分布如下 四个矩 一阶矩&#xff1a;即均值&#xff0c;在统计学中叫做期望。 二阶矩&#xff1a;即方差&#xff0c;反映了数据偏离均值的程度。 偏度&#xff1a;衡量随机变量分布的左右…

VSCode远程开发插件,值得一试

今天给大家介绍一下 VS Code 实现远程办公的方法。 1、概 述 通常&#xff0c;我们都是每天到工作的办公室进行办公&#xff0c;但是&#xff0c;如果下班回家&#xff0c;或者出差&#xff0c;此时如果马上需要重要的文件&#xff0c;或者升级一下代码&#xff0c;是不…

NetCore/Net8下使用Redis的分布式锁实现秒杀功能

目的 本文主要是使用NetCore/Net8加上Redis来实现一个简单的秒杀功能&#xff0c;学习Redis的分布式锁功能。 准备工作 1.Visual Studio 2022开发工具 2.Redis集群&#xff08;6个Redis实例&#xff0c;3主3从&#xff09;或者单个Redis实例也可以。 实现思路 1.秒杀开始…

基于SVM+Webdriver的智能NBA常规赛与季后赛结果预测系统——机器学习算法应用(含python、ipynb工程源码)+所有数据集(一)

目录 前言总体设计系统整体结构图系统流程图 运行环境Python环境Jupyter Notebook环境PyCharm环境MATLAB环境 模块实现1. 数据预处理1&#xff09;常规赛数据处理2&#xff09;季后赛数据处理 相关其它博客工程源代码下载其它资料下载 前言 本项目使用了从NBA官方网站获得的数…