Python爬虫入门02:Fiddler下载使用教程

news2024/11/19 1:44:17

文章目录

  • 手机抓包全攻略:Fiddler 工具深度解析
    • 引言
    • Fiddler 工具简介
      • 为什么选择 Fiddler?
    • 安装与配置 Fiddler
      • 步骤一:下载与安装
      • 步骤二:配置浏览器代理
      • 步骤三:安装 HTTPS 证书
    • 配置手机以使用 Fiddler
      • 步骤一:连接至同一 Wi-Fi 网络
      • 步骤二:设置手机代理
      • 步骤三:安装 Fiddler 证书于手机
      • Android 和 iPhone 的特殊配置
    • 使用 Fiddler 抓取和修改数据
      • 抓取数据
      • 修改数据
    • 查看数据示例:csdn热门内容
      • 步骤一:过滤特定请求
      • 步骤二:拦截数据
      • 步骤三:查看数据
    • 结语


手机抓包全攻略:Fiddler 工具深度解析

引言

在网络世界的探索中,数据的捕获与分析是理解网络通信的基础。抓包技术允许我们深入观察客户端与服务器之间的交互。本文将引导你通过 Fiddler 工具进行手机抓包,揭开网络请求的神秘面纱。注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。如果有大佬知道可以指引一下,就不要嘲笑咱小白不懂啦!
在这里插入图片描述

Fiddler 工具简介

Fiddler 是一款广受好评的网络调试工具,它提供了一个平台来记录、检查和修改所有经过计算机的 HTTP/HTTPS 流量。它不仅支持桌面应用的网络调试,还能扩展到移动设备。

为什么选择 Fiddler?

  • 跨平台支持:支持 Windows、Mac 和 Linux。
  • HTTPS 抓取:内置 SSL 解密功能,可以捕获加密的 HTTPS 流量。
  • 实时分析:能够实时查看和修改请求与响应数据。
  • 强大的过滤和搜索功能:快速定位到感兴趣的请求。

安装与配置 Fiddler

步骤一:下载与安装

访问 Fiddler 官网,根据你的操作系统下载并安装 Fiddler。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤二:配置浏览器代理

打开软件时会弹出一个弹窗:Windows uses an isolation technology called ‘AppContainer’ that may interfere with traffic capture from Immersive Applications and the Edge browser. Use the WinConfig button in Progress Telerik Fiddler’s toolbar to enable teaffic capture.
Would you like to learn more?
To disable this warning. click ‘Cancel’.
大概意思是这样的:

Windows使用称为“AppContainer”的隔离技术,可能会干扰Immersive Applications和Edge浏览器的流量捕获。 使用Progress Telerik Fiddler工具栏中的WinConfig按钮启用茶叶捕获功能。
你想了解更多吗?
要禁用此警告。 点击“取消”
具体看这位博主的链接:https://blog.csdn.net/u011038298/article/details/87879548
在这里插入图片描述

为了让 Fiddler 能够捕获浏览器的 HTTP/HTTPS 请求,
在这里插入图片描述
需要在浏览器中设置代理:

  • 在浏览器设置中找到网络或代理设置部分。
  • 设置代理服务器为 127.0.0.1,端口为 8888

步骤三:安装 HTTPS 证书

由于大量网络通信采用 HTTPS 加密方式,安装 Fiddler 证书是捕获这些请求的前提:

  • 在 Fiddler 中,通过 Tools -> Options -> HTTPS,
  • 在这里插入图片描述
    勾选 “Decrypt HTTPS traffic”。
    在这里插入图片描述
    弹出的弹窗:To intercept HTTPS traffic, Fiddler Classic generates a unique root certificate.

You may configure Windows to trust this root certificate to suppress
security warnings. This is generally safe.

Click ‘Yes’ to reconfigure Windows’ Trusted CA list.
Click ‘No’ if this is all geek to you.
在手动信任证书时,提示Unable to configure Windows to Trust the Fiddler Root certificate.The LOG tab may contain more infor

大致意思是:创建root证书不成功,我点击了yes,弹出了下一个弹窗,继续点击是,弹出了下一个弹窗,最后弹出了ok的弹窗。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点击 “Reset All Certificates” 并重启 Fiddler。

  • 完事之后回到你的浏览器输入:
    localhost:8888
    在这里插入图片描述

  • 访问 localhost:8888 来下载并安装 FiddlerRoot 证书。当然,有些可能像我这样上来就没问题的就不用管了。直接往下走去手机配置。目前 我接触到有两种方式,一种是以下链接的:http://t.csdnimg.cn/bMLha,另一种就是我下面采取的这种。这种时候再看就可以看到抓包的内容了:在这里插入图片描述

配置手机以使用 Fiddler

步骤一:连接至同一 Wi-Fi 网络

确保你的手机和电脑连接到同一个 Wi-Fi 网络。然后电脑端需要进行下面的配置,然后查询电脑的ip地址,在这里插入图片描述
在这里插入图片描述

步骤二:设置手机代理

在手机的 Wi-Fi 设置中,配置代理以指向你的电脑:

  • 代理服务器地址设置为电脑的 IPv4 地址。
  • 端口设置为 8888
  • 在这里插入图片描述

步骤三:安装 Fiddler 证书于手机

  • 访问电脑的 IPv4 地址加 :8888 在手机浏览器中。但是这里我失败了,只能是从电脑导入证书再尝试了。在这里插入图片描述
    在这里插入图片描述

  • 下载并安装 FiddlerRoot 证书。

Android 和 iPhone 的特殊配置

  • Android:安装证书后通常无需额外配置。
  • iPhone:在设置 -> 通用 -> 关于本机 -> 证书信任设置中,信任安装的证书。
    此时我打开小红书就已经获取到数据了。在这里插入图片描述

使用 Fiddler 抓取和修改数据

抓取数据

开启 Fiddler 并确保手机代理设置正确,当你在手机上浏览网页或使用应用时,所有流量将通过 Fiddler,你可以在 Fiddler 界面中看到这些请求和响应。

修改数据

Fiddler 不仅可以捕获数据,还可以修改它们:

  1. 在 Fiddler 界面中找到你想要修改的请求或响应。
  2. 双击打开 Inspectors 面板。
  3. 在 Inspectors 面板中修改请求头、正文或响应数据。
  4. 点击 “Run to Completion” 将修改后的数据发送至客户端。
    注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。

查看数据示例:csdn热门内容

步骤一:过滤特定请求

在 Fiddler 中设置过滤规则,只显示来自或发往 csdn的请求。
在这里插入图片描述

步骤二:拦截数据

使用 ALT+F11 拦截所有返回数据。
在这里插入图片描述

步骤三:查看数据

点击我们要查看的接口,就能在右边看到返回的数据了,上面是请求,下面是返回的数据。
在这里插入图片描述

结语

Fiddler 是网络开发者和安全研究人员的瑞士军刀。通过本文的指南,你现在可以开始自己的网络抓包之旅,探索和理解网络请求的每一个细节。随着实践的深入,你将发现更多 Fiddler 的强大功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1955372.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

鸿蒙应用框架开发【OpenGL三棱椎】 NDK

OpenGL三棱椎 介绍 XComponent控件常用于相机预览流的显示和游戏画面的绘制,在HarmonyOS上,可以配合Native Window创建OpenGL开发环境,并最终将OpenGL绘制的图形显示到XComponent控件。本示例基于"Native C"模板,调用OpenGL(Open…

wpf中团队独立开发模块和左侧2个菜单的框架演示

此篇文章和上一篇文章wpf中开发独立模块功能和左侧1个菜单的框架演示-CSDN博客的结构是一样的,有1点不同的是,左侧有2层菜单,所以,就会更加的复杂。建议,先看明白上一篇的内容,再看这篇文章,否则…

CSS实现表格无限轮播

<div className{styles.tableTh}><div className{styles.thItem} style{{ width: 40% }}>报警名称</div><div className{styles.thItem} style{{ width: 35% }}>开始时间</div><div className{styles.thItem} style{{ width: 25% }}>状态&…

前端三大主流框架对比

在现代前端开发中&#xff0c;React、Vue和Angular是三大流行的框架/库。它们各自有独特的优缺点&#xff0c;适用于不同的开发需求和项目规模。下面是对这三者的详细比较&#xff1a; 一、 React 简介&#xff1a; 由Facebook开发和维护&#xff0c;是一个用于构建用户界面…

亚博科技和幻尔科技的十轴IMU在Ros2 Humble下驱动后数值无限趋于0的解决方案

在做机器人导航以及建模的时候&#xff0c;考虑到多传感器融合可能会带来更好的效果&#xff0c;于是决定使用幻尔科技的十轴IMU&#xff08;其实亚博科技与幻尔科技这块IMU的内部完全一致&#xff0c;驱动代码都完全一致&#xff09;驱动后使用以下命令输出传来的四元数等数据…

自写ApiTools工具,功能参考Postman和ApiPost

近日在使用ApiPost的时候&#xff0c;发现新版本8和7不兼容&#xff0c;也就是说8不支持离线操作&#xff0c;而7可以。 我想说&#xff0c;我就是因为不想登录使用才从Postman换到ApiPost的。 众所周知&#xff0c;postman时国外软件&#xff0c;登录经常性抽风&#xff0c;…

Mike SHE里如何正确设置分区降雨

前言&#xff1a; MIKE SHE分布式水文模型现阶段用于流域洪水的项目比较多&#xff0c;因属于大尺度模型&#xff0c;基本可以模拟水循环全过程&#xff0c;包含降雨—蒸发——产汇流—地表水—地下水等。同时还可以耦合MIKE11水动力水质模型。 今天给大家介绍下MIKESHE是如何…

从零到一使用 Ollama、Dify 和 Docker 构建 Llama 3.1 模型服务

本篇文章聊聊&#xff0c;如何使用 Ollama、Dify 和 Docker 来完成本地 Llama 3.1 模型服务的搭建。 如果你需要将 Ollama 官方不支持的模型运行起来&#xff0c;或者将新版本 llama.cpp 转换的模型运行起来&#xff0c;并且想更轻松的使用 Dify 构建 AI 应用&#xff0c;那么…

进程间的通信(IPC)--管道

1.进程间通信常用的方式 1 &#xff0c;管道通信&#xff1a;有名管道&#xff0c;无名管道 2 &#xff0c;信号 - 系统开销小 3 &#xff0c;消息队列 - 内核的链表 4 &#xff0c;信号量 - 计数器 5 &#xff0c;共享内存 6 &#xff0c;内存映射 7 &#xff0c;套接…

人称“灯爷”的灯光师到底要做些什么,看看他的岗位说明书

灯光师又称“灯爷”,是摄影制作部门负责灯光设备的技术人员,一般归摄影指导调配。被尊称“爷”,可见灯光师的地位不容小觑。那么这个岗位到底要做些什么呢&#xff1f; 岗位职责&#xff1a; 1、负责公司灯光设备的调制、维护和保养&#xff1b; 2、负责各包房灯光设备的调制、…

Mac环境报错 error: symbol(s) not found for architecture x86_64

Mac 环境Qt Creator报错 error: symbol(s) not found for architecture x86_64 错误信息 "symbol(s) not found for architecture x86_64" 通常是在编译或链接过程中出现的问题。这种错误提示通常涉及到符号未找到或者是因为编译器没有找到适当的库文件或函数定义。 …

基于springboot+vue+uniapp的养老院系统小程序

开发语言&#xff1a;Java框架&#xff1a;springbootuniappJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#…

初识git工具~~上传代码到gitee仓库的方法

目录 1.背景~~其安装 2.gitee介绍 2.1新建仓库 2.2进行相关配置 3.拉取仓库 4.服务器操作 4.1克隆操作 4.2查看本地仓库 4.3代码拖到本地仓库 4.4关于git三板斧介绍 4.4.1add操作 4.4.2commit操作 4.4.3push操作 5.一些其他说明 5.1.ignore说明 5.2git log命令 …

ACC:Automatic ECN Tuning for High-Speed Datacenter Networks 相关知识点介绍(二)

目录 PerfTest工具 Incast traffic Incast Traffic 的原因 Incast Traffic 的影响 解决方法 流量负载 简单解释 影响因素 影响 管理方法 LINKPACK 主要特点 LinkPack 的应用 运行结果 Quantum ESPRESSO 主要特点 TensorFlow 主要特点 主要组件 Incast与qp …

Ubuntu2023.04 浏览器不能上网的问题

1.问题描述 ping www.baidu.com 是可以连接的&#xff0c;但是打开网页就是不能上网&#xff0c;但是自己查看了浏览器上面的设置&#xff0c;代理设置都是关闭的 再看了系统的设置代理也是关闭的&#xff0c;就是上不了网 解决方案&#xff1a; 455 echo $http_proxy456 e…

JavaWeb项目中动态拼接sql语句

业务需求描述&#xff1a; 图中的查询框在分条件查询用户信息列表时&#xff0c;前端可能会传回一个条件或多个条件&#xff0c;此时要对不同的条件进行sql语句的不同书写&#xff0c;前端传的情况有很多种&#xff0c;所以如果分情况写sql语句会比较死&#xff0c;并且不够灵活…

机器学习之人脸识别-使用 scikit-learn 和人工神经网络进行高效人脸识别

文章摘要 本文将介绍如何使用 Python 的 scikit-learn 库和人工神经网络&#xff08;ANN&#xff09;来识别人脸。我们将使用 LFW 数据集&#xff08;Labeled Faces in the Wild&#xff09;&#xff0c;这是一个广泛用于人脸识别基准测试的大型人脸数据库。我们将展示如何准备…

RedHat Enterprise Linux 7 YUM源(本地/网络源)配置详解

目录 一、挂载 二、建立本地源 三、建立网络源 四、验证可行性 一、挂载 ——将光盘挂载到 /mnt 下 当/mnt中有如图内容时&#xff0c;即挂载成功 若挂载光驱/dev/sr0时报错&#xff1a;mount: no medium found on /dev/sr0 解决措施&#xff1a;查看该设备状态是否全部勾选…

数仓实践:一文读懂数仓 ODS 层模型设计

引言 OneData 体系中,数据划分为三层: ODS(Operational Data Store):操作数据层。它相当于数据中台通用数据模型层的一个数据准备区,同时又承担着基础数据的记录以及历史变化,主要完成业务系统、日志等结构化和半结构化数据引入到数据中台。保留业务系统原始数据,包括…

【HZHY-AI300G智能盒试用连载体验】设置RKNN的开发环境

目录 安装RKNN工具 安装pip3 安装RKNN Toolkit Lite2 安装RKNPU2运行库 本文首发于电子发烧友论坛&#xff1a;【新提醒】【HZHY-AI300G智能盒试用连载体验】 智能工业互联网网关 - 北京合众恒跃科技有限公司 - 电子技术论坛 - 广受欢迎的专业电子论坛! (elecfans.com) 前…