前言:

        想法是,通过charles挂上'魔法工具',然后跑代码的时候,实时监控每一个访问的请求状态和返回是个啥?

        原理其实和挂手机等一样的;但是,我想说的,让scrapy挂上charles...

        之前写过关于fiddler挂代理的路子,还有关于fiddler和charles的证书的文章,不明白的可以去查看

        手机模拟器(mumu)_charles上网安全证书----保姆级处理!_mumu模拟器安装证书-CSDN博客

        (这篇文章,证书是安装在模拟器里面的,相对于直接安装到电脑本机---更加容易;)

        fiddle连接mumu模拟器到adb连接成功，保姆级_mumu adb-CSDN博客

        Fiddle配置代理，保手机模拟器访问外部网络-CSDN博客

        本文的前提条件是,你要装好必要的软件和证书;

正文:

1.怎么让scrapy的爬虫请求,被charles监控

1.1 确认charles的端口号

在scrapy中,设置本地的代理,还有charles的端口; 这样,代码走的网络就会通过charles去访问网页了;

那么如何设置呢?

2.让charles访问挂上代理

首先推荐NekoBox工具,(代理ip自备)...

查看他的端口

另外,还有一个是

对比这两款,我个人感觉V2rayN 更加稳定一些 在其他地方能共用; 但是NekoBox的个性化操作更多一些~

2.1 在charles上挂上这个代理

2.1.1 开启外部代理

更改里面的参数,对应的端口改成自己的代理ip工具端口

补:

另外记得要开启SSL代理设置; 不然抓到的包会是乱码,或者直接警告你:没开启ssl代理

3.运行代码

可以跑通...

这时候,你的每一个电脑上的请求,就可以看到了;

剩余的,监控哪个host或者怎么监控,就是对charles的事情了 ;

那么,这时候我为什么不推荐fiddler了呢?  因为,对于curl的复制,fiddler并没有charles做得好;很多时候,我们对项目代码的需求,和个性化,更多的来自于看到的,然后通过curl进行改造----那么自然就首推charles了

开启你的爬虫代码调试之路吧!