【教程】browsermob-proxy 基于Java的代理服务 配合selenium使用
配置依赖
<!-- 代理 配合 selenium进行抓包修改等 -->
<dependency>
<groupId>net.lightbody.bmp</groupId>
<artifactId>browsermob-core</artifactId>
<version>2.1.5</version>
</dependency>安装证书
导入证书, 可以不导入
browsermob-proxy/ca-certificate-rsa.cer at master · lightbody/browsermob-proxy (github.com)
https://jsd.cdn.zzko.cn/gh/lightbody/browsermob-proxy@master/browsermob-core/src/main/resources/sslSupport/ca-certificate-rsa.cer
或者复制下边的内容 另存为 ca-certificate-rsa.cer
-----BEGIN CERTIFICATE-----
MIIDfzCCAmegAwIBAgIVAMFQpicWi3EjPX08LgeuA8nAOEfIMA0GCSqGSIb3DQEB
DQUAMEYxGTAXBgNVBAMMEExpdHRsZVByb3h5IE1JVE0xKTAnBgNVBAoMIExpdHRs
ZVByb3h5IFJTQSBJbXBlcnNvbmF0aW9uIENBMB4XDTE1MDEwMjAwMDAwMFoXDTI1
MDEwMjAwMDAwMFowRjEZMBcGA1UEAwwQTGl0dGxlUHJveHkgTUlUTTEpMCcGA1UE
CgwgTGl0dGxlUHJveHkgUlNBIEltcGVyc29uYXRpb24gQ0EwggEiMA0GCSqGSIb3
DQEBAQUAA4IBDwAwggEKAoIBAQC141M+lc046DJaNqIARozRPROGt/s5Ng1UOE84
tKhd+M/REaOeNovW+42uMa4ZifJAK7Csc0dx54Iq35LXy0tMw6ly/MB0pFi+aFCJ
VzXZhbAWIsUmjU8t6z2Y0sjKVX/g3HkdXqaX94jlDtsTjeQXvFhiJNRlX/Locc/f
/oNYZWhg7IPGyQglRY9Dco9kZMSbh5y0yfM8002PNPbNOP4dMX4yYqovT90XbvQ2
rCBbiS6Cys7j44vwOcra9srlb3YQiOCOsYCf7eIhT1GH8tqQ84CHblufqxcGIvXv
V1ex6bDFy63tiPySsOwuVnZglkQ0MDl1GMKVySdPw/qQM5v9AgMBAAGjZDBiMB0G
A1UdDgQWBBRFMQtpkCyZIK9NxaEJDvbfaV1QOzAPBgNVHRMBAf8EBTADAQH/MAsG
A1UdDwQEAwIBtjAjBgNVHSUEHDAaBggrBgEFBQcDAQYIKwYBBQUHAwIGBFUdJQAw
DQYJKoZIhvcNAQENBQADggEBAJuYv1NuxPHom579iAjs19YrFGewHpv4aZC7aWTt
oC1y9418w7QzVOAz2VzluURazUdg/HS9s8abJ8IS0iD0xLz0B1cvJ6F2BezjAwyG
2LxZggmBdLqwjdRkX0Mx3a2HqUpEqaNeKyE8VmzwPuDHN1AqbFcuOPHN7fm7kAtL
4bxFmjgSt7PjEdYwysdjkLC6m+236tuFydpVkXMjuBthsk/hZ1Y/3tbCj/B9a9//
5O+HhYEy+Oa64iFvxfgDfKKUQR3VmwThj1Dh2iJw/kbPJEuQ/PtfcnQhOqyliwg6
Edxd1kaO4HU8Am6TwpmpPFWHRqhM2xj2PAGyfFtN1WfBEQ4=
-----END CERTIFICATE-----
配合selenium 使用
配置依赖
<!-- 控制Chrome浏览器 -->
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>${selenium.version}</version>
</dependency>
<!-- 代理 配合 selenium进行抓包修改等 -->
<dependency>
<groupId>net.lightbody.bmp</groupId>
<artifactId>browsermob-core</artifactId>
<version>2.1.5</version>
</dependency>
<!-- 工具类 -->
<dependency>
<groupId>io.github.tanyaofei</groupId>
<artifactId>guava</artifactId>
<version>${guava.version}</version>
</dependency>相关代码片段
可以修改请求参数 请求头 以及 响应结果等, 灵活性比较强
/**
* 配置代理
*
*/
BrowserMobProxy browserMobProxy = new BrowserMobProxyServer();
browserMobProxy.start();
Proxy seleniumProxy = ClientUtil.createSeleniumProxy(browserMobProxy);
/**
* RequestFilter 是一个接口，只有一个方法
* HttpResponse filterRequest(HttpRequest request, HttpMessageContents contents, HttpMessageInfo messageInfo);
*
* 当这个方法在Proxy中被调用的时候，request参数包括了HTTP method, URI, headers等等。这些都是可以修改的。
*
* 当POST方法等提请求带有参数的时候，content中可以取到参数详情。content可以通过
* HttpMessageContents#setTextContents(String) 或者 HttpMessageContents#setBinaryContents(byte[]) 来进行修改。
*
* 对于 request 和 contents 都会直接反映在最终给服务器的请求上。
*
* 如果返回值不是null, 那么代理不再往外发送请求，而是直接将这个非空的元素返回去给浏览器。
* ————————————————
* 版权声明：本文为CSDN博主「王家奇士」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
* 原文链接：https://blog.csdn.net/qijiqiguai/article/details/73930140
*/
browserMobProxy.addRequestFilter(new RequestFilter() {
@Override
public HttpResponse filterRequest(HttpRequest request, HttpMessageContents contents, HttpMessageInfo httpMessageInfo) {
String uri = request.uri();
if(uri.contains("google.com")
|| uri.contains("google.com")
){
return null;
}
HttpHeaders headers = request.headers();
String textContents = contents.getTextContents();
if(textContents.contains("335577995511")){
System.out.println("准备替换");
}
//修改请求参数
String s = textContents.replaceAll("G W ＂", "D T ＂");
s = textContents.replaceAll("G%20%20W%20%20%EF%BC%82", "1");
//指定@的位置
s = s.replaceAll("%22start%22%3A0%2C%22end%22%3A8", "%22start%22%3A0%2C%22end%22%3A2");
contents.setTextContents(s);
if(uri.contains("login.")){
System.out.println("进行登陆了");
}
if (request.getMethod().equals(HttpMethod.POST)) {
System.out.println(request.getUri() + " ######### " + contents.getTextContents());
}
System.out.println(request.getUri() + " --->> " + request.headers().get("Cookie"));
if(uri.equalsIgnoreCase("www.taobao.com:443")){
request.setUri(uri);
}
return null;
}
});
/**
* ResponseFilter是一个接口，只有一个方法 。
* void filterResponse(HttpResponse response, HttpMessageContents contents, HttpMessageInfo messageInfo);
*
* 当这个方法在Proxy中被调用的时候，response参数包括了URI, headers, status line等等。
*
* contents是返回的真正内容，可以通过以下方法来进行修改。
* HttpMessageContents#setTextContents(String) 或者 HttpMessageContents#setBinaryContents(byte[])
*
* 对response和content的修改，都会最终反映到请求发起方。
* ————————————————
* 版权声明：本文为CSDN博主「王家奇士」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
* 原文链接：https://blog.csdn.net/qijiqiguai/article/details/73930140
*/
browserMobProxy.addResponseFilter((response, contents, messageInfo) -> {
// System.out.println(
// messageInfo.getUrl() + " >>>>>> " + response.getStatus() + " : " +
// response.headers().get("cookie") + " | " + contents.getTextContents()
// );
});
// 设置浏览器参数
ChromeOptions chromeOptions = new ChromeOptions();
//设置代理
chromeOptions.setProxy(seleniumProxy);
//设置“接受不安全证书”
chromeOptions.setAcceptInsecureCerts(true);
/**
* 代理相关的
*/
browserMobProxy.enableHarCaptureTypes(CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT);
browserMobProxy.setHarCaptureTypes(CaptureType.RESPONSE_CONTENT);
browserMobProxy.newHar("代理");统一拿到请求相应结果, 跟上边方法一样, 推荐使用上边的方法
/**
* 代理相关
*/
Har har = browserMobProxy.getHar();
for (HarEntry entry : har.getLog().getEntries()) {//这儿就是获取所有的请求响应的数据
HarResponse response = entry.getResponse();
HarRequest request = entry.getRequest();
String url = request.getUrl();
String method = request.getMethod();
if(url.contains("login.")){
// System.out.println("我出来了");
HarContent content = response.getContent();
String text = content.getText();//这个是拿到响应的body,就是你想要的json数据了
// System.out.println("text-->-->"+text);
}
}
参考
browsermob-proxy, 基于Java的代理服务_王家奇士的博客-CSDN博客_browsermobproxy java
