使用 Chromedp 监听网页请求和响应
在进行网络爬虫的时候，有很多网站都有反爬机制，比如你想抓点数据，结果发现每次请求都带一堆奇奇怪怪的参数 —— 什么 timestamp 签名、AES 加密的字段，还有各种 Token 令牌，跟密码本似的。你直接看网页源代码吧，那些 JS 代码被混淆得亲妈都不认识，像一团乱麻似的根本理不清头绪。
这时候我们可以使用chromedp来监听网页请求，它的核心价值在于：第一不用费劲巴拉地去解密那些被混淆的 JS 代码，直接拿现成的参数用；第二能盯着不同操作时参数怎么变，比如刷新页面时哪个值会变，登录时多了哪个字段；
什么是 Chromedp
ChromeDP 是一个 Go 语言实现的库，它提供了无头浏览器的操作和控制能力，可以用来进行网页自动化、爬虫和测试等工作。通过 ChromeDP，我们可以编程方式监听网页上的各种事件，包括网络请求和响应。
环境准备
首先，我们需要安装 Go 和 ChromeDP 库：
// 安装 ChromeDP
go get -u github.com/chromedp/chromedp
演示代码
下面是一个基本的示例，演示如何使用 ChromeDP 监听网页请求：
package main
import (
"context"
"encoding/base64"
"fmt"
"log"
"time"
"github.com/chromedp/cdproto/network"
"github.com/chromedp/chromedp"
)
func EnBase64(base64String string) string {
decodedBytes, err := base64.StdEncoding.DecodeString(base64String)
if err != nil {
log.Println("解码错误:", err)
return ""
}
return string(decodedBytes)
}
func main() {
// 创建一个带取消功能的上下文
ctx, cancel := context.WithTimeout(context.Background(), 100*time.Second)
defer cancel()
// 创建一个ChromeDP选项，启用网络事件
opts := append(chromedp.DefaultExecAllocatorOptions[:],
chromedp.Flag("headless", false),
chromedp.Flag("disable-gpu", true),
chromedp.Flag("enable-automation", true),
chromedp.Flag("disable-extensions", true),
)
allocCtx, cancel := chromedp.NewExecAllocator(ctx, opts...)
defer cancel()
// 创建一个新的浏览器实例
taskCtx, taskCancel := chromedp.NewContext(allocCtx)
defer taskCancel() // 确保在退出时取消 taskCtx
// 监听请求开始事件
chromedp.ListenTarget(taskCtx, func(ev interface{}) {
switch e := ev.(type) {
case *network.EventRequestWillBeSent:
// 打印请求信息
fmt.Printf("请求URL: %s\n", e.Request.URL)
fmt.Printf("请求方法: %s\n", e.Request.Method)
fmt.Printf("请求头: %v\n", e.Request.Headers)
// 如果有请求体，打印请求体
if e.Request.HasPostData {
entries := e.Request.PostDataEntries
for _, entry := range entries {
fmt.Printf("请求体: %s\n", EnBase64(entry.Bytes))
}
}
fmt.Println("------------------------")
case *network.EventResponseReceived:
// 打印响应信息
fmt.Printf("响应URL: %s\n", e.Response.URL)
fmt.Printf("响应状态: %d\n", e.Response.Status)
fmt.Printf("响应头: %v\n", e.Response.Headers)
// 获取响应体
/*
不知道怎么回事直接在ListenTarget中使用GetResponseBody，会一直报错invalid context
关于GetResponseBody 处理可以看 https://github.com/chromedp/chromedp/issues/427
*/
go func() {
chromedp.Run(taskCtx, chromedp.ActionFunc(func(ctx context.Context) error {
body, err := network.GetResponseBody(e.RequestID).Do(ctx)
if err != nil {
fmt.Println(err)
}
fmt.Printf("响应体: %s\n", string(body))
return nil
}))
}()
fmt.Println("------------------------")
}
})
// 启用网络监听
if err := chromedp.Run(taskCtx,
network.Enable(),
// 访问指定网页
chromedp.Navigate("https://blog.csdn.net/yang731227"),
// 等待页面加载完成
chromedp.Sleep(15*time.Second),
); err != nil {
log.Fatal(err)
}
}
过滤特定类型的请求
如果您只想监听特定类型的请求（例如，只关注 XHR 请求或特定 URL 模式），可以这样做：
// 在 EventRequestWillBeSent 事件处理中添加过滤逻辑
case *network.EventRequestWillBeSent:
// 只关注 XHR 请求
if e.Type == network.ResourceTypeXHR {
fmt.Printf("XHR请求: %s %s\n", e.Request.Method, e.Request.URL)
}
// 或者只关注特定URL模式
if strings.Contains(e.Request.URL, "api") {
fmt.Printf("API请求: %s %s\n", e.Request.Method, e.Request.URL)
}
