原文地址:码农在新加坡的个人博客
背景
不知道大家有没有这种经历,想要抢课,定场,发现抢不到,想要捡漏,又要随时刷,今天我就来讲一下我是怎么使用Go语言开发自动化脚本来解决定场,抢购,预约的难题。
基础知识
浏览器发送HTTP请求
我们在浏览器中打开一个网站执行一系列操作,其实就是用户通过浏览器与网站服务器的HTTP交互的过程。
下图是一个最简单的流程:
- 用户在浏览器输入账号密码登录(也可能是扫描二维码或者第三方账号登录),然后浏览器会发送一个HTTP请求到网站服务器,网站服务器验证成功之后根据你的账号信息生成一个
Token
或者Session
,然后把Token
或者SessionID
返回给浏览器并告诉浏览器登录成功,浏览器跳转登录后的页面。 - 用户点击查询,比如查询是否有合适的Slot,浏览器发送查询HTTP请求给网站服务器,带上
Token
,Token
是用来验证这个用户是谁,服务器验证成功之后返回可以预定的列表。比如一个可预订的时间列表。 - 用户选择列表里面一个可用的
Slot
,开始预订,浏览器发送预订HTTP请求给网站服务器,带上Token
和SlotId
,SlotId
用来验证你要定的那个Slot是什么,比如是哪天什么时间段等等。如果服务器收到请求的时候这个Slot
还是可用的,那么就记录下单并返回预订成功。 - 然后你就可以点击付款按钮,可以通过余额,银行卡或支付宝等第三方付款方式付款,付款成功会返回给浏览器告诉用户下单成功。
自动化流程
理解了这个最简单的流程,那我们就可以开始想怎么样自动化流程。
最简单的情况就是:我们把查询和预订的过程自动化。当然登录的过程也是可以的,只不过很多第三方/二维码登录的,有时候还需要验证码,比较复杂,为了简单我就自己通过浏览器登录拿到Token之后自动查询和预订。
- 登录成功后拿到Token。
- 脚本使用这个Token运行脚本工具,循环执行查询和预订的HTTP命令,如果预订成功,邮件通知给用户。
- 收到邮件之后打开浏览器付款。
Token一般来说每次登录后有效期为1小时到1天左右(取决于网站服务器的设定),所以我们需要每段时间获取一次Token重新执行脚本。
自动发送Email
SMTP是发送邮件的协议,我们可以通过简单的代码来实现发送邮件的功能,在这里主要是通过gomail.v2
的 Go语言库 来支持订购成功之后发送邮件通知。
每个邮件运营商 (qq, 163, gmail, outlook, …)都有自己的SMTP的域名和端口,
比如你使用qq邮箱发邮件,去QQ邮箱的 帮助中心 可以查到他们的SMTP服务器端口是465或者587,就用他们提供的smtp.qq.com:587
,即可发送成功。
其他的SMTP协议的运营商可以查看我的另一个博客:
各大邮箱smtp服务器及端口
实现
有了这些基础知识之后,我们就可以开始用代码实现脚本工具的自动化流程了。
模拟
需要实现自动化脚本,第一步就是需要模拟HTTP请求,相当于把用户在浏览器的一系列操作用代码来实现。
要代码实现我们就需要先知道发送的HTTP请求的URL,Header,Payload分别是什么。
开发者模式
在Chrome浏览器使用F12
进入开发者模式,选择Network->找到HTTP请求的Name->可以看到右边有Header、Preview、Response等信息,这就是用户行为(点击事件)产生的网络交互,也就是浏览器向服务器请求数据并返回给浏览器的过程。
而我们要模拟的就是这个HTTP网络交互的行为。
找到你要模拟的HTTP请求的Name,右键->Copy
->Copy As cURL
。
cURL
cURL
是一个Linux命令,开发人员使用它来与服务器进行数据交互,cURL 里面包括 url, body, header, 加密方式 等等,正确设置命令后执行即可得到服务器的正确响应。
拿到cURL我们可以写go语言代码来模拟HTTP请求,要自己填充Header,Body等信息。容易写错。庆幸的是,已经有人做了自动化的工具帮我们一键把cURL转成Go语言的代码,也就是说我们不用自己写具体的HTTP请求代码了。
网站地址:curl-to-go
我们把cURL复制到网站里面就可以实时得到具体的Go代码。
当然这个工具只帮我们创建了Body的结构体,具体的值还是需要我们去填充,我们从curl里面找到
--data-raw
来自己填进去即可。
// Generated by curl-to-Go: https://mholt.github.io/curl-to-go
// curl 'https://www.zhihu.com/api/v4/answers/2807591609/voters' \
// -H 'authority: www.zhihu.com' \
// -H 'accept: */*' \
// -H 'accept-language: zh-CN,zh;q=0.9,en;q=0.8' \
// -H 'content-type: application/json' \
// --data-raw '{"type":"up"}' \
// --compressed
type Payload struct {
Type string `json:"type"`
}
data := Payload{
// fill struct
Type: "up", // fill struct yourself based on the data-raw
}
payloadBytes, err := json.Marshal(data)
if err != nil {
// handle err
}
body := bytes.NewReader(payloadBytes)
req, err := http.NewRequest("POST", "https://www.zhihu.com/api/v4/answers/123456789/voters", body)
if err != nil {
// handle err
}
req.Header.Set("Authority", "www.zhihu.com")
req.Header.Set("Accept", "*/*")
req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8")
req.Header.Set("Content-Type", "application/json")
// Other Headers
resp, err := http.DefaultClient.Do(req)
if err != nil {
// handle err
}
defer resp.Body.Close()
代码
整个流程清楚了,那么下一步就是打开你的编辑器,来实现代码了。我这里实现了一个网站的预订的代码,来给大家讲解一下,登录我并没有实现,而是使用curl to go
生成了Go语言代码并根据go struct改造具体条件。在Cookie没过期的情况下可以循环调用。
自动预订代码:github.com
query.go
,查询的HTTP请求,把刚才curl-to-go
生成的Go代码Copy进来,填上Payload就可以请求成功了。book.go
,把你刚才query的结果传进来,根据你的需求过滤满足条件的Slot
,直接预订即可。email.go
,发送邮件的接口,我使用了gomail.v2
的库,非常好用。config.go
,配置文件,通过json输入parse.go
,解析respone的,main.go
,主函数,读取json配置,定时执行查询和预订的接口,根据response的结果看是否成功,成功后发送邮件给你。README.md
,告诉你怎么执行这个工具的。
这是相对比较简单的流程。
所以我们要做的就是手动在浏览器登录(也可以代码模拟登录),然后把返回的token放到query的HTTP请求里面。更简单的做法是,直接把query的cURL拿来curl-to-go
转成go语言,Cookie已经在Header里面了。
然后我们再写booking
的的流程,正常来说在一段时间内的Header
都是一样的,我们直接把query的Header
存起来赋值给booking
的HTTP请求即可。
然后再写定时,你可以开启一个定时器,可以每x秒执行一次,然后执行n次停下来,或者永久执行。只是这个token一段时间后会过期,需要重新从浏览器登录并拿到Token信息复制到代码里面执行。
下一步就是发邮件,我们使用SMTP请求发送邮件,需要配置两个邮件,A发给B,然后需要填写A邮箱的SMTP+Port+email+password
。
我这边使用了gomail.v2的go语言库。
官网链接:gomail.v2 以供参考。
这样我们就写完代码了,
执行 go run main.go
就可以执行了。
然后你就可以玩玩手机等着预订成功之后给你发邮件了,你也可以只是查询,查询到之后给你发邮件你自己登录进去再预订。
结语
代码放在了Github 上,有兴趣的小伙伴可以参考,只不过每个网站的HTTP调用的Header的Body的格式都不一样,还需要你自己修改一些代码。所以还需要有一定代码能力的人才可以改造成自己
但是整体的框架我已经搭好了,希望可以减少你大量的工作量。
请阅读你需要访问的网站的规定,是否禁止第三方脚本,避免自己的账号有被封禁的风险。请遵守法律法规。
<全文完>