全链路仿真压测系统

news2025/1/18 6:43:55

1.项目背景

2.仿真压测系统成型之路

3. 818台网实战开始

4. 总结

1.项目背景

目前常用的压测工具一般都是针对QPS这一个单一指标进行考量。即使支持编写脚本的工具也只是通过参数化模拟用户。但是实际用户是使用单独设备请求服务器，即一个用户就是一个tcp连接。

所以为了更真实的模拟用户行为，我们需要通过一个tcp连接模拟一个用户，并通过代码方式实现用户的真实请求行为。C端及中台产研中心云平台部质量保障团队自研的“仿真压测系统”。独有的QPS动态可控技术，支持固定URL压测、参数化、Websocket协议压测、中间件、数据库等的压测，模拟用户真实轨迹，通过用户侧，服务端，DB进行数据一致性和正确性自动检验，打造真正的全链路仿真压测，该系统可扩展性强，稳定性高，目前已多次支持公司级各类大型活动的仿真全链路压测，为线上服务的稳定运行提供了强有力的质量保障。

经过四年的打磨如今借此机会与大家分享一下心路历程，积极讨论，欢迎提出意见，希望可以帮助我们进一步成长。（文中引用均为测试数据）

2.仿真压测系统成型之路

2.1

工具选型

► 2.1.1 现有的压测工具对比

图1-1

► 2.1.2 Locust发压client比较

图1-2

结合以上比较结果，目前没有合适的压测工具可以直接满足我们的压测需求，最终决定用Locust做框架,首先它是一款易于使用的分布式负载测试工具，完全基于事件，单机并发能力高，并发机制是协程，其次二次开发潜力比较大。

发压的请求client采用fasthttp, 据说是目前golang性能最好的http库，原理是利用worker复用goroutine，减轻runtime调度协程的压力，相对于自带的net/http(每个连接都需要新建一个goroutine)，性能有10倍的提升。省略一千字，直接上干货。

► 2.1.3 仿真压测系统特性：

分布式部署；
固定URL压测；
参数化脚本压测；
Websocket协议压测；
其他协议UDP、http2、 RTMP/HLS、MQTT（golang可以实现的协议都可满足）
Redis直压；
Kafka直压
Mysql直压；
自定义脚本压测（仿真压测，全链路数据对账）；
动态可控QPS、TCP；
秒级启动/停止，结果收集即停即展示，无需等待

……

► 2.1. 4 实现难点分析

模拟百万用户创建TCP/ websocket连接；长时间保持连接不断开；集中发压；

部分代码如下：

   go func() {
    for {
        select
        case data := <-r.stats.messageToRunnerChan:
            data["user_count"] = r.numClients
            r.outputOnEevent(data)
        case <-r.closeChan:
            Events.Publish("boomer:quit")
            r.stop()
            wg.Done()
            return
        }
    }
}()
集中发压
curTime := myStatus.Ct
    statusTime := myStatus.St
    c := time.After(time.Duration(statusTime-curTime) * time.Second)
    <-c
    miaosha(uidToken, &myStatus, myLog)
保持长链接
func wsWorker() {
  ws, err := websocket.Dial(wsUrl, "", origin)
  if err != nil {
  log.Println(err)
  return
  }
  defer func() {
    if p := recover(); p != nil {
    log.Println(p)
 }
 erc := ws.Close()
    if erc != nil {
     log.Println(erc)
  }
  }()
  go func() {
    ws.Write([]byte("0"))
    var t = time.Tick(time.Second * 30)
    for range t {
    if ws == nil {
        continue
    }
    ws.Write([]byte("0"))
    fmt.Println("send 0 to websocket ok!")
    }
    }()
  for {
    select {
      case <-stopChannel:
           return
      default:
        var msg = make([]byte, 512)
        start := time.Now()
        n, err := ws.Read(msg)
        log.Println(string(msg[0:n]))
        elapsed := time.Since(start)
        if myDebug {
            log.Println(string(msg))
           }
        if err != nil {
          log.Printf("Error: %s", err.Error())
        }
       }
     }
    }

2.2

日常使用截图