线上接口tp99突然升高如何排查？

news2025/3/11 2:16:44

当线上接口的 TP99 突然升高时，意味着该接口在 99% 的情况下响应时间变长，这可能会严重影响系统的性能和用户体验。可以按照下面的步骤进行排查。
这里我们先说明一下如何计算tp99：监控系统计算 TP99（第 99 百分位数的响应时间）
- 排序法
  数据收集：监控系统会持续收集接口的响应时间数据，这些数据可以是每秒、每分钟或者其他时间间隔内的响应时间样本。
  排序：将收集到的一定时间窗口内（如一分钟、一小时等）的所有响应时间数据进行排序，从最小值到最大值排列。
  定位 TP99：计算数据总数的 99% 位置所对应的响应时间值。假设在一个小时内收集到了 1000 个响应时间数据点，那么第 990 个位置（1000×99% = 990）的数据值就是 TP99。如果数据点的数量不是整数，可以通过插值的方法来确定 TP99 的值。
- 分桶法
  确定桶的范围和大小：将响应时间划分为多个连续的区间，即 “桶”。例如，以 0-100 毫秒、100-200 毫秒、200-300 毫秒等为桶，每个桶有一个固定的范围。
  数据分组：将收集到的响应时间数据分配到对应的桶中，统计每个桶内的数据数量。
  计算 TP99：从最小的桶开始，依次累加每个桶内的数据数量，直到累加的数量达到或超过总数据量的 99%。此时，当前桶的上限值或者通过在当前桶内进行进一步计算得到的值就是 TP99。

整体分析思路为：先整体后局部。先看整体服务CPU、内存等使用情况；再观察接口流量、调用链路。

1. 确认问题范围

监控数据收集：查看接口的监控数据，包括响应时间、吞吐量、错误率等指标的历史数据，确认 TP99 升高是个别接口还是多个接口的普遍问题。
业务流量分析：检查业务流量是否有异常波动，例如是否有突发的高并发请求、爬虫攻击等。

2. 应用程序层面排查

代码审查
- 近期代码变更：查看最近是否有代码部署到线上环境，尤其是与该接口相关的代码。检查新代码中是否存在性能问题，例如死循环、大量的数据库查询、复杂的计算逻辑等。
- 日志分析：查看应用程序的日志，查找是否有异常信息，如错误堆栈、警告信息等。日志中可能会记录一些导致接口响应时间变长的关键信息。
资源使用情况
- CPU 使用率：检查应用程序所在服务器的 CPU 使用率是否过高。如果 CPU 使用率接近 100%，可能是由于代码中存在大量的计算密集型任务或者死循环导致的。
- 内存使用情况：查看应用程序的内存使用情况，是否存在内存泄漏的问题。内存泄漏会导致应用程序的内存占用不断增加，最终影响系统的性能。
- 线程池状态：检查应用程序的线程池配置和状态，是否存在线程池满、线程阻塞等问题。

3. 数据库层面排查

慢查询分析
- 数据库日志：查看数据库的慢查询日志，找出执行时间较长的 SQL 语句。可以通过优化这些 SQL 语句，例如添加索引、优化查询条件等，来提高数据库的查询性能。
- 数据库连接池：检查数据库连接池的配置和状态，是否存在连接池满、连接泄漏等问题。
数据库性能指标
- CPU 使用率：检查数据库服务器的 CPU 使用率是否过高。
- 磁盘 I/O：查看数据库服务器的磁盘 I/O 情况，是否存在磁盘读写瓶颈。
- 内存使用情况：检查数据库服务器的内存使用情况，是否存在内存不足的问题。

4. 网络层面排查

网络延迟
- Ping 命令：使用 ping 命令检查应用程序服务器和数据库服务器之间的网络延迟是否正常。
- Traceroute 命令：使用 traceroute 命令查看数据包从应用程序服务器到数据库服务器的路由路径，检查是否存在网络拥塞或者丢包的情况。
网络带宽：检查应用程序服务器和数据库服务器的网络带宽使用情况，是否存在带宽不足的问题。

5. 中间件层面排查

负载均衡器：检查负载均衡器的配置和状态，是否存在负载不均衡、转发错误等问题。
缓存系统：如果接口使用了缓存系统，检查缓存系统的性能和命中率，是否存在缓存穿透、缓存雪崩等问题。

6. 压测和复现问题

模拟高并发：在测试环境中模拟高并发场景，复现 TP99 升高的问题。通过压测工具，如 Apache JMeter、Gatling 等，对接口进行压力测试，观察接口的性能表现。
逐步排查：在压测过程中，逐步排除可能的因素，例如关闭某些功能模块、调整配置参数等，找出导致 TP99 升高的具体原因。