性能测试之测试指标

news2024/11/6 7:24:41

目录

前言

系统性能指标

资源指标

中间件指标

数据库指标

前端指标

稳定性指标

批量处理指标

可扩展性指标

可靠性指标

前言

性能测试是测试一个系统在特定条件下的响应时间、并发用户数、吞吐量、内存使用率、CPU利用率、网络延迟等各项指标的过程。测试指标是根据系统性能测试的目的和测试场景，定义的一系列数值化的指标。测试指标的选择和设置是性能测试的关键。

系统性能指标

1、交易响应时间

  • 定义及解释

响应时间指用户从客户端发起一个请求开始，到客户端接收到从服务器端返回的响应结束，整个过程所耗费的时间。在性能检测中一般以压力发起端至被压测服务器返回处理结果的时间为计量，单位一般为秒或毫秒。平均响应时间指系统稳定运行时间段内，同一交易的平均响应时间。一般而言，交易响应时间均指平均响应时间。平均响应时间指标值应根据不同的交易分别设定，一般情况下，分为复杂交易响应时间、简单交易响应时间、特殊交易响应时间。其中，特殊交易响应时间的设定必须明确该交易在响应时间方面的特殊性。

  • 简称

ResponseTime:RT

  • 参考标准

不同行业不同业务可接受的响应时间是不同的，一般情况，对于在线实时交易：

  1. 互联网企业：500毫秒以下，例如淘宝业务10毫秒左右。

  2. 金融企业：1秒以下为佳，部分复杂业务3秒以下。

  3. 保险企业：3秒以下为佳。

  4. 制造业：5秒以下为佳。

对于批量交易：

  1. 时间窗口：即整个压测过程的时间，不同数据量则时间不一样，例如双11和99大促，数据量级不一样则时间窗口不同。大数据量的情况下，2小时内可完成压测。

2、系统处理能力

  • 定义及解释

系统处理能力是指系统在利用系统硬件平台和软件平台进行信息处理的能力。系统处理能力通过系统每秒钟能够处理的交易数量来评价，交易有两种理解：一是业务人员角度的一笔业务过程；二是系统角度的一次交易申请和响应过程。前者称为业务交易过程，后者称为事务。两种交易指标都可以评价应用系统的处理能力。一般的建议与系统交易日志保持一致，以便于统计业务量或者交易量。系统处理能力指标是技术测试活动中重要指标。

  • 简称

一般情况下，用以下指标来度量：

  1. HPS（HitsPerSecond）：每秒点击次数，单位是次/秒。

  2. TPS（TransactionperSecond）：系统每秒处理交易数，单位是笔/秒。

  3. QPS（QueryperSecond）：系统每秒处理查询次数，单位是次/秒。对于互联网业务中，如果某些业务有且仅有一个请求连接，那么TPS=QPS=HPS，一般情况下用TPS来衡量整个业务流程，用QPS来衡量接口查询次数，用HPS来表示对服务器单击请求。

  • 标准

无论TPS、QPS、HPS，此指标是衡量系统处理能力非常重要的指标，越大越好，根据经验，一般情况下：

  • 金融行业：1000TPS~50000TPS，不包括互联网化的活动。

  • 保险行业：100TPS~100000TPS，不包括互联网化的活动。

  • 制造行业：10TPS~5000TPS。

  • 互联网电子商务：10000TPS~1000000TPS。

  • 互联网中型网站：1000TPS~50000TPS。

  • 互联网小型网站：500TPS~10000TPS。

3、并发用户

  • 定义及解释

并发用户数指在同一时刻内，登录系统并进行业务操作的用户数量。并发用户数对于长连接系统来说最大并发用户数即是系统的并发接入能力。对于短连接系统而言最大并发用户数并不等于系统的并发接入能力，而是与系统架构、系统处理能力等各种情况相关。例如系统吞吐能力很强，加上短连接一般都有连接复用，往往并发用户数大于系统的并发接入连接数。所以对于大部分短连接类型的系统，吞吐量模式（RPS模式，RequestPerSecond）比较适合，也是阿里的最佳实践，PTS支持RPS模式的压测，吞吐量的压测构建和衡量一步到位。在测试中，采用虚拟用户来模拟现实中用户进行业务操作。

  • 简称

VirtualUser：VU

  • 标准

一般情况下，性能测试是将系统处理能力容量测出来，而不是测试并发用户数，除了服务器长连接可能影响并发用户数外，系统处理能力不受并发用户数影响，可以用最小的用户数将系统处理能力容量测试出来，也可以用更多的用户将系统处理能力容量测试出来。

4、错误率

  • 定义及解释

错误率指系统在负载情况下，失败交易的概率。错误率＝（失败交易数/交易总数）×100%。稳定性较好的系统，其错误率应该由超时引起，即为超时率。

  • 简称

VirtualFailureRatio：FR:VU

  • 标准

不同系统对错误率的要求不同，但一般不超出千分之六，即成功率不低于99.4%。

资源指标

1、CPU

  • 定义及解释

中央处理器是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ControlUnit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。CPULoad：系统正在干活的多少的度量，队列长度。系统平均负载。

  • 简称

CentralProcessingUnit：CPU

  • 标准

CPU指标主要指的CPU使用率、利用率，包括用户态（user）、系统态（sys）、等待态（wait）、空闲态（idle）。CPU使用率、利用率要低于业界警戒值范围之内，即小于或者等于75%、CPUsys%小于或者等于30%，CPUwait%小于或者等于5%。单核CPU也需遵循上述指标要求。CPULoad要小于CPU核数。

2、Memory

  • 定义及解释

内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。

  • 简称

Memory就是内存的简称。

  • 标准

现代的操作系统为了最大利用内存，在内存中存放了缓存，因此内存利用率100%并不代表内存有瓶颈，衡量系统内有瓶颈主要靠SWAP（与虚拟内存交换）交换空间利用率，一般情况下，SWAP交换空间利用率要低于70%，太多的交换将会引起系统性能低下。

3、磁盘吞吐量

  • 定义及解释

磁盘吞吐量是指在无磁盘故障的情况下单位时间内通过磁盘的数据量。

  • 简称

DiskThroughput。

  • 标准

磁盘指标主要有每秒读写多少兆，磁盘繁忙率，磁盘队列数，平均服务时间，平均等待时间，空间利用率。其中磁盘繁忙率是直接反映磁盘是否有瓶颈的重要依据，一般情况下，磁盘繁忙率要低于70%。

4、网络吞吐量

  • 定义及解释

网络吞吐量是指在无网络故障的情况下单位时间内通过的网络的数据数量。单位为Byte/s。网络吞吐量指标用于衡量系统对于网络设备或链路传输能力的需求。当网络吞吐量指标接近网络设备或链路最大传输能力时，则需要考虑升级网络设备。

  • 简称

NetworkThroughput

  • 标准

网络吞吐量指标主要有每秒有多少兆流量进出，一般情况下不能超过设备或链路最大传输能力的70%。

5、内核参数

操作系统内核参数主要包括信号量、进程、文件句柄，一般不要超过设置的参数值即可，具体如下：

一级指标二级指标单位解释
内核参数Maxuprc个限制每个用户的用户进程的最大数量
Max_thread_proc个定义每个进程允许的最大线程数量
Filecache_max字节最大可用于cachefileI/O的物理内存
Ninode个内存中HFS文件系统打开i节点的最大数量
Nkthread个限制允许同时运行的线程数量
Nproc个限制允许同时运行的进程数量
Nstrpty个基于STREAMS的伪终端（pts）的最大数量
Maxdsiz字节任何用户进程的数据段的最大大小（以字节为单位）
maxdsiz_64bit字节任何用户进程的数据段的最大大小（以字节为单位）
maxfiles_lim个每个进程的文件描述符的最大数目硬限制
maxssiz_64bit字节任何用户进程的堆栈的最大大小
Maxtsiz字节任一用户进程的文本段的最大大小
nflocks个文件锁的最大数量
maxtsiz_64bit字节任一用户进程的文本段的最大大小
msgmni个系统级SystemVIPC消息队列（ID)所允许的最大数量
msgtql个系统中任意时间的最大SystemVIPC消息数
npty个BSD伪终端（pty）的最大数量
nstrtel个指定内核可支持传入telnet会话的telnet设备文件的数量
nswapdev个可用于交换的设备的最大数量
nswapfs个可用于交换的文件系统的最大数量
semmni个SystemVIPC系统级信号量标识符的数量
semmns个SystemV系统级信号量的数量
shmmax字节SystemV共享内存段的最大大小
shmmni个系统中SystemV共享内存段标识符的数量
shmseg个每个进程SystemV共享内存段的最大数量

中间件指标

1、定义及解释

常用的中间件例如Tomcat、Weblogic等指标主要包括JVM、ThreadPool、JDBC，具体如下：

一级指标二级指标单位解释
GCGC频率每秒多少次Java虚拟机垃圾部分回收频率
Full GC频率每小时多少次Java虚拟机垃圾完全回收频率
Full GC平均时长秒用于垃圾完全回收的平均时长
Full GC最大时长秒用于垃圾完全回收的最大时长
堆使用率百分比堆使用率
Thread PoolActive Thread Count个活动的线程数
Pending User Request个处于排队的用户请求个数
JDBCJDBC Active Connection个JDBC活动连接数

2、标准

  • 当前正在运行的线程数不能超过设定的最大值。一般情况下系统性能较好的情况下，线程数最小值设置50和最大值设置200比较合适。

  • 当前运行的JDBC连接数不能超过设定的最大值。一般情况下系统性能较好的情况下，JDBC最小值设置50和最大值设置200比较合适。

  • GC频率不能频繁，特别是FULLGC更不能频繁，一般情况下系统性能较好的情况下，JVM最小堆大小和最大堆大小分别设置1024M比较合适。

数据库指标

1、定义及解释

常用的数据库例如ＭySQL指标主要包括SQL、吞吐量、缓存命中率、连接数等，具体如下：

2、标准

  • SQL耗时越小越好，一般情况下微秒级别。

  • 命中率越高越好，一般情况下不能低于95%。

  • 锁等待次数越低越好，等待时间越短越好。

前端指标

1、定义及解释

前端指标主要包括页面展示和网络所花的时间，具体如下：

2、标准

  • 页面要尽可能小及压缩。

  • 页面展示和花费时间越短越好。

稳定性指标

1、定义及解释

最短稳定时间：系统按照最大容量的80%或标准压力（系统的预期日常压力）情况下运行，能够稳定运行的最短时间。一般来说，对于正常工作日（8小时）运行的系统，至少应该能保证系统稳定运行８小时以上。对于7×24运行的系统，至少应该能够保证系统稳定运行24小时以上。如果系统不能稳定的运行，上线后，随着业务量的增长和长时间运行，将会出现性能下降甚至崩溃的风险。

2、标准

  • TPS曲线稳定，没有大幅度的波动。

  • 各项资源指标没有泄露或异常情况。

批量处理指标

1、定义及解释

指批量处理程序单位时间内处理的数据数量。一般用每秒处理的数据量来衡量。处理效率是估算批量处理时间窗口最重要的计算指标。关于批量处理时间窗口，不同系统的批量处理时间窗口在起止时间上可以部分重叠。另外，同一系统内部，也可能存在多个批量处理过程同时进行，其时间窗口相互叠加。长时间批量处理将会对联机在线实时交易产生重大的性能影响。

2、标准

  • 在数据量很大的情况下，批处理时间窗口时间越短越好。

  • 不能影响实时交易系统性能。

可扩展性指标

1、定义及解释

指应用软件或操作系统以集群方式部署，增加的硬件资源与增加的处理能力之间的关系。计算公式为：（增加性能/原始性能）/（增加资源/原始资源）×100%。扩展能力应通过多轮测试获得扩展指标的变化趋势。一般扩展能力非常好的应用系统，扩展指标应是线性或接近线性的，现在很多大规模的分布式系统的扩展能力非常好。

2、标准

  • 理想的扩展能力是资源增加几倍，性能就提升几倍。

  • 扩展能力至少在70%以上。

可靠性指标

1、双机热备

对于将双机热备作为可靠性保障手段的系统，可衡量的指标如下：

  • 节点切换是否成功及其消耗时间。

  • 双机切换是否有业务中断。

  • 节点回切是否成功及其耗时

  • 双机回切是否有业务中断。

  • 节点回切过程中的数据丢失量。在进行双机切换的同时，使用压力发生工具模拟实际业务发生情况，对应用保持一定的性能压力，保证测试结果符合生产实际情况。

2、集群

对于使用集群方式的系统，主要通过以下方式考量其集群可靠性：

  • 集群中某个节点出现故障时，系统是否有业务中断情况出现。

  • 在集群中新增一个节点时，是否需要重启系统。

  • 当故障节点恢复后，加入集群，是否需要重启系统。

  • 当故障节点恢复后，加入集群，系统是否有业务中断情况出现。

  • 节点切换需要多长时间。在验证集群可靠性的同时，需根据具体情况使用压力工具模拟实际业务发生相关情况，对应用保持一定的性能压力，确保测试结果符合生产实际情况。

3、备份和恢复

本指标为了验证系统的备份、恢复机制是否有效可靠，包括系统的备份和恢复、数据库的备份和恢复、应用的备份和恢复，包括以下测试内容：

  • 备份是否成功及其消耗时间。

  • 备份是否使用脚本自动化完成。

  • 恢复是否成功及其消耗时间。

  • 恢复是否使用脚本自动化完成指标体系的运用原则。

  • 指标项的采用和考察取决于对相应系统的测试目的和测试需求。被测系统不一样，测试目的不一样，测试需求也不一样，考察的指标项也有很大差别。

  • 部分系统涉及额外的前端用户接入能力的，需要考察用户接入并发能力指标。

  • 对于批量处理过程的性能验证，主要考虑批量处理效率并估算批量处理时间窗口。

  • 如测试目标涉及到系统性能容量，测试需求中应根据相关指标项的定义，明确描述性能指标需求。

  • 测试指标获取后，需说明相关的前提条件（如在多少的业务量、系统资源情况等）。

作为一位过来人也是希望大家少走一些弯路，希望能对你带来帮助。（WEB自动化测试、app自动化测试、接口自动化测试、持续集成、自动化测试开发、大厂面试真题、简历模板等等），相信能使你更好的进步！

 留【自动化测试】即可【自动化测试交流】：574737577（备注ccc）http://qm.qq.com/cgi-bin/qm/qr?_wv=1027&k=6gweEAHLIo-VjldEz9_yMjFfeBIGgEu2&authKey=MC4ik2bydrYxO5if1oNFzT6c93XUrxOxYtv7IRYOVRDNh47xpEllgkFVDlFD%2Bf6M&noverify=0&group_code=574737577

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/686945.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Alibaba Cloud Linux 3.2104 LTS 64位 安装lnmp环境php8、mysql8

Alibaba Cloud Linux 3.2104 LTS 64位 安装lnmp环境php8、mysql8

Alibaba Cloud Linux 3.2104 LTS 64位服务器安装lnmp环境全过程 以下都为阿里云购买的服务器为例 前言 购买了阿里云的服务器之后切记切记切记！ 第一步设置：更多> 网络和安全组> 安全组配置>入方向 第二步 设置root账户的密码（如…
阅读更多...
如何在矩池云复现开源对话语言模型 ChatGLM

如何在矩池云复现开源对话语言模型 ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 Chat…
阅读更多...
ART-Pi BT_WiFi 模块固件下载

ART-Pi BT_WiFi 模块固件下载

源文件《UM5003-RT-Thread ART-Pi BT_WIFI 模块固件下载手册.md》 ART-Pi BT_WiFi 模块固件下载 ART-Pi 板卡在出厂时已经烧录过 BT_WiFi 固件，存储在外部 Flash。如果固件被不慎擦除，会导致 BT_WiFi 模组的功能无法正常使用，出现异常情况&…
阅读更多...
【图像处理OpenCV(C++版)】——5.2 图像平滑之高斯平滑

【图像处理OpenCV(C++版)】——5.2 图像平滑之高斯平滑

前言： 😊😊😊欢迎来到本博客😊😊😊 🌟🌟🌟 本专栏主要结合OpenCV和C来实现一些基本的图像处理算法并详细解释各参数含义，适用于平时学习、工作快…
阅读更多...
RabbitMQ常见的应用问题

RabbitMQ常见的应用问题

文章目录 1.消息可靠性保障2.消息的幂等性保障 1.消息可靠性保障 在实际生产环境中，可能会由于网络问题导致消息接收异常产生某种影响，基于这种情况我们需要保障消息的可靠性。 RabbitMQ中的消息可靠性也称为消息补偿，如下图所示&#xff0…
阅读更多...
浅析 Jetty 中的线程优化思路

浅析 Jetty 中的线程优化思路

作者：vivo 互联网服务器团队- Wang Ke 本文介绍了 Jetty 中 ManagedSelector 和 ExecutionStrategy 的设计实现，通过与原生 select 调用的对比揭示了 Jetty 的线程优化思路。Jetty 设计了一个自适应的线程执行策略（EatWhatYouKill&#xff09…
阅读更多...
Origin如何绘制带拟合曲线的频数分布图？

Origin如何绘制带拟合曲线的频数分布图？

文章目录 0.引言1.准备数据2.频数分布参数设置并绘图3.拟合曲线参数设置并绘图 0.引言 笔者研究的方向关于点云数据采集和建模算法，在对一个平面进行数据采集并建模后，需要实验结果进行精度分析，为了知道建模结果的点云集中于平面的程度&…
阅读更多...
专场来袭，深度解读阿里云视频云的全智能进化

专场来袭，深度解读阿里云视频云的全智能进化

云智深度融合，视频云将幻化出怎样的新光景？ 01 「云智新生」_ 视频云的全智能进化 新数智时代，云和AI在走向深度融合，以云计算为基石、以AI为引擎的云智深度融合，俨然成为行业共识。以“云智”为支撑，视频云…
阅读更多...
基于JavaWeb的土特产销售购物商城的设计与实现

基于JavaWeb的土特产销售购物商城的设计与实现

1.引言 随着互联网技术的不断发展，电子商务已成为一种重要的经济活动形式。土特产作为传统文化的代表之一，在旅游业中具有非常重要的地位。因此，将土特产销售与电子商务相结合，建立一个基于JavaWeb的土特产销售购物商城&#xff…
阅读更多...
java进阶—代码演示多线程的生命周期

java进阶—代码演示多线程的生命周期

前言 回顾一下 到现在，我们已经知道了 线程的三种创建方式及其选择线程的常用方法线程的安全问题以及线程的死锁线程之间的通信（等待唤醒） 今天，我们一起来看看线程的生命周期，生命周期这个词在后续的javaweb 相关知…
阅读更多...
【论文系列解读】LLM构建通用视觉(SUR-Adapter)声音模型(Tango)

【论文系列解读】LLM构建通用视觉(SUR-Adapter)声音模型(Tango)

通用视觉&音频模型的思考 0. 视觉(Diff)怎么和多模态结合(0) 总结(1) 关键技术(1-1) LangChain(1-2) **Versatile Diffusion**(1-3) Tango(1-4) SUR-adapter 1. SUR-Adapter(0) 总结(1) 摘要(2) 相关工作(2-1) 文图生成 & LLM(2-2) 语义理解和推理数据集(2-2-1) 数据收…
阅读更多...
【案例教程】环境多介质逸度模型实践技术与典型案例【代码】应用

【案例教程】环境多介质逸度模型实践技术与典型案例【代码】应用

【原文链接】：【案例教程】环境多介质逸度模型实践技术与典型案例【代码】应用https://mp.weixin.qq.com/s/i8BpApcz1p4Ua6bytxhGwA 内容简要：【注：提供以下模型所有教程】 专题一：基本理论 1.逸度的定义 2.逸度模型的基本原理…
阅读更多...
蓝牙音箱中应用的国产蓝牙芯片

蓝牙音箱中应用的国产蓝牙芯片

蓝牙音箱指的是内置蓝牙芯片，以蓝牙连接取代传统线材连接的音响设备，通过与手机平板电脑和笔记本等蓝牙播放设备连接，达到方便快捷的目的。蓝牙音箱以便携音箱为主，外形一般较为小巧便携，蓝牙音箱技术也凭借其方便人的…
阅读更多...
AI绘画中的负面词 是如何正确使用以及发挥作用

AI绘画中的负面词 是如何正确使用以及发挥作用

Stable Diffusion的艺术或图像生成，有些参数是必不可少的，其中之一就是负提示。本次将深入解析稳定扩散中的负提示是什么，如何使用这个参数来生成高质量的图像。 文章目录 negative prompt如何正确使用？正面词控制通过负面词控制 …
阅读更多...
IP地址、MAC地址、互联网、WLAN、运营商、子网掩码、网络地址、网段、网关、集线器、光纤、基站

IP地址、MAC地址、互联网、WLAN、运营商、子网掩码、网络地址、网段、网关、集线器、光纤、基站

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起学习和分享Linux、C、C、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和…
阅读更多...
从2PC和容错共识算法讨论zookeeper中的Create请求 | 京东云技术团队

从2PC和容错共识算法讨论zookeeper中的Create请求 | 京东云技术团队

最近在读《数据密集型应用系统设计》，其中谈到了zookeeper对容错共识算法的应用。这让我想到之前参考的zookeeper学习资料中，误将容错共识算法写成了2PC（两阶段提交协议），所以准备以此文对共识算法和2PC做梳理和区分&a…
阅读更多...
近日网上传出消息，ARM正与Intel共同开发制造芯片

近日网上传出消息，ARM正与Intel共同开发制造芯片

近日网上传出消息，ARM正与Intel共同开发制造芯片，让芯片设计者能够基于Intel 18A制程打造低功耗的SoC。另有多位业内人士透露，这次制造的芯片将主要用于移动设备、笔记本电脑、数据中心等。 若这一消息属实，会对中国芯片行业带来…
阅读更多...
常见的SQL优化方案

常见的SQL优化方案

1. insert优化 1.1 批量插入 我们之前插入数据都是一条一条插入的，会导致频繁操作数据库，从而影响性能。比如遍历某个集合，然后逐个使用insert语句插入数据库表中 INSERT INTO table (name, age) VALUES (张三, 18); INSERT INTO table (na…
阅读更多...
6-js基础-3

6-js基础-3

JavaScript 基础 - 3 知道什么是数组及其应用的场景，掌握数组声明及访问的语法，具备利用数组渲染柱形图表的能力 今日重点： 循环嵌套数组综合案例 今日单词： 循环嵌套 利用循环的知识来对比一个简单的天文知识，我们…
阅读更多...
arcpy制作脚本工具相关（制作并添加脚本工具、脚本工具消息提示、arcpy工具自动获取数据）

arcpy制作脚本工具相关（制作并添加脚本工具、脚本工具消息提示、arcpy工具自动获取数据）

前言 采用arcpy制作arcgis的脚本工具，记录如下。 一、脚本工具的制作 制作脚本工具分为两步： 1、先编写对应功能的python脚步 2、将对应功能的脚本修改为，能自己手动选择输入输出数据的脚本 3、将修改完的脚本添加到工具箱 1、编写代码 我…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023