性能测试的目的
验证系统是否能满足用户提出的性能指标
发现性能瓶颈,优化系统整体性能
性能测试的分类
注:这些测试类型其实是密切相关,甚至无法区别的,例如几乎所有的测试都有并发测试。在实际中不用纠结具体的概念。而是要明确测试的目的。
负载测试:系统在不同负载下的性能表现,通过负载测试能够测试出系统在各种负载下的性能变化曲线,发现系统的性能拐点,从而找出系统的最佳性能。举例:用户并发测试(递增并发用户数,查看系统性能指标变化)。
压力测试:系统在高强度负载下的性能表现,通过压力测试可以测试出系统能够承受的最大负载。压测是一种寻求系统介于正常和不正常之间临界值的一种负载测试。压测不仅关注高负载下系统是否正常运行,同时关注负载减小后,系统是否能够恢复。
负载测试VS压力测试
相同点:两种测试都是针对系统承受能力的测试,都是一种量的测试;
不同点:负载测试是观察系统在不同负载下的测试,旨在找出系统的性能拐点或最佳性能;压力测试是观察系统在高负载下的运行情况,旨在找出系统所能承受的最大负载以及系统在高压下再减压后系统恢复正常的能力。
并发测试:通过模拟用户并发访问,测试多用户在同一时间内访问同一个应用,同一个模块或者数据记录时是否存在死锁或者其他性能问题。并发测试一般没有标准,只是测试并发时会不会出现意外情况,几乎所有的性能测试都会涉及一些并发测试,例如多个用户同时访问某一条件数据,多个用户同时在更新数据,那么数据库可能就会出现访问错误、写人错误等异常情况。
并发数计算方法: 并发数=PV / PV Time× 页面连接次数×HTTP 响应时间× 因数/ Web 服务器数量。 其中,PV Time 是PV 的统计时间,换算成秒,一天是86 400s。页面连接次数包括外部的JS、CSS、图片等,一般为 10。HTTP 响应时间一般可为1s 或更少。因数一般为5。假设,网易官网每天有6 万PV,其余参数保持默认,那么推算 出来的并发数大致为35。(pv---page view,即页面浏览量) 并发数:60000/86400*10*5=35
容量测试:在一定的软硬件及网络环境下,测试系统所能支持的最大用户数、最大存储量等。容量测试通常与数据库、系统资源(如CPU、内存、磁盘等)有关,用于规划将来需求增长(如用户增长、业务量增加等)时,对数据库和系统资源的优化。举例:电子商务网站所能承受的、同时进行交易或结算的在线用户数。
可靠性测试/稳定性测试/疲劳测试:在特定的负载下(正常或略高于正常的负载),在一段运行周期内,对被测系统进行一系列的正常操作,观察各个系统性能指标变化以及系统是否能够长期稳定运行。如CPU使用率在80%以上,7*24小时运行,系统是否稳定。通过对软件稳定性的测试可以观察在一个运行周期内、一定的压力条件下,软件的出错机率、性能劣化趋势等。进而大大减少软件上线后的崩溃卡死等现象,为软件的逐步优化提供方向及验证。
基准测试:一种测量和评估软件性能指标的活动。在特定时期(系统稳定时)通过基准测试建立一个已知的性能水平(称为基准线),当系统的软硬件环境发生变化之后再进行一次基准测试以确定那些变化对性能的影响。基准测试可以比较系统在版本迭代过程中,各个性能指标的变化,为系统的版本迭代优化提供参考。
配置测试:指调整软件系统的软硬件环境,测试各种环境对系统性能的影响,从而找到系统各项资源的最优分配原则。配置测试不改变代码,只改变软硬件配置,例如安装版本更高的数据库、配置性能更好的CPU和内存等,通过更改外部配置来提高软件的性能。
异常测试/失败测试:是指系统架构方面的测试。如在负载均衡架构中,要测试宕机、节点挂掉等情况系统的反映。
性能测试的流程
需求分析->性能指标制定->脚本开发->场景设置->监控部署->测试执行->性能分析->性能调优->测试报告
需求分析的目的:
明确测试指标
明确测试场景
性能指标制定的依据:
新系统——同行业比较、业务预期
老系统——对比以往的用户使用行为以及用户量
常见系统应用分层架构
5. 性能测试的术语
事务:从客户端发起的一个或多个请求(这些请求组成一个完整的操作),到客户端接收到从服务器返回的响应。
TPS(transaction per second):每秒钟系统能处理的事务数(事务数不一定等于请求数)。
QPS(Query Per Second):每秒处理的请求数。
请求响应时间:从客户端发起一个请求开始,到客户端接收到从服务器返回的响应,整个过程所耗费的时间。
事务响应时间:系统处理一个事务所耗费的时间,主要是针对于用户的角度而言,如转账。
并发:没有严格意义上的并发。并发总有先后,无论差距是1毫秒或者是1微秒,总有一个时间差。所以并发讲的是一个时间范围,比如1秒内。
举例:
多用户在系统上进行同一操作,比如双十一时,大家都针对同一种商品进行秒杀
多用户在系统上进行不同操作,比如双十一时,大家针对不同商品进行秒杀,或者是大家有进行其他不同的操作,比如商品浏览。
并发用户数:同一单位时间内对系统发起请求的用户数量。
PV(Page View):是页面的浏览量或点击量,用户对系统或者网站任何页面的每一次点击或者访问都会被记录一次浏览量或点击量,对相同页面进行多次访问浏览量或点击量也会进行累计。
UV(Unique Vistor):是系统或者网站的独立访客,一段时间内相同客户端(或PC)访问系统或者网站只会被记录一次,连续重复访问或者浏览多个系统页面次数不会进行累计。
吞吐量:单位时间内系统处理的客户端请求的数量,包含一次性能测试过程中网络上传输的数据量的总和与硬盘传输数据流的速度,传输数据为读出数据和写入数据的和。
吞吐率:单位时间内网络上传输的数据量。吞吐率=吞吐量/传输时间。
点击率:每秒钟用户向服务器提交的请求数。这个指标是web应用程序特有的一个指标,可以想象为每秒钟用户总共在页面上进行多少次点击动作,但是需要注意的是一次鼠标单击的操作后,客户端有可能向服务器发送了多次请求。
资源使用率:对不同的系统资源的使用情况(CPU,内存,磁盘 I/O,GPU)。