搭建这个性能测试框架是希望能够让每个人(开发人员、测试人员)都能快速的进行性能测试,而不需要关注性能测试环境搭建过程。因为,往往配置一个性能环境可能需要很长的时间。
1、性能测试流程
该性能测试框架工作的流程主要有:触发测试–>部署测试脚本–>部署被测系统–>Jmeter打压–>被测系统日志分析,5个阶段。
体现在Jenkins上,就是下面这个jenkins 的MultiJob Project——Performance-test-jobs:
注意:在选择Performance-test-jobs的构建步骤时,要选择Conditional steps(multiple)。
下面对该性能测试框架搭建的过程进行详细的介绍。
2、环境需求
整个测试框架需要以下机器:
1)jenkins master:用于管理测试机、建立性能测试job、启动性能测试、展示性能测试结果。
2)Load generator:用来给被测试服务器发送请求,当一台Load generator发送的并发请求数达不到测试要求时,可能需要配置多台。Setup ENV阶段的Performance-test-script-deployment以及Run test阶段的job都是运行在这机器上的。
3)被测试服务器:用于安装被测试服务的机器,分析被测试服务的log的job也是运行在这个机器上的。
其中,Load generator和被测试服务器都是作为slave节点挂载在jenkins master上的。
3、安装必要软件
3.1、安装Jenkins及插件
安装Jenkins的步骤,这里不展开讲了。这里主要介绍一下与性能测试有关的jenkins插件——Performance Plugin。这个插件的作用是解析Jmeter生成的测试报告,直观的展示出来。
安装插件的方法很简单,登陆Jenkins,在Manage Plugins界面搜索“Performance Plugin”点击安装即可。
如果安装正确,在性能测试job的配置页面的 “Add post-build action” 步骤里面能够看到 “Publish Performance Test Result Report” 选项。
3.2、Jmeter安装及配置
在性能测试压力机上,下载并安装Jmeter(下载地址:Apache JMeter - Download Apache JMeter),解压到目录/usr/local。[下载二进制的]
之后,下载jmeter-plugins插件JMeterPlugins-Standard-1.2.0.zip(下载地址Install :: JMeter-Plugins.org)。
解压后将其中的jar包拷贝至jmeter安装目录/lib/ext/目录(如果没有则创建之)下即可。
这个插件的作用是,当通过no-GUI方式执行测试之后,将生成的测试结果文件*.jtl解析成图片的形式,比较直观。
3.3、安装系统资源监控插件
为了监控被测服务器的系统资源,需要在被测试机上安装ServerAgent,下载ServerAgent-2.2.1.zip(下载地址Install :: JMeter-Plugins.org),并在被测试机上启动startAgent.sh。该插件能够对服务器的 CPU、内存、Swap、磁盘 I/O、网络 I/O 进行监控!
4、Jmeter GUI上制定测试计划
我们的测试执行实在Jenkins中通过非GUI方式执行Jmeter压力测试的。在JmeterGUI上制定测试计划的目的是,将测试计划保存成.jmx文件,以便能够在Jmeter的非GUI模式下执行测试。
4.1、建立Thread Group
有三个必须设置的属性(见下图红框部分),这里采用函数__P()设置属性名和默认值的形式设置这三个属性,以方便在使用no-GUI模式启动Jmeter进行测试时,使用–jmeterproperty选项对属性值进行赋值。
4.2、添加HTTP Request
由于我们的测试是发送HTTP请求给Serving服务器,因此这里选择添加的Sampler是HTTP Request。
这里需要添加被测服务器的域名或者网址,这里也采用函数__P()设置属性名和默认值的形式设置这个属性。
另外,还要设置请求的具体地址Path。由于我们测试过程中请求的网址是不一样的。因此需要需要对这个Path进行参数化,指定为变量${path}。又由于我们请求的网址是存放到一个叫作path.log的文件中的。因此,参数化的方法适宜采用CSV Data Set Config。这里Filename我们设置为属性UrlFile,该属性可以在使用no-GUI模式启动Jmeter进行测试时,使用–jmeterproperty选项指定具体的文件。
4.3、添加Listener
在TestPlan上右击,Add–>Listener–>Aggregate Report。
另外,添加了PerfMon Metrics Collector的Listner,来收集被测试机的CPU,memory信息。
可以指定将report保存到某个文件,如上图中所示保存到jtl文件,在非GUI模式下运行Jmeter这是非常必要的。
4.4、生成测试计划jmx文件
一切设置妥当之后,点击菜单栏上的File->Save Test Plan As.
此步骤可以将该Test Plan保存为.jmx格式的文件。该文件用来进行non-GUI方式进行Jmeter测试。
5、non-GUI方式执行Jmeter
non-GUI方式执行Jmeter的命令:
jmeter.sh -n -t test.jmx -l result.jtl \
--jmeterproperty threadCount=${CONCURRENCY} \
--jmeterproperty LoopCount=${LOOPCOUNT} \
--jmeterproperty adclient=${SERVER} \
--jmeterproperty UrlFile=path.log \
--jmeterproperty RampUp=${RAMPUP} \
--jmeterproperty throughput=${THROUGHPUT}
说明:
-n 非 GUI 模式 -> 在非 GUI 模式下运行 JMeter
-t 测试文件 -> 要运行的 JMeter 测试脚本文件
-l 日志文件 -> 记录结果的文件
–jmeterproperty设置test.jmx中的属性(见“Jmeter GUI上制定测试计划”部分)
6、生成报告图表
我们可以通过Jenkins上安装的JMeterPlugins-Standard插件来将测试结果文件.jtl格式的文件解析成图表。
$JMETEREXT= /usr/local/apache-jmeter-2.13/lib/ext
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter \
--generate-png ResponseTimesOverTime.png --input-jtl result.jtl --plugin-type ResponseTimesOverTime
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter \
--generate-png CPU.png --input-jtl cpu.jtl --plugin-type PerfMon
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter \
--generate-png MEM.png --input-jtl mem.jtl --plugin-type PerfMon
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter \
--generate-png TransactionsPerSecond.png --input-jtl trans.jtl --plugin-type TransactionsPerSecond
7、job shell设置
Jenkins的job中通过参数传递给jmeterproperty中的变量中。
Execute shell的内容:
source /etc/profile
THROUGHPUT=`expr 60 \* ${QPS}`
RUNFOLDER=/usr/local/jmeter-demo/src/test/jmeter
JMETERBIN=/usr/local/apache-jmeter-2.13/bin
JMETEREXT=/usr/local/apache-jmeter-2.13/lib/ext
RESULTJTL=$RUNFOLDER/result.jtl
CPUJTL=$RUNFOLDER/cpu.jtl
MEMJTL=$RUNFOLDER/mem.jtl
TRANSJTL=$RUNFOLDER/trans.jtl
rm -f $RUNFOLDER/path.log
rm -f $RUNFOLDER/*.jtl
rm -f $RUNFOLDER/*.png
rm -f $WORKSPACE/*.png
rm -f $WORKSPACE/*.jtl
cd /usr/local/jmeter-demo/src/test/jmeter && python appending.py ${APPENDING}
cd /usr/local/jmeter-demo/src/test/jmeter && $JMETERBIN/jmeter.sh -n -t test.jmx -l result.jtl \
--jmeterproperty threadCount=${CONCURRENCY} \
--jmeterproperty LoopCount=${LOOPCOUNT} \
--jmeterproperty adclient=${SERVER} \
--jmeterproperty UrlFile=path.log \
--jmeterproperty RampUp=${RAMPUP} \
--jmeterproperty throughput=${THROUGHPUT}
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter --generate-png ${RESULTJTL%.*}_ResponseTimesOverTime.png --input-jtl $RESULTJTL --plugin-type ResponseTimesOverTime
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter --generate-png ${CPUJTL%.*}_CPU.png --input-jtl $CPUJTL --plugin-type PerfMon
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter --generate-png ${MEMJTL%.*}_MEM.png --input-jtl $MEMJTL --plugin-type PerfMon
java -jar $JMETEREXT/CMDRunner.jar --tool Reporter --generate-png ${TRANSJTL%.*}_TransactionsPerSecond.png --input-jtl $TRANSJTL --plugin-type TransactionsPerSecond
cp /usr/local/jmeter-demo/src/test/jmeter/*.png $WORKSPACE
cp /usr/local/jmeter-demo/src/test/jmeter/result.jtl $WORKSPACE
感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取