出版社智能智造测试报告
(二期版本)
2022年11月
目 录
1. 测试背景
1.1. 项目背景
1.2. 测试目的
1.3. 测试时间
1.4. 测试资源
1.5. 参考资料
2. 测试范围
3. 性能需求指标
3.1. 业界指标
4. 测试工具
5. 测试环境
5.1. 阿里云测试环境软硬件配置
5.2. 数据准备
6. 测试策略
7.基准测试
7.1测试结果
8.稳定性测试
8.1.稳定性测试结果(聚合报告)
8.2.专家信息详情
8.3.清华智造大讲堂详情
8.4.电子预览室详情
9.测试结论
为验证出版社智能智造用户访问详情最大并发量,项目上线是否满足用户使用需求,展开此次测试。
本次性能测试主要检测出版社智能制造项目最大用户访问量,通过测试,将达到以下目的:
- 为上线提供指标参考:验证在现有软硬件环境情况下,获取出版社智能智造项目性能指标,为系统上线提供指标参考。
- 系统的最大处理能力:在现有的软硬件环境情况下,出版社智能制造能够支撑的最大处理能力。
本次选取 | 测试类型 | 测试目的 |
þ | 基准测试 | (1)衡量性能测试环境是否异常 (2)验证脚本和参数的正确性 (3)获取系统处理事物的性能数据 |
þ | 稳定性测试 | (1)衡量性能测试环境多用户长时间访问详细是否异常 (2)确定系统长时间运行的稳定性指标 (3)经过测试分析获取用户信息在长时间稳定性测试下系统运行状况 |
工作内容 | 时间安排 |
测试环境准备时间 | 2022年11月2日 |
性能测试实施时间 | 2022年11月3日 |
性能测试报告整理 | 2022年11月4日 |
角色 | 职责 |
测试管理 | 1) 负责测试计划、测试报告制定 2) 负责组织测试报告的评审 3) 负责测试进度跟进、协调测试工作开展 4) 负责测试相关文档的归档处理 |
测试实施 | 1) 负责测试场景设计、测试案例设计、测试脚本制作 2) 负责测试数据准备、协助基础准备 3) 负责测试工具的安装部署 4) 负责测试任务执行、测试数据记录、测试结果分析 |
应用及环境支持 | 1) 负责待测系统的需求和相关应用信息确认 2) 负责测试环境准备和基础数据准备 3) 负责测试计划、测试报告确认 4) 负责测试过程中与系统相关问题的解决 5) 配合测试工作的开展 |
接口文档
本次测试目标为出版社智能智造项目,如下接口
序号 | 模型名称 |
1 | 登录信息 |
2 | 专家信息 |
3 | 清华智造大讲堂详情 |
4 | 电子预览室详情 |
指标 | 建议值 |
|
|
|
|
|
|
本次测试采用的Jmeter版本为4.0,
1、使用线程数模拟并发用户,记录测试结果,包括测试报告和测试日志;
2、使用监听器分析测试结果,确定是否达到软件发布的标准。
主机用途 | 数量 | 软/硬件资源信息 |
应用服务器 | 1 | CPU:8核 内存:16G 硬盘:214G Redis: redis5.0社区版 |
压力测试及配置
IP地址 | 操作系统 | 内存 | CPU | 网络带宽 |
182.124.11.249 | Windows10 | 16G | 8核 | 500mbps |
序号 | 数据类型 | 关键数据准备情况及要求 |
1 | 基础数据 | 项目数据 |
2 | 测试数据 |
|
本次性能测试目标为出版社智能智造,主要由JMeter压力工具模拟客户端向服务器发送请求,并接收返回结果。
7.基准测试
测试环境确认之后,对测试模型中涉及的每个详情做基准测试。目的是检查接口本身是否存在性能缺陷。
测试方法:
使用Jmeter从客户端向应用服务器发送请求,并接收返回结果,在多用户系统无其它压力情况下迭代执行,取业务平均响应时间作为衡量指标。
- 基准测试模型:主要依据实际业务使用场景,对登录人信息和专家信息、清华智造大讲堂、电子预览室进行压测10秒内完成指定并发,验证接口最大承受
客户端 | 模型名称 | 说明 |
web端 | 登录人信息 | 300并发量开始,每轮结束增加相应并发量,获得其最大并发数,并验证接口是否存在并发性问题 |
专家信息 | 300并发量开始,每轮结束增加相应并发量,获得其最大并发数,并验证接口是否存在并发性问题 | |
清华智造大讲堂 | 300并发量开始,每轮结束增加相应并发量,获得其最大并发数,并验证接口是否存在并发性问题 | |
电子预览室 | 300并发量开始,每轮结束增加相应并发量,获得其最大并发数,并验证接口是否存在并发性问题 |
7.1测试结果
平均响应时间,单位:秒
模块名称\并发用户数 | 300 | 600 | 800 | 1000 |
登录人信息 | 0.041s | 0.040s | 0.041s | 0.042s |
专家信息 | 0.1s | 0.1s | 0.1s | 0.1s |
清华智造大讲堂 | 0.2s | 2s | 4.9s | 5.7s |
电子预览室 | 0.1s | 0.1s | 0.1s | 0.1s |
备注 | 由上可知,随着并发量的增加,1000并发量时除清华智造大讲堂各个接口的响应时间在2s左右。 清华智造大讲堂响应时间达到5.7s,响应时间一般。 |
事务处理能力,单位:笔/秒
模块名称\并发用户数 | 300 | 600 | 800 | 1000 |
登录人信息 | 59.1/sec | 94.0/sec | 93.5/sec | 96.6/sec |
专家信息 | 29.7/sec | 59.2/sec | 78.9/sec | 98.4/sec |
清华智造大讲堂 | 29.4/sec | 44.5/sec | 44.6/sec | 45.2/sec |
电子预览室 | 29.8/sec | 31.77/sec | 78.8.4/sec | 98.5/sec |
备注 | 由上可知,随压力的增加,除清华智造大讲堂各接口处理能力逐渐上升。 |
错误率:
模块名称\并发用户数 | 300 | 600 | 800 | 1000 |
登录人信息 | 0% | 0% | 0% | 1.10% |
专家信息 | 0% | 0% | 0% | 0% |
清华智造大讲堂 | 0% | 0% | 0% | 0% |
电子预览室 | 0% | 0% | 0% | 0% |
备注 | 由上可知,登录人信息接口并发量1000错误率达到1.10%,由于网络超时等外部原因,故测试通过。 |
8.稳定性测试
使用阶梯线程组压测,根据基准测试结果选择最优并发数,按照800并发数执行8分钟,获得系统业务性能指标,验证系统能够支撑的业务处理能力。
并发数:800线程数
模块名称 | 平均响应时间(秒) | 系统处理能力TPS | 错误率 |
专家信息 | 1.2s | 345.4/sec | 0.02% |
清华智造大讲堂 | 1.7s | 307.1/sec | 0.01% |
电子预览室 | 1.8s | 304.5/sec | 0.01% |
备注 |
3、错误率:由于网络超时等外部原因,错误率不超过5%,故稳定测试通过。 |
8.1.稳定性测试结果(聚合报告)
8.2.专家信息详情
8.3.清华智造大讲堂详情
8.4.电子预览室详情
9.测试结论
通过基准测试得知,1000人并发时除清华智造大讲堂,平均响应时间、吞吐量、错误率在理想范围内。清华智造大讲堂平均响应时间在5秒左右,满足用户日常使用。
通过稳定性测试得知,执行8分钟压力测试接口整体平均响应时间、吞吐量、错误率在理想范围内,故稳定性测试通过。