构造百万测试数据五大方法!

news2024/11/19 8:27:01

在测试的工作过程中,很多场景是需要构造一些数据在项目里的,方便测试工作的进行。比如下面的场景:

  • 项目需要做性能测试,需要大量的数据
  • 就算是功能测试,比如测试搜索功能,需要有数据做搜索测试
  • 需要检查数据的一致性的检查的时候,也需要项目有大量的数据
  • 如果项目有一些统计表和图,需要测试数据统计正确性的时候,也需要构造海量的测试数据;

那么,测试如何快速的构造测试数据呢?

构造的方法有很多,难度和技术深度也不一样,可以根据数量级的不同可以采取不同的方法。

方法一: 如果项目要求的数据不多,几十条或者十几条即可,可以手动页面操作构成。

这种方法虽然原始,但是简单没有技术门槛,如果是少量的数据,手动操作也不太费时间。不过如果数据的数量级上来了,那么这种方法就不太靠谱了。

方法二:直接调用接口 批量发送接口请求。

这种方法会比纯页面添加要快速一些,使用一个接口测试工具,比如Jmeter,postman的CSV的方法,批量读取数据发送接口请求,实现数据的构造;或者Python的requests库的都可以比较快的实现。

但是这种方法有一定的技术门槛,你必须熟练使用至少一款接口测试的工具。

而且还有一些功能接口要处理接口的依赖,或者有接口本地的一些bug阻塞或者性能瓶颈问题。

既然不管是页面操作还是接口操作,都是本质上把数据插入到数据库中,那我们是否可以直接去数据库插入数据呢?

答案是可以的。

方法三:直接使用sql insert 插入数据。

使用使用SQL语句,比如:insert into tuser (username,phone) values ("name","13444444444")插入数据。

但是这种方法虽然是对数据库直接操作,奈何效率太低,一条一条的插入,所以这种方法在实际操作中是不可取的。

方法四: 一次性从外部导入excel表格数据。

第一步: 本地电脑准备好一个excel表格,按照数据库的表的字段填入一行数据,然后在excel表格里进行下拉拖拽实现数据的快速复制。如下图:

b2a34309177b43f19441fcec05452040.gif

然后保存好这个excel文件。

第二步:打开连接上MySQL数据库的Navicat,右键我们数据库的表,选择导入向导-->选择excel文件类型进行导入,具体步骤如下图所示:

2e8864b03c1b42189a35967c94983b14.gif

完成导入操作后,数据库表里就会插入所有excel的数据。

然后这种方式,可以在excel表格手动拖拽复制出来千条数量级的数据,但是如果数据量更大,就也不太方便了。需要有更加高效的方法。

方法五:数据库的存储过程实现快速构建百万级的数据

存储过程其实就是数据库的编程,可以通过编程控制数据插入的次数。如下案例:

drop procedure if exists proc_batch_insert;   # 如果存在存储过程就先删除
create procedure proc_batch_insert()   # 创建存储过程
begin 
		declare i int;  # 定义一个变量用来计数
		declare _name varchar(25);  # 定义一个变量用来计数参数化用户名
		declare _phone char(11);   # 定义一个变量用来计数参数化手机号码
		set i=1;   # 设置计时器的初始值为1
		while i<=1000000 do    # while循环控制插入数据的次数
				set _name = concat('tom-',i);  # 拼接用户名,i为变化的保证用户名的差异性
				set _phone = 13000000000+i; # 拼接手机号码,i为变化的保证手机号码的差异性
				insert into tuser(username,phone) values(_name,_phone); # 插入数据
				set i=i+1;  # 每次循环计时器加1
		end while;
end

call proc_batch_insert();  # 运行存储过程

 

方法六:Python代码实现构造百万的数据

如果有代码基础的同学,也可以使用Python代码编程实现这个过程:

import random
import string
import pymysql

# 数据库连接信息
host = '139.224.61.195'
user = 'root'
port = 3307
password = '123456'
database = 'test'

# 建立数据库连接
connection = pymysql.connect(host=host, user=user,port=port, password=password, database=database)
cursor = connection.cursor()

# 构造百万数据
batch_size = 10000  # 每批插入的数据量
total_records = 1000000  # 总共需要生成的数据量

# 获取当前表中最大的id值
cursor.execute("SELECT MAX(id) FROM tuser")
max_id = cursor.fetchone()[0] or 0

for i in range(total_records // batch_size):  #是整数除法,它计算出需要进行多少批次的数据生成和插入。
    # 生成批量数据
    batch_data = []
    for i in range(batch_size):
        max_id += 1
        user_id = max_id  # 使用自增长方式生成唯一id
        username = ''.join(random.choices(string.ascii_lowercase, k=10))
        phone = ''.join(random.choices(string.digits, k=11))
        batch_data.append((user_id, username, phone))

    # 批量插入数据
    sql = "INSERT INTO tuser (id, username, phone) VALUES (%s, %s, %s)"
    cursor.executemany(sql, batch_data)
    connection.commit()

# 关闭数据库连接
cursor.close()
connection.close()

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1469677.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Windows Server 2012 IIS中发布ASP.NET CORE项目

服务器安装IIS&#xff1a; 微软官网下载SDK&#xff1a; 下载Runtime官网&#xff1a;https://dotnet.microsoft.com/download/dotnet-core 安装成功重启IIS&#xff1a; VS发布项目&#xff1a;

js滑动窗口算法

滑动窗口算法&#xff08;Sliding Window Algorithm&#xff09;是一种用于解决数组或字符串的子串问题的有效算法。其核心思想是通过维护一个窗口&#xff0c;根据问题的要求移动窗口的左右边界&#xff0c;从而在窗口内部找到符合条件的子串。 一般步骤如下&#xff1a; 初…

acwing算法学习笔记 ------ 双链表

1、定义 这里可以做一个投机取巧&#xff0c;我们不再像单链表去用head去存头和尾&#xff0c;直接让r[0] 1,l[1] 0; idx 2.进行初始化&#xff0c; 解释一下l[N] 和 r[N] l[N]:是表示指向左面下一个节点下标&#xff0c; r[N]:表示指向下一个节点的下标。大家不用担心i…

学习 LangChain 的 Passing data through

学习 LangChain 的 Passing data through 1. Passing data through2. 示例 1. Passing data through RunnablePassthrough 允许不改变或添加额外的键来传递输入。这通常与 RunnableParallel 结合使用&#xff0c;将数据分配给映射中的新键。 RunnablePassthrough() 单独调用&…

【Java程序员面试专栏 算法思维】一 高频面试算法题:排序算法

一轮的算法训练完成后,对相关的题目有了一个初步理解了,接下来进行专题训练,以下这些题目就是汇总的高频题目,本篇主要聊聊排序算法,包括手撕排序算法,经典的TOPK问题以及区间合并,所以放到一篇Blog中集中练习 题目关键字解题思路时间空间快速排序双指针+递归+基准值分…

U盘乱码与文件丢失:恢复指南与预防策略

U盘乱码文件丢失是一种常见的技术问题&#xff0c;通常表现为存储在U盘中的文件名显示为不可识别的字符或文件无法正常打开&#xff0c;有时甚至文件会完全消失。这种情况可能由多种原因引起&#xff0c;包括但不限于文件系统损坏、不正确的拔插操作、病毒感染、兼容性问题等。…

Linux学习之vi/vim详细介绍

目录 ​编辑 1. 什么是 vim&#xff1f; 2. vi/vim 的使用 2.1 命令模式 2.2 输入模式 2.3 底线命令模式 3. vi/vim 使用实例 3.1 使用 vi/vim 进入一般模式 3.2 按下 i 进入输入模式(也称为编辑模式)&#xff0c;开始编辑文字 3.3 按下 ESC 按钮回到一般模式…

相信未来:技术的进步意味着重构

十年以来&#xff0c;呼声最高&#xff1a;AI、BigData、Cloud Service。 以本人看来&#xff0c;仅AI技术的进步和应用&#xff0c;整个软件行业&#xff0c;所有软件将被重构。 提醒&#xff1a;非大学毕业、非计算机及相关专业&#xff0c;在IT这个行业&#xff0c;特别是…

大数据开发项目--音乐排行榜

环境&#xff1a;windows10&#xff0c;centos7.9&#xff0c;hadoop3.2、hbase2.5.3和zookeeper3.8完全分布式&#xff1b; 环境搭建具体操作请参考以下文章&#xff1a; CentOS7 Hadoop3.X完全分布式环境搭建 Hadoop3.x完全分布式环境搭建Zookeeper和Hbase 1. 集成MapReduce…

安装 WSL 报错 Error code: Wsl/WININET_E_NAME_NOT_RESOLVED 问题解决

问题描述 在执行 wsl --install 安装Windows子系统Linux WSL (Windows Subsystem for Linux) 时报错&#xff1a; 无法从“https://raw.githubusercontent.com/microsoft/WSL/master/distributions/DistributionInfo.json”中提取列表分发。无法解析服务器的名称或地址 Error…

代码随想录算法训练营第60天 | 647.回文子串 516.最长回文子序列

回文子串 这道题主要难在dp数组的定义以及递推关系的构建。如果直接用 dp[i] 表示[0,i]子串中包含的回文串的数目&#xff0c;是无法找到递推关系的。通过回文串的性质可以构造这样的递推关系&#xff1a;对于判断[i,j]是否是回文串&#xff0c;如果s[i] s[j]&#xff0c;只需…

网络攻防之ARP欺骗和DNS劫持实验

目录 ARP单向欺骗 ARP双向欺骗 DNS劫持 实验环境&#xff1a; 攻击主机&#xff1a;kali2023虚拟机&#xff0c;IP地址为192.168.133.141 靶机&#xff1a;Windows10虚拟机&#xff0c;IP地址为192.168.133.129 网关地址&#xff1a;192.168.133.2 (1)ARP协议介绍 在以…

2/23 work

1> 使用消息队列完成两个进程间相互 a: #include<myhead.h> #define MSGSIZE sizeof(struct msgbuf)-sizeof(long) struct msgbuf {long mtype;char mtext[1024];}; int main(int argc, const char *argv[]) {pid_t pidfork();if(pid>0){key_t key 0;if((keyfto…

Git笔记——3

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言 一、合并模式和分支策略 二、bug分支 三、强制删除分支 四、创建远程仓库 五、克隆远程仓库_HTTPS和_SSH 克隆远程仓库_HTTPS 克隆远程仓库_SSH 六、向远程仓库…

【数据结构】时间复杂度(加法乘法规则、渐近时间复杂度、循环时间复杂度总结

2.2 时间复杂度 什么是时间复杂度&#xff1f; 评估算法时间开销 T ( n ) O ( f ( n ) ) T(n)O(f(n)) T(n)O(f(n)) 在实际求解中&#xff0c;只留表达式中最高阶的部分&#xff0c;丢弃其他部分。 如何求解&#xff1f; 求解步骤 1.找到一个最深层的基本操作&#xff1b; 2.分…

ChatGLM-6B开源模型环境配置与部署

一、环境配置 1.nivdia-smi查看显卡信息、cuda版本 可以安装cuda小于12.3的版本&#xff0c;一般不建议安装太新的 2. Anaconda安装 安装包下载点击一路安装&#xff08;注意修改安装路径&#xff0c;不要放在C盘下&#xff09;配置系统环境变量 参考链接传送门 3. 创建…

css4浮动+清除浮动

浮动 一.常见网页布局1.三种布局方式2.布局准则 二.浮动&#xff08;float&#xff09;1.好处2.概念3.三大特性4.使用5.常见网页布局模板6.注意点 三.清除浮动1.why2.本质3.语法4.四种way&#xff08;后三个都是给父级添加&#xff09;清除浮动总结 一.常见网页布局 1.三种布局…

查看mysql数据库的版本

要查看MySQL数据库的版本&#xff0c;可以使用以下几种方法&#xff1a; 命令行&#xff08;已连接到MySQL服务器&#xff09;&#xff1a; 登录到MySQL服务器后&#xff0c;在MySQL提示符下执行&#xff1a; mysql> SELECT VERSION(); 或者&#xff0c;也可以执行 STATUS; …

【C++精简版回顾】8.const

1.const数据成员 &#xff08;1&#xff09;const数据成员必须使用初始化参数列表 &#xff08;2&#xff09;不能修改 &#xff08;3&#xff09;不能修改必须初始化 class MM { public:MM() {}MM(int age, string name) :age(age), name(name) {}~MM() {cout << "…

Spring的优点

1.方便解耦&#xff0c;简化开发 Spring就是一个容器&#xff0c;可以将所有对象创建和关系维护交给Spring管理。 2.AOP编程支持 面向切面编程&#xff0c;方便实现程序进行权限拦截&#xff0c;运行监控等功能。 3.声明式事务的支持 通过配置完成事务的管理&#xff0c;…