分布式测试插件 pytest-xdist 使用详解

news2024/11/26 4:50:51

目录

使用背景:

使用前提:

使用快速入门:

使用小结:


使用背景:

  1. 大型测试套件:当你的测试套件非常庞大,包含了大量的测试用例时,pytest-xdist可以通过并行执行来加速整体的测试过程。它利用多个进程或计算机的计算资源,可以显著减少测试执行的时间。

  2. 高计算资源需求:某些测试场景可能需要大量的计算资源,例如进行复杂的计算、模拟或数据处理。在这种情况下,使用pytest-xdist可以将测试任务分发给多个进程或计算机,以充分利用计算资源,加快测试速度。

  3. 并行测试需求:当你需要并行执行多个测试用例时,pytest-xdist非常有用。它可以将测试用例分发给多个进程或计算机,同时运行多个测试,从而提高整体的测试效率。

使用前提:

  1. 测试用例独立性:确保测试用例之间相互独立,不会相互干扰或依赖。由于pytest-xdist并行执行测试用例,测试用例之间的顺序是不确定的。因此,每个测试用例应该独立于其他测试用例,能够以任意顺序执行而不会影响结果。

  2. 数据共享和同步:如果测试用例之间需要共享数据或进行某种形式的同步操作,确保在使用pytest-xdist时正确处理这些情况。例如,可以使用共享的数据库或文件系统来存储和访问共享数据,或者通过网络进行通信来实现进程或计算机之间的同步。

  3. 并发问题:并行执行测试用例可能会引发并发问题,例如资源竞争、死锁等。在设计测试用例时,要特别注意并发问题,并采取适当的措施来避免或解决这些问题,例如使用互斥锁、线程安全的数据结构等。

  4. 结果收集和报告:由于测试用例在多个进程或计算机上执行,因此结果收集和报告的过程可能会有所不同。确保使用适当的机制来收集和汇总测试结果,并生成全面和准确的测试报告。

  5.  资源合理的分配使用:并行执行测试用例可能会占用大量的计算资源和内存。确保在使用pytest-xdist时,计算资源和内存的分配是合理的,以避免资源耗尽或系统崩溃

使用快速入门:

  1. 插件安装

pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

      2.  编写耗时大型用例

# content of test_example.py

import pytest

@pytest.mark.parametrize('input', [1, 2, 3, 4, 5])
def test_square(input):
    result = input ** 2
    assert result == input * input

定义了一个名为test_square的测试用例。它使用@pytest.mark.parametrize装饰器来指定多个输入值进行测试。在这个例子中,我们提供了输入值1、2、3、4和5

  3. 使用pytest-xdist进行分布式测试,需要在命令行中指定使用的进程数。例如,要使用4个进程进行分布式测试,可以运行以下命令:

pytest -n 4 test_example.py

  -n参数指定要使用的进程数。在这个例子中,我们使用了4个进程。当你运行上述命令时,pytest-xdist会将测试用例分发给4个进程,并在这些进程上并行执行测试。每个进程将负责执行一部分测试用例。

  4. pytest-xdist不仅可以在多进程上运行测试,还可以在多个计算机上进行分布式测试

    4.1 安装pytest-xdist插件:首先,确保在所有计算机上都安装了pytest-xdist插件。可以使用pip或conda等包管理工具进行安装。

    4.2 配置主机和从机:选择一台计算机作为主机,其他计算机作为从机。在主机和从机上创建一个配置文件(例如pytest.inipyproject.toml),并设置以下参数:

# pytest.ini

[pytest]
addopts = -n auto

    4.3 启动从机:在每台从机上运行以下命令,使其准备好接收测试任务:

pytest --dist=loadscope

    4.4 启动主机:在主机上运行以下命令,开始分布式测试:

pytest test_example.py

使用小结:

  1. 并不是并发进程数越多好,-n值越大越好,因为pytest-xdist的并发数量取决于多个因素,如CPU核数(主要),内存,io等计算资源。

  2. 测试用例很少,计算并不复杂,徒增繁琐。

  3.  测试套件很大时,合理利用pytest-xdist的并发数量将会节约约近一半的时间。

  4. pytest-xdist默认是无序执行的,可以通过 --dist 参数来控制顺序


以下是我收集到的比较好的学习教程资源,虽然不是什么很值钱的东西,如果你刚好需要,可以评论区,留言【777】直接拿走就好了

各位想获取资料的朋友请点赞 + 评论 + 收藏,三连!

三连之后我会在评论区挨个私信发给你们~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/848061.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Unity数字可视化学校_昼夜(二)

1、时间设置: 2、新建夜晚 3、新建侧置球(BOX),测试灯光强度 降低亮度 色调:冷色调 4、自发光 新建shader 灯光控制 道路线: 建筑: 夜晚加灯光: 玻璃: 加大灯光数量: 边缘…

深入理解负载均衡原理及算法

1. 前言 在互联网早期,网络还不是很发达,上网用户少,流量相对较小,系统架构以单体架构为主。但如今在互联网发达的今天,流量请求动辄百亿、甚至上千亿,单台服务器或者实例已完全不能满足需求,这就有了集群。不论是为了实现高可用还是高性能,都需要用到多台机器来扩展服…

校对软件助力司法公正:确保法律文书准确无误

校对软件在司法系统中的应用可以助力司法公正,确保法律文书的准确性和无误性。以下是校对软件如何发挥作用: 1.确保准确性:校对软件可以自动检查法律文书中的语法、拼写和标点等方面的错误。通过及时发现和修正这些错误,可以确保文…

自监督去噪:Recorrupted-to-Recorrupted原理分析与总结

文章目录 1. 方法原理1.1 相关研究1.2 研究思路1.3 小结 2. 实验结果3. 总结 文章地址: https://ieeexplore.ieee.org/document/9577798/footnotes#footnotes 参考博客: https://github.com/PangTongyao/Recorrupted-to-Recorrupted-Unsupervised-Deep-Learning-for-Image-Den…

C++如何改变文字的颜色(不同字显示不同颜色)

许多同学们在制作c游戏的时候只有黑白两种颜色。就像si人了一样 非常影响视觉效果,显得十分不好看,因此,我决定发一个改变文字颜色的文章! 下面介绍方法: 在了解程序之前,首先好了解光的三原色已经三原色…

数据结构刷题训练——链表篇(三)

目录 文章目录 前言 1. 题目一:环形链表Ⅱ 1.1 思路 1.2 分析 1.3 题解 1.4 方法二 2. 题目二:复制带随机指针的链表 2.1 思路 2.2 分析 2.3 题解 总结 前言 在这个专栏博客中,我们将提供丰富的题目资源和解题思路,帮助读者逐步提…

浅谈智能配电房在海岛中的应用

安科瑞 华楠 摘要:以海陵岛旅游区海岛智能配电房设计方案为研究对象,从功能设计、逻辑设计和拓扑设计三方面进行 分析,得出契合海陵岛实际和海岛特点的智能配电房方案设计。通过对设计方案研究,总结提炼了海岛智 能配电房组成要素,为进一步提炼统一规范的智能配电房…

【深度学习】【风格迁移】Zero-shot Image-to-Image Translation

论文:https://arxiv.org/abs/2302.03027 代码:https://github.com/pix2pixzero/pix2pix-zero/tree/main 文章目录 Abstract1. Introduction相关工作3. Method Abstract 大规模文本到图像生成模型展示了它们合成多样且高质量图像的显著能力。然而&#x…

【网络编程】实现一个简单多线程版本TCP服务器(附源码)

TCP多线程 🌵预备知识🎄 Accept函数🌲字节序转换函数🌳listen函数 🌴代码🌱Log.hpp🌿Makefile☘️TCPClient.cc🍀TCPServer.cc🎍 util.hpp 🌵预备知识 &…

未来C#上位机软件发展趋势

C#上位机软件迎来新的发展机遇。随着工业自动化的快速发展,C#作为一种流行的编程语言在上位机软件领域发挥着重要作用。未来,C#上位机软件可能会朝着以下几个方向发展: 1.智能化:随着人工智能技术的不断演进,C#上位机…

数据结构--最小生成树

数据结构–最小生成树 连通图 \color{red}连通图 连通图的生成树是 包含图中全部顶点的一个极小连通子图 \color{red}包含图中全部顶点的一个极小连通子图 包含图中全部顶点的一个极小连通子图。 若图中顶点数为n,则它的生成树含有 n-1 条边。对生成树而言&#xff…

RFID技术助力半导体制造行业自动化生产

由于芯片短缺问题和近2年海运拥堵和成本上升等因素,致使全球资本对于芯片制造工厂的投入增大,而中兴、华为的例子已经凸显出国产半导体供应链的重要性,除去地缘政治上的意义,发展半导体其实是中国经济的转型的必走之路。 半导体生…

Vue2(生命周期,列表排序,计算属性和监听器)

目录 前言一,生命周期1.1,生命周期函数简介1.2,Vue的初始化流程1.3,Vue的更新流程1.4, Vue的销毁流程1.5, 回顾生命周期1.,6,代码演示1.6-1,beforeCreate1.6-2,created1.6-3&#xf…

雨水旋流过滤器、旋流雨水过滤器、水力旋流雨水过滤器、旋流分离器、旋流沉砂一体机、旋流沉砂井

产品组成 主要材料:PE304不锈钢 组成:过滤器筒体、桶盖、截止阀(选配)、不锈钢滤网 工作原理 雨水由过滤器进水口进入时,水流被引导沿过滤器内壁切线方向进入筒体。在水力、重力等作用下,形成雨水紧贴过…

【基础类】—前端算法类

一、排序 1. 排序方法列表 2. 常见排序方法 快速排序选择排序希尔排序 二、堆栈、队列、链表 堆栈、队列、链表 三、递归 递归 四、波兰式和逆波兰式 理论源码

Unity之ShaderGraph 节点介绍 Utility节点

Utility 逻辑All(所有分量都不为零,返回 true)Any(任何分量不为零,返回 true)And(A 和 B 均为 true)Branch(动态分支)Comparison(两个输入值 A 和…

wm8960没有声音

最近在imx6ull上调试这个声卡,用官方的镜像是能发声的,换到自己做的镜像上,就没有声音。 记录一下过程: 内核和设备树。只要有下面的显示,就说明加载成功。 再看一下aplay的显示 到此,驱动都是正常的。但…

每天一道leetcode:剑指 Offer 32 - II. 从上到下打印二叉树 II(适合初学者)

今日份题目: 从上到下按层打印二叉树,同一层的节点按从左到右的顺序打印,每一层打印到一行。 示例 例如: 给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7 返回其层次遍历结果: [ [3], […

selenium常见等待机制及其特点和使用方法

目录 1、强制等待 2、隐式等待 3、显式等待 1、强制等待 强制等待是在程序中直接调用Thread.sleep(timeout) ,来完成的,该用法的优点是使用起来方便,语法也比较简单,缺点就是需要强制等待固定的时间,可能会造成测试的时间过…

APP外包开发的android开发模式

开发 Android 应用有多种方法,每种方法都有其优势和适用场景。综合考虑各自的特点,你可以根据项目的需求和团队的技能选择最合适的开发方法。今天和大家分享几种常见的开发方法以及它们之间的对比,希望对大家有所帮助。北京木奇移动技术有限公…