用docker搭建selenium grid分布式环境实践

news2024/9/30 5:34:06

目录

前言：

selenium jar包直接启动节点

用docker命令直接启动

docker-compose 启动

Hub和node在一台机器上

Hub和node不在一台机器上

遗留问题

总结

前言：

Selenium是一个流行的自动化测试工具，支持多种编程语言和多种浏览器。Selenium Grid是Selenium测试框架的一个扩展，它可以将测试任务分发给不同的计算机上运行不同浏览器的测试。

而使用Docker技术可以非常方便地搭建Selenium Grid分布式环境，从而提高测试效率和可靠性。通过Docker容器，可以轻松地一键启动和管理Selenium Grid各个节点的环境，避免了繁琐的手动配置。

最近需要测试zoom视频会议，同时模拟100个人加入会议。经过了解，zoom提供了直接通过url链接加入会议的方式（只能通过chrome浏览器或者FireFox浏览器，因为用的协议是webrtc）。

顺着这个思路考虑可以通过Selenium自动化，同时启动多个浏览器进程，每个进程代表一个视频会议用户，达到模拟多方会议的效果。不过有以下两个难点：

  • 需要多个chrome浏览器进程同时存活，在电脑上启动一个chrome浏览器进程差不多要消耗220M左右。
  • 视频会议的音频和视频源的问题。

针对视频会议的音频和视频源的问题，chrome浏览器有比较好的支持，在Selenium脚本中初始化Chrome浏览器的参数中，只需要加入如下配置：

chrome_options.add_argument("--use-fake-ui-for-media-stream")
chrome_options.add_argument("--use-fake-device-for-media-stream")

就能在加入视频会议之后，使用虚拟的视频和音频。不过有个问题需要考虑，这个虚拟视频和真实的视频会议中的视频质量看上去是有差距的，会不会对测试结果造成影响，我们这里暂时不讨论这个话题。

现在唯一比较头疼的是怎么实现100个chrome浏览器进程，可能你会觉得，这不就是资源问题吗？加服务器不就搞定了？！但是假如有了服务器资源之后，怎么做任务调度呢？好在有Selenium Grid，它是Selenium的三大组件，专门用来执行分布式测试。

于是基于Selenium Grid设计了个测试方案：

  • 将某台服务器作为Hub，也就是master
  • 将剩下的机器作为node，注册到hub机器。
  • 本地采用多进程执行Selenium自动化脚本（我使用python语言实现的）。

按照上面的设计思路，理论上是能够模拟出100人同时加入会议的。接下来我们就正式开始用docker搭建Selenium Grid分布式环境的探索之路。

selenium jar包直接启动节点

其实，最开始我是直接使用jar包启动节点的，起几个节点还能接受，但是节点多了之后会特别麻烦，比如：想重启下节点，则需要手动全部kill掉，然后再一个个启动。

只要是手动重复的工作，就能脚本化。于是我写了两个shell脚本，一个脚本是根据传参启动对应数量的节点；另一个脚本是将所有的节点进程全部kill掉。主要脚本如下图所示：

虽然用脚本也能轻松的执行，但还是不方便。首先启动节点后，会增加好多java进程，并且没办法查看单个节点的日志，因为所有节点的日志都同时在控制台打印。于是考虑用docker来管理Selenium grid节点。

用docker命令直接启动

在github上有现成的镜像： GitHub - SeleniumHQ/docker-selenium: Docker images for Selenium Grid 。然后说明文档中也列出了所有可用的镜像名称，因为我主要使用chrome浏览器，所有安装了： selenium/hub 、 selenium/node-chrome、 selenium/node-chrome-debug 三个镜像，其中selenium/node-chrome-debug镜像会启动一个VNC Server，在脚本执行过程中，本地可以连上VNC Server，通过界面查看服务器的脚本执行情况。 使用命令：

$ docker pull selenium/hub
$ docker pull selenium/node-chrome
$ docker pull selenium/node-chrome-debug

启动hub的命令如下：

$ docker run -d -p 4444:4444 -e GRID_MAX_SESSION=100 --name hub selenium/hub

启动本地节点（hub和node在一台机器上）的命令如下：

$ docker run -d -p 5555:5555 -e NODE_MAX_INSTANCES=5 -e NODE_MAX_SESSION=5 --shm-size=2g --link hub:hub --name node1 selenium/node-chrome

启动远端节点（hub和node不在一台机器上）的命令如下：

$ docker run -d -p port:5555 -e HUB_HOST=remote_ip -e HUB_PORT=remote_port -e REMOTE_HOST=http://ip:port -e NODE_MAX_INSTANCES=5 -e NODE_MAX_SESSION=5 --shm-size=2g  --name node1 selenium/node-chrome

这里需要注意，网上很多教程提供的启动命令都是hub和node在一台机器上，假如需要hub和node在不同的机器上，按照网上的教程，虽然启动不会报错，但是节点和hub之间的网络是不通的。

不过直接使用docker命令虽然可以单独查看单个节点的日志，但是却和使用jar包的方式面对一样的问题：启动多个节点，非常不方便，需要手动执行多次命令。有没有更好的方案呢？当然有，可以使用docker-compose对docker容器进行整合。

docker-compose 启动

docker compose是docker的一个命令行工具，用来定义和运行多个容器组成的应用。相当于我们可以将多个docker命令放到一个文件里，然后由docker-compose一键执行。

同样的，也需要分两种情况：

Hub和node在一台机器上

可以使用如下的配置文件docker-compose.yml

version: "3"
services:
  selenium-hub:
    image: selenium/hub
    container_name: selenium-hub
    ports:
      - "4444:4444"
    environment:
      - GRID_MAX_SESSION=50
      - GRID_TIMEOUT=900
      - START_XVFB=false
  chrome:
    image: selenium/node-chrome
    volumes:
      - /dev/shm:/dev/shm
    depends_on:
      - selenium-hub
    environment:
      - HUB_HOST=selenium-hub
      - HUB_PORT=4444
      - NODE_MAX_INSTANCES=5
      - NODE_MAX_SESSION=5

然后在控制台执行命令：

$ docker-compose up -d  //-d表示在后台运行

如果想同时启动多个节点该怎么办呢？非常简单：

$ docker-compose up -d --scale chrome=num   //num是要启动节点的数量

如果想关闭节点，可以执行如下命令：

$ docker-compose down

Hub和node不在一台机器上

可以使用如下配置文件docker-compose.yml

version: "3"
services:
  # selenium-chrome-1
  selenium-chrome-node-1:
    image: selenium/node-chrome
    volumes:
      - /dev/shm:/dev/shm
    ports:
      - "5556:5555"
    restart: always
    stdin_open: true
    environment:
      HUB_HOST: hub_ip
      HUB_PORT: 4444
      NODE_MAX_INSTANCES: 5
      NODE_MAX_SESSION: 5
      REMOTE_HOST: http://节点ip:5556
      GRID_TIMEOUT: 60000
    shm_size: "2gb"
  # selenium-chrome-2
  selenium-chrome-node-2:
    image: selenium/node-chrome
    volumes:
      - /dev/shm:/dev/shm
    ports:
      - "5555:5555"
    restart: always
    stdin_open: true
    container_name: node1
    environment:
      HUB_HOST: hub_ip
      HUB_PORT: 4444
      NODE_MAX_INSTANCES: 5
      NODE_MAX_SESSION: 5
      REMOTE_HOST: http://节点ip:5555
      GRID_TIMEOUT: 60000
    shm_size: "2gb"
  # selenium-chrome-3
  selenium-chrome-node-3:
    image: selenium/node-chrome
    volumes:
      - /dev/shm:/dev/shm
    ports:
      - "5557:5555"
    restart: always
    stdin_open: true
    environment:
      HUB_HOST: hub_ip
      HUB_PORT: 4444
      NODE_MAX_INSTANCES: 5
      NODE_MAX_SESSION: 5
      REMOTE_HOST: http://节点ip:5557
      GRID_TIMEOUT: 60000
    shm_size: "2gb"
  # selenium-chrome-4
  selenium-chrome-node-4:
    image: selenium/node-chrome
    volumes:
      - /dev/shm:/dev/shm
    ports:
      - "5558:5555"
    restart: always
    stdin_open: true
    environment:
      HUB_HOST: hub_ip
      HUB_PORT: 4444
      NODE_MAX_INSTANCES: 5
      NODE_MAX_SESSION: 5
      REMOTE_HOST: http://节点ip:5558
      GRID_TIMEOUT: 60000
    shm_size: "2gb"

  # selenium-chrome-5
  selenium-chrome-node-5:
    image: selenium/node-chrome
    volumes:
      - /dev/shm:/dev/shm
    ports:
      - "5559:5555"
    restart: always
    stdin_open: true
    environment:
      HUB_HOST: hub_ip
      HUB_PORT: 4444
      NODE_MAX_INSTANCES: 5
      NODE_MAX_SESSION: 5
      REMOTE_HOST: http://节点ip:5559
      GRID_TIMEOUT: 60000
    shm_size: "2gb"

启动节点的命令是（前提是hub需要提前启动）：

$ docker-compose up -d

关闭节点的命令是：

$ docker-compose down

遗留问题

按照我上面这种方式搭建Selenium Grid环境，本地节点可以正常执行，但是远端的节点却经常超时，不过从http://hub_ip:4444/grid/console界面上看到的节点网络全部都是通的。

之前查过一些资料，貌似需要使用Docker Swarm，它是一个docker集群管理工具， 将若干台 Docker 主机抽象为一个整体，并且通过一个入口统一管理这些 Docker 主机上的各种 Docker 资源 。不过目前还没研究它，后面如果用Docker Swarm有结论之后，我再写文章同步给大家。

总结

用docker搭建selenium grid分布式环境，非常方便，基本是一行命令就能启动或者关闭节点。希望我这篇文章能给大家提供一些思路，帮助大家在平时的工作中解决一些问题。

还是那句话，任何技术，只要能帮你解决实际的问题，就是好的技术！

 作为一位过来人也是希望大家少走一些弯路，希望能对你带来帮助。（WEB自动化测试、app自动化测试、接口自动化测试、持续集成、自动化测试开发、大厂面试真题、简历模板等等），相信能使你更好的进步！

留【自动化测试】即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/670570.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【微服务架构演进】一文读懂单片到微服务架构的模式和最佳实践

【微服务架构演进】一文读懂单片到微服务架构的模式和最佳实践

在本文中，我们将学习如何使用设计模式、原则和最佳实践来设计微服务架构。我们将使用正确的架构设计模式和技术。 在本文结束时，您将了解如何在微服务分布式架构上设计系统以实现高可用性、高可扩展性、低延迟和对网络故障的弹性，从而处理数百…
阅读更多...
学习Spring之声明式事务

学习Spring之声明式事务

什么是事务？ 一个业务有一组操作，要么都成功，要么都失败 事务的四大特性：ACID A 原子性：一组操作，要么都成功，要么都失败 C 一致性 ：事务的前后要保证事务的一致性 I 隔离性 &…
阅读更多...
QLabel的使用

QLabel的使用

QLabel介绍 QLabel 是 Qt 框架中的一个控件类，用于显示文本或图像。它可以在窗口或其他容器中显示静态文本，并且可以根据需要设置格式、对齐方式和尺寸。 主要作用如下： 显示文本内容：QLabel 可以显示文字内容，可以…
阅读更多...
【每天40分钟，我们一起用50天刷完 (剑指Offer)】第二天

【每天40分钟，我们一起用50天刷完 (剑指Offer)】第二天

专注 效率 记忆 预习 笔记 复习 做题 欢迎观看我的博客，如有问题交流，欢迎评论区留言，一定尽快回复！（大家可以去看我的专栏，是所有文章的目录） 　 文章字体风格： 红色文字表示&#…
阅读更多...
Spring Boot 中使用 @EventListener 注解监听事件

Spring Boot 中使用 @EventListener 注解监听事件

Spring Boot 中使用 EventListener 注解监听事件 Spring Boot 是一个流行的 Java Web 框架，它提供了丰富的功能和工具来简化开发人员的工作。其中一个非常有用的功能是事件监听器。在 Spring Boot 中，我们可以使用 EventListener 注解来监听事件&#x…
阅读更多...
一天时间完成Python入坑（开发环境搭建、excel解析、exe打包三步走）

一天时间完成Python入坑（开发环境搭建、excel解析、exe打包三步走）

0.为什么要入坑Python 早就知道Python好，Python妙，Python用起来呱呱叫。工作上一直没有什么用得上Python的必要性，就一直没有接触，本次终于来了机会：【图新地球桌面端要对外开放Python API】，开放图新地球的…
阅读更多...
【mars3d】Cesium实现雷达放射波

【mars3d】Cesium实现雷达放射波

Cesium实现雷达放射波 1、雷达放射波 先看效果图 说明&#xff1a;使用的是mars3d框架&#xff0c;原生的Cesium实现方式可以绕道~ 实现方式&#xff1a; <template><div id"mars3dContainer"></div> </template><script setup> i…
阅读更多...
Fiddler抓包基础使用

Fiddler抓包基础使用

目录 一、设置抓谷歌浏览器https数据包 1、选中以下选项即可 2、若是选中后还是未抓到HTTPS数据包&#xff0c;则可进行以下操作 二、设置抓取Firefox浏览器HTTPS数据包 1、Firefox的代理需设置系统代理&#xff0c;设置→高级→网络设置&#xff0c;设置为系统代理&#…
阅读更多...
【深度学习】5-3 与学习相关的技巧 - Batch Normalization

【深度学习】5-3 与学习相关的技巧 - Batch Normalization

如果为了使各层拥有适当的广度&#xff0c;“强制性”地调整激活值的分布会怎样呢&#xff1f;实际上&#xff0c;Batch Normalization 方法就是基于这个想法而产生的 为什么Batch Norm这么惹人注目呢?因为Batch Norm有以下优点&#xff1a; 可以使学习快速进行(可以增大学习…
阅读更多...
广工赢清华，炸裂！

广工赢清华，炸裂！

去年2022年广工对阵清华&#xff0c;我在知乎写了文章 清华赢球靠的是广东第一高中生邹阳和2022届CBA状元王岚嵚。 比分焦灼的第四节关键时刻&#xff0c;邹阳在左角底线持球高高举起篮球&#xff0c;那个球的弧度非常高&#xff0c;皮球以稳稳的抛物线弧度掉入篮筐。 之后&…
阅读更多...
Python基础（21）——Python函数实战、递归、lambda、高阶函数

Python基础（21）——Python函数实战、递归、lambda、高阶函数

Python基础&#xff08;21&#xff09;——Python函数实战、递归、lambda、高阶函数 文章目录 Python基础&#xff08;21&#xff09;——Python函数实战、递归、lambda、高阶函数目标一. 应用&#xff1a;学员管理系统1.1 系统简介1.2 步骤分析1.3 需求实现1.3.1 显示功能界面…
阅读更多...
Streamlit基础教程

Streamlit基础教程

streamlit是什么 streamlit是一个开源的python库&#xff0c;它能够快速的帮助我们创建定制化的web应用&#xff0c;而且还非常便于和他人分享&#xff0c;特别是在机器学习和数据科学领域。整个过程不需要你了解任何前端的知识&#xff0c;包括html、css、javascript等&#x…
阅读更多...
Vue3 计算属性和侦听器实战（computed、watch）——简易点餐页面

Vue3 计算属性和侦听器实战（computed、watch）——简易点餐页面

文章目录 &#x1f4cb;前言&#x1f3af;项目介绍&#x1f3af;项目创建&#x1f3af;代码分析&#x1f3af;完整代码&#xff08;含 CSS 代码&#xff09;&#x1f4dd;最后 &#x1f4cb;前言 这篇文章记录一下 Vue3 计算属性和侦听器 &#xff08;computed、watch&#xf…
阅读更多...
网络安全自学能学会吗？网络安全如何学习

网络安全自学能学会吗？网络安全如何学习

网络安全是近年来的热门工作&#xff0c;吸引了许多小伙伴开始学习网络安全知识。那么我们应该如何学习网络安全呢&#xff1f;这是一个很多人都在考虑的问题。网络安全可以自学吗&#xff1f;自学网络安全能不能学会&#xff1f; 无论什么知识都是自学的&#xff0c;只是说每…
阅读更多...
数学物理学家心中的十大最美方程

数学物理学家心中的十大最美方程

“你认为最美的数学、物理方程是什么&#xff1f;”当代十位大数学家、物理学家给出了他们自己的回答。这些回答构成了大雅之美&#xff08;The Concinitas Project&#xff09;的十篇文章。我们为读者带来这些大师对自己眼中最美方程的精彩解读。 1.指标定理 撰文 阿蒂亚爵士…
阅读更多...
机器翻译与自动文摘评价指标 BLEU 和 ROUGE

机器翻译与自动文摘评价指标 BLEU 和 ROUGE

机器翻译与自动文摘评价指标 BLEU 和 ROUGE 在机器翻译任务中&#xff0c;BLEU 和 ROUGE 是两个常用的评价指标&#xff0c;BLEU 根据精确率(Precision)衡量翻译的质量&#xff0c;而 ROUGE 根据召回率(Recall)衡量翻译的质量。 1.机器翻译评价指标 使用机器学习的方法生成文…
阅读更多...
安科瑞AWT100无线数据采集通信终端

安科瑞AWT100无线数据采集通信终端

安科瑞AWT100无线数据采集通信终端 安科瑞 崔丽洁
阅读更多...
js \d正则匹配数字失败问题记录

js \d正则匹配数字失败问题记录

记录一次的正则匹配数字失败的问题 在一次开发中&#xff0c;需要匹配卡号&#xff0c;正则表达式较为复杂&#xff0c;想通过元字符进行简化&#xff0c;便由&#xff1a; new RegExp(^622(12[6-9]|1[3-9][0-9]|[2-8][0-9]{2}|9[01][0-9]|92[0-5])[0-9]{10,}$)变成&#xff…
阅读更多...
EMQ的使用和介绍

EMQ的使用和介绍

首先先了解一下底层的协议: 1. MQTT MQTT&#xff08;Message Queuing Telemetry Transport&#xff0c;消息队列遥测传输协议&#xff09;&#xff0c;是一种基于发布/订阅 &#xff08;publish/subscribe&#xff09;模式的"轻量级"通讯协议&#xff0c;该协议构建…
阅读更多...
【盘点】百家量子企业正展露头角

【盘点】百家量子企业正展露头角

光子盒研究院 量子计算是一个可能彻底改变我们在金融、材料科学、密码学和药物发现等领域解决复杂问题的方式。过去十年左右&#xff0c;量子计算初创公司正迅速崛起。 现在&#xff0c;根据光子盒的量子企业数据库&#xff0c;全球大约有一千家公司直接参与到量子技术中&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023