Ubuntu22.04上作业调度管理软件PBS Torque的安装、配置及主要使用方法

news2025/1/19 3:28:55

文章目录

  • 前言
  • 一、PBS及Torque是什么？
  • 二、Ubuntu22.04上Torque的安装和配置步骤
    • 1. 更新系统软件包
    • 2. 安装必要的软件包
    • 3. 下载和安装Torque
    • 4. 配置Torque
    • 5. 设置环境变量
    • 6. 配置和启动Torque服务
    • 7. 配置计算节点
    • 8. 创建队列的信息，名称 batch001
    • 9. 提交测试任务
  • 三、设置PBS Torque开机自动启动
    • 1. 编辑rc-local.service文件
    • 2. 创建并保存rc.local文件
    • 3.赋予rc.local可执行权限
    • 4.为rc-local.service添加软链接
    • 5.使rc-local.service生效并启动
  • 四、PBS Torque的使用
    • 1.创建作业
    • 2.提交作业
    • 3.监控作业
    • 4.删除作业
  • 总结
  • 参考资料

前言

PBS Torque作为一种开源的作业调度和资源管理系统，广泛用于高性能计算环境中。它提供了一个集中式的作业调度器，可以有效地管理计算集群中的作业，并将它们分配给可用的资源。
Torque目前最新版本为7.0.1，本文将介绍Linux Ubuntu 22.04上PBS Torque 6.1.3的安装、配置及主要使用方法。

一、PBS及Torque是什么？

PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作业和串行、多种并行作业，如MPI、 PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一。
PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发, PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本。

PBS Torque作为一种开源的作业调度和资源管理系统，广泛用于高性能计算环境中。它提供了一个集中式的作业调度器，可以有效地管理计算集群中的作业，并将它们分配给可用的资源。

PBS Torque的主要特点包括：

  1. 高度可伸缩性：它可以支持从几台机器到上千台机器的集群规模，并可以动态地扩展和收缩。这使得它非常适合于大规模的高性能计算环境。
  2. 灵活的作业调度：PBS Torque根据作业的优先级和资源需求，自动调度和分配作业给可用的计算节点。它提供了各种调度策略和调度器插件，以满足不同的需求。
  3. 多用户支持：PBS Torque可以同时管理多个用户的作业，并为每个用户提供独立的计算资源。它还可以实施配额和限制，以确保公平分配计算资源。
  4. 弹性资源管理：PBS Torque可以管理多种类型的计算资源，包括CPU、内存、存储和网络带宽等。它可以根据作业的需求动态分配和管理这些资源。
  5. 作业监控和管理：PBS Torque提供了详细的作业监控和管理功能，包括作业状态查询、错误日志分析和资源利用统计等。这些功能有助于用户了解作业的执行情况和集群的利用率。

总的来说，PBS Torque是一个功能强大且灵活的作业调度和资源管理系统，可以有效地管理大规模的高性能计算环境。它已经被广泛应用于学术界和工业界，成为许多超级计算机和集群系统的首选作业调度器。
在这里插入图片描述

Torque目前最新版本为7.0.1，本文将介绍Linux Ubuntu 22.04下PBS Torque 6.1.3的安装、配置及主要使用方法。

二、Ubuntu22.04上Torque的安装和配置步骤

在Ubuntu上安装Torque可以按照以下步骤进行：

1. 更新系统软件包

sudo apt update
sudo apt upgrade

2. 安装必要的软件包

sudo apt install build-essential libssl-dev libxml2-dev libboost-all-dev libz-dev liblzma-dev libevent-dev libsqlite3-dev libmysqld-dev mysql-client mysql-server libmunge-dev libmunge2

3. 下载和安装Torque

首先，从Torque项目的官方网站下载Torque源代码包。可以使用如下命令下载最新版本：

wget http://wpfilebase.s3.amazonaws.com/torque/torque-6.1.3.tar.gz

接下来，解压下载的源代码包：

tar -xvzf torque-6.1.3.tar.gz
cd torque-6.1.3

然后，配置和编译Torque：

./configure --disable-gui --prefix=$HOME/app/torque-6.1.3 --disable-gcc-warnings
make -j8 CFLAGS='-fpermissive'

configure由于gcc warning中断，可加入–disable-gcc-warnings

最后，使用以下命令进行安装，其中需要使用root权限，创建/var/spool/torque文件夹：

sudo make install

4. 配置Torque

首先，创建必要的目录：

sudo mkdir -p /var/spool/torque/mom_priv
sudo mkdir -p /var/spool/torque/server_priv

然后，使用以下命令生成Torque配置文件及添加启动项：

sudo cp contrib/init.d/pbs_mom /etc/init.d/pbs_mom
sudo cp contrib/init.d/pbs_server /etc/init.d/pbs_server
sudo cp contrib/init.d/trqauthd /etc/init.d/trqauthd
sudo cp contrib/init.d/pbs_sched /etc/init.d/pbs_sched

sudo cp contrib/systemd/pbs_mom.service /etc/systemd/system/
sudo cp contrib/systemd/pbs_server.service /etc/systemd/system/
sudo cp contrib/systemd/trqauthd.service /etc/systemd/system/
sudo cp contrib/systemd/pbs_sched.service /etc/systemd/system/

sudo chmod +x /etc/init.d/pbs_*
sudo chmod +x /etc/init.d/trqauthd
sudo chmod +x /etc/systemd/system/pbs_*
sudo chmod +x /etc/systemd/system/trqauthd.service

sudo update-rc.d pbs_mom defaults
sudo update-rc.d pbs_server defaults
sudo update-rc.d pbs_sched defaults
sudo update-rc.d trqauthd defaults

接下来，编辑/etc/hosts文件，添加主机名和IP地址的映射：（对于计算节点nodes同样需要设置）

sudo vim /etc/hosts

在文件中添加类似以下内容，只需要添加第二行对应的信息：ip_address可由ifconfig查看，hostname命令查看hostname

127.0.0.1       localhost
<ip_address>    <hostname>

5. 设置环境变量

切换到root，打开profile：

su root
vim /etc/profile

添加以下内容：

export PATH=$HOME/app/torque-6.1.3/bin:$PATH
export PATH=$HOME/app/torque-6.1.3/sbin:$PATH
export LD_LIBRARY_PATH=$HOME/app/torque-6.1.3/lib:$LD_LIBRARY_PATH

生效

source /etc/profile

6. 配置和启动Torque服务

首先，编辑/var/spool/torque/mom_priv/config文件，添加以下内容：

pbsserver     <主节点主机名>

然后，编辑/var/spool/torque/server_priv/nodes文件，添加各个节点的主机名和CPU数量，例如：

<node1> np=<CPU数量> gpus=<GPU数量>
<node2> np=<CPU数量> gpus=<GPU数量>
...

接下来，编辑/var/spool/torque/server_name文件，添加主节点主机名。

<主节点主机名>

最后，启动Torque服务：

sudo service pbs_mom start
sudo service pbs_server start
sudo service pbs_sched start
sudo service trqauthd start

7. 配置计算节点

pbs_mom.service 拷贝到所有子节 点上相同的位置：node1, node2，并在所有子节点上执行：

scp contrib/systemd/pbs_mom.service node1:/usr/lib/systemd/system/
chmod 754 /usr/lib/systemd/system/pbs_mom.service
systemctl enable pbs_mom.service
systemctl start pbs_mom.service

重启服务

sudo su
for i in trqauthd pbs_server pbs_sched pbs_mom ; do service $i restart; done
exit

检查PBS，显示类似如下信息。

ps -e | grep pbs

在这里插入图片描述
以上如果没有错误提示，Torque已经在Ubuntu上安装好了并配置好了。接下来可以使用Torque命令行工具来管理和监控作业。

8. 创建队列的信息，名称 batch001

su root
qmgr -c 'create queue batch001'
qmgr -c 'set queue batch001 queue_type= execution'
qmgr -c 'set queue batch001 started= true'
qmgr -c 'set queue batch001 enabled= true'
qmgr -c 'set queue batch001 resources_default.nodes= 1'
qmgr -c "set queue batch001 resources_max.ncpus=12" #12为队列最大允许的cpu核数
qmgr -c "set queue batch001 resources_default.walltime = 1000:00:00" #1000为队列默认时长
qmgr -c 'set server default_queue= batch001'
qmgr -c 'set server scheduling=true'
qmgr -c "set server query_other_jobs =True"

输入qnodes, 查看节点信息。
在这里插入图片描述

9. 提交测试任务

echo sleep 60 | qsub

输入qstat -a命令可以查看任务详情。

三、设置PBS Torque开机自动启动

1. 编辑rc-local.service文件

sudo vim  /lib/systemd/system/rc-local.service

打开rc-local.service文件之后在最后添加如下代码

[Install]
WantedBy=multi-user.target  
Alias=rc-local.service

2. 创建并保存rc.local文件

sudo vim /etc/rc.local

打开rc.local文件之后添加如下代码

#!/bin/bash
systemctl start pbs_server.service
systemctl start pbs_sched.service
systemctl start pbs_mom.service
systemctl start trqauthd

3.赋予rc.local可执行权限

sudo chmod +x /etc/rc.local

4.为rc-local.service添加软链接

sudo ln -s /lib/systemd/system/rc-local.service /etc/systemd/system/

5.使rc-local.service生效并启动

sudo systemctl enable rc-local
sudo systemctl start rc-local.service  #启动服务
# sudo systemctl stop rc-local.service  #暂停服务
# sudo systemctl status rc-local.service #查看状态
# sudo systemctl daemon-reload # 重新加载自启服务

四、PBS Torque的使用

1.创建作业

使用PBS Torque提交作业之前，需要创建一个作业脚本。作业脚本是一个包含作业信息的文本文件，用于告诉PBS Torque如何运行作业。作业脚本通常使用PBS的命令行工具qsub提交。
以下是一个示例作业脚本：

#!/bin/bash
#PBS -N MyJob
#PBS -l nodes=1:ppn=4
#PBS -l walltime=1:00:00

mpirun -np 4 echo "Hello, PBS Torque"

在上面的示例中，作业名称是MyJob，使用了1个节点和4个进程，并设置了最长运行时间为1小时。使用mpirun命令运行作业中的程序。

2.提交作业

将作业脚本保存为job.sh文件，并使用qsub命令提交作业：

qsub job.sh

作业将被提交到PBS Torque队列中，等待调度和执行。

3.监控作业

可以使用qstat命令来查看作业的状态和进度。例如，使用以下命令查看所有作业的状态：

qstat -a

4.删除作业

如果需要删除已经提交的作业，可以使用qdel命令并指定作业的ID：

qdel job_id

总结

以上是PBS Torque 6.1.3在Ubuntu22.04上的安装、基本配置和使用方法。
根据具体需求，可以参考PBS Torque的官方文档和用户手册，进一步学习PBS Torque的高级功能和配置选项以获取更详细的信息。

参考资料

  1. https://blog.csdn.net/qq_29684215/article/details/116603489
  2. https://blog.csdn.net/r1141207831/article/details/125262556

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1455497.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

1 月比特币 ETF 终上市，公链稳健发展

1 月比特币 ETF 终上市，公链稳健发展

作者&#xff1a;stellafootprint.network 数据来源&#xff1a;Public Chain Research - Footprint Analytics 2024 年 1 月&#xff0c;随着美国比特币 ETF 的推出&#xff0c;加密货币领域迎来了重大突破。在此背景下&#xff0c;尽管市场热情高涨&#xff0c;比特币和以太…
阅读更多...
【软考高级信息系统项目管理师--第十四章：项目沟通管理】

【软考高级信息系统项目管理师--第十四章：项目沟通管理】

&#x1f680; 作者 &#xff1a;“码上有前” &#x1f680; 文章简介 &#xff1a;软考高级–信息系统项目管理师 &#x1f680; 欢迎小伙伴们 点赞&#x1f44d;、收藏⭐、留言&#x1f4ac; 第十四章&#xff1a;项目沟通管理 项目成功的重要因素项目的沟通模型有效沟通的属…
阅读更多...
OBD部署OceanBase集群-配置文件方式

OBD部署OceanBase集群-配置文件方式

前一篇文章介绍了OBD白屏可视化方式部署OceanBase集群 &#xff0c;其原理是把可视化设置生成为一个配置文件&#xff0c;然后使用OBD命令部署集群 本篇想使用命令行加配置文件方式&#xff0c;只部署OceanBase和ODProxy两个组件 服务器参数配置和 oceanbase-all-in-one-*.ta…
阅读更多...
网络安全--网鼎杯2018漏洞复现（二次注入）

网络安全--网鼎杯2018漏洞复现（二次注入）

一、环境&#xff1a;在线测试平台 BUUCTF在线评测 (buuoj.cn) 二、进入界面先尝试万能账号 1or11# 换格式 hais1bux1 11or11# 三、万能的不行那我们就得想注册了&#xff0c;去register.php去看看 注册个账号 发现用户名回显&#xff0c;猜测考点为用户名处二次注入&…
阅读更多...
拼多多API使用指南：通过pinduoduo.item_get_app获取商品详情

拼多多API使用指南：通过pinduoduo.item_get_app获取商品详情

拼多多API使用指南&#xff1a;通过pinduoduo.item_get_app获取商品详情 在电商领域&#xff0c;数据的获取与利用对于商家和开发者来说都是至关重要的。拼多多&#xff0c;作为中国知名的社交电商平台&#xff0c;其API的开放为开发者提供了丰富的数据资源。本文将详细介绍如…
阅读更多...
洛谷 P1887 乘积最大3

洛谷 P1887 乘积最大3

参考代码and代码解读 #include <bits/stdc.h> int a,b,i; int main() { scanf("%d%d",&a,&b); for (i1;i<b-a%b;i) printf("%d ",a/b); //为使乘积最大&#xff0c;各个数字之差不超过1 //输出b-a%b个a/b for (;i&l…
阅读更多...
普源(RIGOL) DHO914S示波器 简单开箱评测

普源(RIGOL) DHO914S示波器 简单开箱评测

普源精电(RIGOL) DHO914S 12bit数字示波器 简单开箱评测。 旧的示波器感觉不好用&#xff0c;所以换个新的&#xff0c;看中了普源的这款&#xff0c;主要看中它便携支持PD供电&#xff0c;还有伯德图功能&#xff0c;以及12bit的垂直分辨率。如果你对我上面说的点没需求&…
阅读更多...
《区块链公链数据分析简易速速上手小册》第5章：高级数据分析技术（2024 最新版）

《区块链公链数据分析简易速速上手小册》第5章：高级数据分析技术（2024 最新版）

文章目录 5.1 跨链交易分析5.1.1 基础知识5.1.2 重点案例：分析以太坊到 BSC 的跨链交易理论步骤和工具准备Python 代码示例构思步骤1: 设置环境和获取合约信息步骤2: 分析以太坊上的锁定交易步骤3: 跟踪BSC上的铸币交易结论5.1.3 拓展案例 1：使用 Python 分析跨链桥活动准备工…
阅读更多...
考研证件照可以自己用手机拍吗？考研证件照p过可以通过审核吗？考研证件照有什么要求

考研证件照可以自己用手机拍吗？考研证件照p过可以通过审核吗？考研证件照有什么要求

一、考研证件照可以自己用手机拍吗 现在的智能手机相机技术先进&#xff0c;大多都配备了高像素摄像头&#xff0c;使得自拍照片的质量有了大幅提升。相较于传统的证件照拍摄&#xff0c;使用手机自拍考研证件照理论上是可行的。然而&#xff0c;考研证件照需要满足一定的规定…
阅读更多...
prometheus基于consul的服务发现

prometheus基于consul的服务发现

文章目录 一、基础二、安装consul下载地址启动consul访问consul 三、编写服务发现文件nodes.json四、prometheus配置consul发现修改prometheus.yml重启Prometheus 参考 一、基础 二、安装consul 下载地址 https://developer.hashicorp.com/consul/install 启动consul mkdi…
阅读更多...
Android开机不显示bootloader界面

Android开机不显示bootloader界面

Turn it off in the following way LINUX\android\bootable\bootloader\edk2\QcomModulePkg\Library\BootLib\MenuKeysDetection.c 试了没有生效 --- a/QcomModulePkg/Library/BootLib/MenuKeysDetection.cb/QcomModulePkg/Library/BootLib/MenuKeysDetection.c-364,7 364,8…
阅读更多...
Maven - Plugins报错的正确解决之道

Maven - Plugins报错的正确解决之道

背景&#xff1a; 正确解决之道&#xff1a; 在自己本地Maven的安装目录中找到自己的仓库地址目录&#xff1a;直接搜索自己报错的插件文件&#xff0c;把它们删除&#xff0c;如图&#xff1a; 接着回到IDEA点击Maven刷新按钮重新加载即可&#xff1a;已解决 反例&#xff1…
阅读更多...
在SpringBoot中@PathVariable与@RequestParam的区别

在SpringBoot中@PathVariable与@RequestParam的区别

PathVariable GetMapping("/{userId}")public R<User> getUserById(PathVariable Long userId) {return userService.getUserById(userId);} // 根据id获取一条数据 function getStudentDataByIdAndDisplayInput(id) {// 发送 AJAX 请求$.ajax({url: /dorm/st…
阅读更多...
8、内网安全-横向移动RDPKerberos攻击SPN扫描WinRMWinRS

8、内网安全-横向移动RDPKerberos攻击SPN扫描WinRMWinRS

用途&#xff1a;个人学习笔记&#xff0c;有所借鉴&#xff0c;欢迎指正 目录 一、域横向移动-RDP-明文&NTLM 1.探针服务&#xff1a; 2.探针连接&#xff1a; 3.连接执行&#xff1a; 二、域横向移动-WinRM&WinRS-明文&NTLM 1.探针可用&#xff1a; 2.连接…
阅读更多...
华清远见嵌入式学习——驱动开发——作业1

华清远见嵌入式学习——驱动开发——作业1

作业要求&#xff1a; 通过字符设备驱动分步注册过程实现LED驱动的编写&#xff0c;编写应用程序测试&#xff0c;发布到CSDN 作业答案&#xff1a; 运行效果&#xff1a; 驱动代码&#xff1a; #include <linux/init.h> #include <linux/module.h> #include &l…
阅读更多...
GptSoVits音频教程

GptSoVits音频教程

这个号称5秒克隆&#xff0c;或者用1分钟音频训练10分钟就能达到原声效果。 5秒的号称&#xff0c;只要是&#xff0c;什么几秒的&#xff0c;大家可以完全不要想了&#xff0c;什么知更鸟&#xff0c;什么火山&#xff0c;包括本次的GptSoVits的效果肯定是不行的&#xff0c;…
阅读更多...
【性能测试】分布式压测之locust和Jmeter的使用

【性能测试】分布式压测之locust和Jmeter的使用

受限于单台机器的配置问题&#xff0c;我们在单台机器上达不到一个很高的压测并发数&#xff0c;那这个时候就需要引入分布式压测 分布式压测原理&#xff1a; 一般通过局域网把不同测试计算机链接到一起&#xff0c;达到测试共享、分散操作、集中管理的目的。 选择一台作为…
阅读更多...
小白水平理解面试经典题目LeetCode 1025 Divisor Game【动态规划】

小白水平理解面试经典题目LeetCode 1025 Divisor Game【动态规划】

1025 除数游戏 小艾 和 小鲍 轮流玩游戏&#xff0c;小艾首先开始。 最初&#xff0c;黑板上有一个数字 n 。在每个玩家的回合中&#xff0c;该玩家做出的动作包括&#xff1a; 选择任意 x&#xff0c;使 0 < x < n 和 n % x 0 。将黑板上的数字 n 替换为 n - x 。 此…
阅读更多...
代码随想录day25--回溯的应用4

代码随想录day25--回溯的应用4

LeetCode491.非递减子序列 题目描述&#xff1a; 给你一个整数数组 nums &#xff0c;找出并返回所有该数组中不同的递增子序列&#xff0c;递增子序列中 至少有两个元素 。你可以按 任意顺序 返回答案。 数组中可能含有重复元素&#xff0c;如出现两个整数相等&#xff0c;…
阅读更多...
[Flink02] Flink架构和原理

[Flink02] Flink架构和原理

这是继第一节之后的Flink入门系列的第二篇&#xff0c;本篇主要内容是是&#xff1a;了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。 1、运行模式 Flink有多种运行模式&#xff0c;可以运行在一台机器上&#xff0c;称为本地&#xff08;单机&#xff09;模式&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023