Linux和Windows集群中部署HTCondor

news2025/2/26 3:01:49

目录

 1、集群架构

2、HTCondor版本

3、Linux系统安装

3.1、HTCondor安装

3.2、中央管理节点配置

3.3、其他节点配置

4、Windwos系统安装

5、安全配置

6、参考


 1、集群架构
 

操作系统IP地址
1*Ubuntu22.04192.168.1.74
2Ubuntu22.04192.168.1.60
3Ubuntu22.04192.168.1.67
4Ubuntu20.03192.168.1.136
5Windows10192.168.1.20

2、HTCondor版本

为了兼容Ubuntu22.04,采用了HTCondor10.0.9版本

官网地址:HTCondor DownloadHTCSS is a specialized workload management system for compute-intensive jobs. Built to be flexible, expressive, and compatible with Grid and Cloud computing environments HTCSS was made to increase your Computational Throughput.icon-default.png?t=N7T8https://htcondor.org/htcondor/download/

3、Linux系统安装

采用Ubuntun22.04作为中央管理节点,IP地址为192.168.1.74

其余电脑全部设置为执行点和提交点。

3.1、HTCondor安装

在所有Ubuntu电脑中设置:

wget -qO - https://research.cs.wisc.edu/htcondor/repo/keys/HTCondor-10.0-Key | sudo apt-key add -

如果更换版本,密钥也得更换,此处用的锁10.0版本。

echo "deb [arch=amd64] https://research.cs.wisc.edu/htcondor/repo/ubuntu/10.0 jammy main" | sudo tee /etc/apt/sources.list.d/htcondor.list

apt-get update
apt-get install htcondor

3.2、中央管理节点配置

打开防火墙9618端口

ufw allow 9618/tcp

如果ufw服务没开启:

ufw enable

编辑condor_config文件

vim  /etc/condor/condor_config

在condor_config文件中加上:

ALLOW_WRITE =*

ALLOW_READ=*

CONDOR_HOST=$(FULL_HOSTNAME)

DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD

ALLOW_ADVERTISE_MASTER=$(ALLOW_WRITE)
ALLOW_ADVERTISE_STARTD=$(ALLOW_WRITE)
ALLOW_ADVERTISE_SCHEDD=$(ALLOW_WRITE)

DAEMON_LIST设置机器的进程:
示例:
    中央管理主机(可提交可执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
    中央管理主机(只提交不执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD
    作业提交主机
    DAEMON_LIST = MASTER, SCHEDD
    作业执行主机
    DAEMON_LIST = MASTER, STARTD

安全配置最后介绍,Linux、Windows类似

3.3、其他节点配置

在其余节点(执行点、提交点)下载完HTCondor后,编辑condor_config文件,将host指向中央管理节点,我这里是192.168.1.74,再配置相关节点进程。

vim  /etc/condor/condor_config

CONDOR_HOST=192.168.1.74

#下面三个三选一

DAEMON_LIST = MASTER, SCHEDD  #作业提交主机

DAEMON_LIST = MASTER, STARTD #作业执行主机

DAEMON_LIST = MASTER, SCHEDD,STARTD #作业提交+执行主机

安全配置最后介绍,Linux、Windows类似

4、Windwos系统安装

Windows系统直接到官网下载相应版本msi文件即可。我这里是10.0.9版本

https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/icon-default.png?t=N7T8https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/Windows详细安装教程参考:

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html注意在第一步选择创建condor池还是加入condor池时,选择join an existing HTCondor Pool.

Hostname of Central  Manager选择中央管理节点ip,我这里填的是192.168.1.74.

后面根上面博客里教程一样即可。

如果后续需要修改节点进程,在安装目录下的condor_config中修改DAEMON_LIST即可。

5、安全配置

安全配置,Linux与Windows一样。

Linux到/etc/condor下修改condor_config文件

Windows到安装目录下修改condor_condif文件。

为了方便,我没有采用IDTOKENSPassword身份验证。所以注释掉在condor_config中所有关于安全的配置,例如:use SECURITY等。

如果需要更安全的验证,请自行去官网参照官方手册配置:
Security — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/admin-manual/security.html#password-authenticationLinux可能会有个config.d文件夹,如何里面有配置文件,编辑这个配置文件看看是否有关于安全的配置,如果有注释掉。

在condor_config中加入:

use SECURITY:HOST_BASED

6、参考

Administrative Quick Start Guide — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/getting-htcondor/admin-quick-start.html

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html

https://www.twblogs.net/a/5b8389002b71776c51e37dacicon-default.png?t=N7T8https://www.twblogs.net/a/5b8389002b71776c51e37dac

本文合作作者:感情丶剪不断-CSDN博客感情丶剪不断关注react.js,前端框架,面试,css,node.js,es6,vue.js,https,javascript领域.https://blog.csdn.net/qq_46688918

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1477538.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Ansys Lumerical | 自发参量下变频 (SPDC) 光子源

附件下载 联系工作人员获取附件 此示例演示了如何对真实的光子源进行建模,并将其用作 qINTERCONNECT 的输入。用直波导中一个长度为L且具有χ ( 2 ) 非线性的局部区域计算I型SPDC过程的光子产生速率和波函数,其中泵浦光子被转换为信号和闲置光子对&…

10.广域网技术

1. PPP实验点这里(拓扑代码) 2. PPPoE配置实验点这里(拓扑代码) 目录 一、广域网二、PPP协议三、PPP链路建立过程1-LCP(链路协商)四、PPP链路建立过程2-PAP/CHAP(认证协商,可选&…

基于x86架构的OpenHarmony应用生态挑战赛等你来战!

为了更快速推进OpenHarmony在PC领域的进一步落地,加快x86架构下基于OpenHarmony的应用生态的繁荣,为北向应用开发者提供一个更加便捷的开发环境,推动OpenHarmony北向应用开发者的增加,助力OpenHarmony在PC领域实现新的突破&#x…

工业智能网关的实际应用及其带来的变革-天拓四方

工业智能网关是一种集数据采集、传输、处理和分析于一体的智能化设备。它能够实现对工业现场各种传感器、执行器等设备的数据进行实时采集,并通过网络传输到云端或本地数据中心进行分析处理。同时,工业智能网关还具备边缘计算能力,能够在本地…

六、OpenAI之嵌入式(Embedding)

嵌入模式 学习怎么将文本转换成数字,解锁搜索等案例。 新的嵌入模型 text-embedding-3-small 和 text-embedding-3-large,是目前最新的并且性能最好的嵌入模型,成本低,支持多语言,拥有控制所有大小的新参数 1. 什么是…

Halcon 求孔洞的大小和数量

文章目录 适用场景汽车按钮案例 适用场景 在工业中可以利用孔洞的多少和孔洞的大小来分析出产品的缺陷问题,例如一个产品有8个孔洞,孔洞多和少都会被识别为不合格产品,或者求出孔洞的面积,如果孔洞的大小超出一定的范围将视为不合…

3月5日济南,2024生物发酵展全新起航!助力打造生物产业经济新时代

生物发酵是生物产业的重要组成部分,近年来,我国生物产业发展迅猛,生物发酵技术也已广泛应用于食品、农业、医药、饲料、日化、材料等领域,市场前景广阔。2022年5月,国家发改委发布的《“十四五”生物经济发展规划》明确…

如何识别代理服务器的IP地址?

识别一个IP地址是否是由代理服务器发出的,是一项具有挑战性的任务。代理服务器是一种中间网络设备,用于转发客户端的请求和响应,从而隐藏原始客户端的IP地址。由于代理服务器的广泛使用,识别它们对于网络安全、数据分析和市场调研…

Chat2table,简易表格分析助手

一 写在前面 之前用智谱AI的Chatglm3-6b模型写过一个简单的论文阅读助手,可用来辅助论文阅读等。而像表格,如Excel、CSV文件等内容的分析,也是不可忽略的需要,因此本文同样使用Chatglm3-6b来搭建一个表格分析助手,用于…

基于springboot + vue实现的前后端分离-汽车票网上预定系统(项目 + 论文)

项目介绍 系统是一个B/S模式系统,采用Spring Boot框架,MySQL 数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得汽车票网上预订系统管理工作系统化、规范化。本系统的使用使管理人…

如何处理网络攻击对系统造成的损害?

网络攻击对系统造成的损害是当今企业面临的一大挑战。随着互联网的普及和数字化转型的加速,企业的运营越来越依赖于网络,但同时也面临着越来越多的网络安全威胁。一旦企业遭受网络攻击,其系统可能会遭受不同程度的损害,导致数据泄…

ZDH-大数据采集-支持KETTLE任务

目录 项目源码 预览地址 支持KETTLE介绍 新增KETTLE任务 配置调度KETTLE 重要说明 感谢支持 项目源码 zdh_web:GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台 预览地址 后台管理-登陆 用户名:zyc 密码:123456 支持KETTLE介绍 当前平台不…

Qt 简约美观的加载动画 小沙漏风格 第六季

这次和大家分享一个沙漏风格的加载动画 效果如下: 这是本系列的第六季了, 本次内容的关键在于cubicTo函数的使用, 在这里分享一个非常好用的网站https://www.desmos.com/calculator/cahqdxeshd 在这上面可以手动拖动贝塞尔曲线的控制点, 并且显示了起终点和两个控制点的精确坐…

Java实现Excel模板下载以及遇到的问题

Java实现Excel模板下载以及遇到的问题 前言: 项目在开发过程中,会用到Excel的导入,导出,复杂一点的Excel可以写好放在项目指定位置,下载时候直接从指定位置获取即可。 代码实现 excel存放的位置: cont…

C#,数值计算,求解微分方程的吉尔(Gear)四阶方法与源代码

1 微分方程 微分方程,是指含有未知函数及其导数的关系式。解微分方程就是找出未知函数。 微分方程是伴随着微积分学一起发展起来的。微积分学的奠基人Newton和Leibniz的著作中都处理过与微分方程有关的问题。微分方程的应用十分广泛,可以解决许多与导数…

Linux系统Docker部署StackEdit Markdown并实现公网访问本地编辑器

文章目录 前言1. ubuntu安装VNC2. 设置vnc开机启动3. windows 安装VNC viewer连接工具4. 内网穿透4.1 安装cpolar【支持使用一键脚本命令安装】4.2 创建隧道映射4.3 测试公网远程访问 5. 配置固定TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址5.3 测试…

【mysql版本修改】

1、使用telnet确认当前mysql版本号 telnet <MySQL服务器IP地址> <MySQL端口号> telnet 192.168.38.20 33062、使用strings查看/usr/sbin/mysqld中包含版本号的字符串 # 查看/usr/sbin/mysqld文件中是否包含对应的版本号 strings /usr/sbin/mysqld | grep 5.7.30 …

vue-router4 (六) 路由嵌套

应用场景&#xff1a; ①比如京东页面的首页、购物车、我的按钮&#xff0c;可以点击切换到对应的页面&#xff1b; ② 比如 Ant Design左侧这些按钮点击就会切到对应的页面&#xff0c;此时可以把左侧按钮放在父路由中&#xff0c;右侧的子路由 1.路由配置&#xff0c;子路由…

408 数据结构笔记

408 数据结构 常用名词存取 第一章-绪论数据结构的基本概念数据的存储结构顺序存储链式存储索引存储散列存储 数据类型和抽象数据类型知识总览学习方式顺序 算法的基本概念时间复杂度空间复杂度 第二章-线性表总览顺序表顺序表的定义知识结构静态分配动态分配顺序表的特点顺序表…

AI一键生成3D模型!

一、Genie Genie 是 Luma AI 推出的一个文本到 3D 的生成模型&#xff0c;可以在 10 秒生成 4 款 3D 模型&#xff0c;自动精修后质感非常逼真&#xff0c;目前支持免费使用。 此次的 1.0 版本更新后将生成功能由 Discord 转到了单独的网页&#xff0c;使用起来更方便&#x…