高性能计算集群使用

news2024/11/28 18:51:42

一、PuTTY的下载与安装

PuTTY是一款开源的连接软件，是 SSH、Telnet、Rlogin 和 SUPDUP 网络协议的客户端程序。

下载网址：Download PuTTY - a free SSH and telnet client for Windows

安装好后连接自己的服务器

输入用户名和密码，回车登录

如下，这样子就是登录成功了！

二、WinSCP的下载与安装

WinSCP 是一个 Windows 环境下使用的 SSH 的开源图形化 SFTP 客户端。同时支持 SCP 协议。它的主要功能是在本地与远程计算机间安全地复制文件，并且可以直接编辑文件。

下载地址：WinSCP :: Official Site :: Free SFTP and FTP client for Windows

安装完成之后就打开软件，新建站点，输入主机IP或域名、用户名、密码，点击保存。

进入后就可以拖拽文件进行传输。

三、编写脚本

Linux的一些指令

ls 列出目录下的所有文件。
ls -h 显示文件大小。
ls -a 列出目录下的所有文件，包括以 . 开头的隐含文件。
ls -l 列出文件的详细信息。
ls -t 以时间排序，最新的文件会排在上面。
ls -r 表示反向排序、倒序输出。
ls -lrth 表示按修改时间倒序输出，最新修改的文件会排在下面，并显示文件大小。
mkdir xxx 创建xxx文件夹。
cd xxx 进入xxx文件夹。
cd.. 返回上级目录。
cp file_to_copy.txt new_file.txt 直接在Linux终端上复制文件。
cp -r dir_to_copy/ new_copy_dir/ 复制文件夹。
rm 移除文件。
cat 用于直接从终端创建、查看和连接文件，主要用于下预览文件。
module available 显示可以使用的模块（module是一个专门管理环境变量的工具）。
module add xxx 添加xxx模块。
which xxx 命令输出shell命令的完整路径。
vi xxx.xxx 打开文件编辑。
more xxx 以一页一页的形式显示，按空白键显示下一页，按 b 键往回一页显示。
head xxx 输出文本文件的前10行，可以使用-n标志设置要显示的任意行数。

PBS作业调度指令——portable batch system

qsub xxx 提交作业脚本。
qstat 查询作业状态。
qdel 删除已提交的作业。

集群系统可以看成一台计算机，允许多个用户同时使用，资源的分配成为不可回避的问题。用户通过特定格式的输入文本（通常称为pbs文件）进行任务提交，系统根据用户的需求与现有计算资源，进行任务调度。用户在编写pbs文件时，往往想要预先知道计算资源使用情况，以进行合理的资源请求。

# test.R

# Load package
library(Seurat)

# print to pdf
pdf("my_plot.pdf", width=6, height=4)
   # 调整绘图区域距离外围框线的距离
   par(mar=c(4,4,1,1))
   df <- data.frame(x=c(1,2,3,4,5,6),
		            y=c(8,4,2,4,2,1))
   plot(y~x,data=df)

dev.off()

#job.pbs


#!/bin/bash
#PBS -N myjob
#PBS -o test_$PBS_JOBID.log
#PBS -e test_$PBS_JOBID.err
#PBS -l nodes=1:ppn=2
#PBS -q batch

cd $PBS_O_WORKDIR

module add R/4.1.2

Rscript test.R 1>run_test.log 2>run_test.err

hostname

sleep 60

具体参考：PBS作业调度详解 - 知乎 (zhihu.com)

PBS_O_WORKDIR：执行qsub命令所在的绝对路径

nodes=1:ppn=2：设定该作业所需1个计算节点，每个节点使用2核。

Linux下运行R脚本：Rscript xxx.R 1>run_xxx.log 2>run_xxx.err