OSU micro-benchmarks安装测试指导
OSU micro-benchmarks工具介绍
OSU Micro benchmark工具是由Ohio State University提供的MPI（Message Passing Interface，消息传递接口）通信效率评测工具。该工具旨在通过执行不同模式的MPI操作，来测试并度量MPI通信的带宽和延迟等性能参数。
具体来说，OSU Micro benchmark工具分为点对点通信和组通信两种形式。点对点通信模式主要用于测试两个节点之间的通信性能，而组通信模式则用于测试多个节点之间的协作和通信效率。通过OSU Micro benchmark工具的测试结果，用户可以获取关于MPI通信性能的详细数据，包括消息传递的速率、延迟、吞吐量等。这些数据可以帮助用户了解MPI通信在不同条件下的性能特点，从而进行性能优化和决策。
OSU Micro benchmark工具只是一个测试工具，它并不能直接解决MPI通信中的性能问题。在发现性能瓶颈或问题时，用户还需要结合具体的应用场景和代码实现，进行深入的分析和优化。
综上所述，OSU Micro benchmark工具是一个功能强大的MPI通信效率评测工具，它可以帮助用户全面了解和评估MPI通信的性能特点，为性能优化和决策提供有力的支持。
软件安装步骤
| 组件 | 下载 |
|---|---|
| Intel MPI | Intel 2023 |
| OSU micro-benchmarks | https://mvapich.cse.ohio-state.edu/download/mvapich/osu-micro-benchmarks-7.3.tar.gz |
| OS | CentOS7.9 |
| GCC | 4.8.5 |
- 加载MPI环境
- 上传OSU的源码包“osu-micro-benchmarks-7.3.tar.gz”
- 步骤 3 创建OSU的安装目录
-mkdir /path/to/osu
- 步骤 4 解压OSU源码包，并进入解压后的目录
tar zxvf osu-micro-benchmarks-7.3.tar.gz
cd osu-micro-benchmarks-7.3
- 步骤 5 执行以下命令进行编译配置
./configure CC=mpiicc CXX=mpiicpc --prefix=/path/to/osu
- 步骤 6 执行以下命令进行编译安装
make -j
make -j install
- 步骤 7 检查是否生成可执行文件
安装成功后，会在/path/to/osu/libexec/osu-micro-benchmarks目录下的pt2pt、one-side、collective等子目录下生成osu_xxx的可执行文件
使用软件测试网络通信
- 点对点测试
| 程序 | 说明 |
|---|---|
| osu_latency | 延迟测试，以乒乓方式（ping-pong fashion）进行，发送者发送一条具有特定数据大小的消息给接收者，并等待接收者的回复。接收者从发送者那里接收消息，并发送一条具有相同数据大小的回复消息。 |
| osu_bw | 带宽测试（单向），发送者向接收者发送固定数量（等于窗口大小）的背靠背消息，然后等待接收者的回复。接收者只有在收到所有这些消息后才发送回复 |
| osu_bibw | 双向带宽测试，双向带宽测试与带宽测试类似，不同之处在于涉及的两个节点都会发送固定数量的背靠背消息并等待回复 |
- 聚合通信测试
| 程序 | 说明 |
|---|---|
| osu_allgather | MPI_Allgather集合通信操作的时延测试 |
| osu_allreduce | MPI_Allreduce集合通信操作的时延测试 |
| osu_alltoall | MPI_Alltoall集合通信操作的时延测试 |
| osu_barrier | MPI_Barrier集合通信操作的时延测试 |
| osu_bcast | MPI_Bcast集合通信操作的时延测试 |
| osu_gather | MPI_Gather集合通信操作的时延测试 |
| osu_reduce | MPI_Reduce集合通信操作的时延测试 |
| osu_scatter | MPI_Scatter集合通信操作的时延测试 |
- 自动化测试脚本
#!/bin/bash
shell_path="/share/opt/osu/libexec/osu-micro-benchmarks/mpi/collective" #脚本存放路径
host_path=$(pwd) #待测节点
process_list="$host_path/processlist" #进程数
nodes=$host76/nodelist #nodelist填写IB网络IP
readarray -t pro_list < $processlist #读取进程数文件至数组当中
count=${#pro_list[@]} #获取数组长度
logfile=$current_path/log/$count"nodes-osu_allgather-"$(date +%Y-%m-%d-%H%M%S)".log" #设置日志格式
size=65536 #控制size大小
source /share/opt/modules_x86_64/init/profile.sh #使用module加载MPI通信库变量
module use /share/opt/moduledeps/
module load intel/2023.2.0
echo "*******************This is osu_allgather test**************************" >> $logfile
$(date +%Y-%m-%d-%H%M%S) >> $logfile
for ((i=0; i<$count; i++))
do
cd $host_path
echo "*******************ppn=${pro_list[$i]}*********************************" >> $logfile
mpirun -ppn ${pro_list[$i]} -hostfile $nodes $shell_path/osu_allgather -m $size >> $logfile #osu_allgather替换成待测试项
sleep 5
done
$(date +%Y-%m-%d-%H%M%S) >> $logfile
----结束
希望对您有所帮助
