目录
- 今日已完成任务列表
- 遇到的问题及解决方案
- 任务完成详细笔记
- 阶段一
- 阶段二
- 阶段三
- 阶段四
- 对自己的表现是否满意
- 简述下次计划
- 其他反馈
今日已完成任务列表
超算/高性能计算总结
遇到的问题及解决方案
无
任务完成详细笔记
阶段一
在学习的第一阶段,我们首先对需要优化的程序——Darknet框架进行了了解,其具有灵活性高、结构明晰、安装简单方便等特点;之后对超级计算机的概念和体系结构进行了了解,同时也了解了超级计算机并行工作的基本原理;最后对Linux操作系统的基本指令进行了熟悉
lscpu 显示cpu相关信息
free 显示内存的使用情况
top 实时查看系统的运行情况
ls 查看指定目录下所有文件
chmod [para] [filename] 更改文件权限
mkdir [directoryName] 目录的创建
rm [-rf] [filename or directoryName] 目录以及文件的删除
pwd 查看当前的目录
cd [absolutePath]
cd … 上级目录
cd . 当前目录
cd - 上次访问目录
cd ~ 用户根目录
touch [filename] 文件的创建
mv [filename] [object_directiryName] 文件/目录的移动
mv [old_filename] [new_filename] 文件/目录的重命名
cp [source_filename] [dest_filename] 文件/目录的拷贝
find [directory] -name [filename] 搜索文件名中包含某特定字符串的文件
grep “[string]” -r [filename] 文件字符搜索
cat [file_name] 显示文件全部内容
head [file_name] 显示文件开头
head -n [line_num] [file_name] 显示文件开头(指定行数)
tail [file_name] 显示文件结尾
tail -n [line_num] [file_name] 显示文件结尾(指定行数)
tail -f [file_name] 动态刷新文件末尾
more [file_name] 显示文件结尾
env 用来显示环境变量, 显示当前用户的环境变量
export 用来设置环境变量
echo 用来查看指定变量内容
PATH 当前shell命令、系统程序、应用程序以及自定义可执行文件的路径
LD_LIBRARY_PATH 可执行共享库(动态库)的目录路径
阶段二
这一阶段主要对Linux常用的命令、基础性能分析工具进行学习
vim
普通模式(:)
:1 快速跳转到文件的第一行
:$ 快速跳转到文件最后一行
:w 保存
:q 退出
:wq 保存文件并退出
:q! 强制退出,不保存修改
s,:[addr]s/源字符串/目的字符串/[option]
全局替换:
%s/源字符串/目的字符串/g
2,10s/源字符串/目的字符串/g
插入模式(i)
插入模式下进行编辑
可视模式(v)
y 复制光标所选定文段
p 在光标所在行出粘贴
x 删除光标所选文段
GCC
分步编译和链接
gcc -o [obj_file] -c [src_file] -I [include_path]
gcc -o [bin] [all_obj_files] -L [library_path] -l [library_file_name]
直接编译出二进制文件
gcc -o [bin] [all_src_files] -I [include_path] -L [library_path] -l [library_file_name]
Makeu与Makefile
slurm
yhinfo / yhi:资源信息查询
yhalloc:资源申请 (强占)
yhrun:作业提交 (自动申请资源)
yhqueen / yhq:作业队列查询
yhcancel:作业取消
yhbatch:批处理作业 (输出被保存到 slurm-jobID.out 下)
yhacct:作业历史查询
GDB
l 展示代码
例如:展示第 10 行,l 10 会将其上下 5 行均展示
b [行号] 在指定行处打断点
r 运行程序
p [变量名称] 查看代码中指定变量的值
c 继续执行程序
q 退出程序
info break 查看所有断点信息
disable [断点编号] 禁用指定的断点
enable [断点编号] 恢复指定的断点
clear [断点编号] 删除指定断点
watch [变量名称] 跟踪指定变量
阶段三
这一阶段主要对高性能算法 (不同矩阵的存储格式) 有了初次的了解;同时对常用的性能分析工具有了一定的熟悉;最后对传统性能优化技术进行了学习
矩阵存储与SpMV算法
COO格式
CSR格式
DIA格式
gprof
- 编译代码文件
g++ -pg main.cpp -o main- 执行可执行文件
yhrun -p thcp1 -N 1 -n 1 main- 对生成的 gmon.out 文件进行转换 (二进制转为普通文本文件)
gprof main gmon.out>output.txt
传统性能优化技术
循环合并
for (i=0; i<N; i++)
x[i] = a[i] + b[i]
for (i=0; i<N; i++)
y[i] = a[i] - b[i]
for (i=0; i<N; i++)
{
x[i] = a[i] + b[i];
y[i] = a[i] - b[i];
}
循环展开
for (i=0; i<N; i++)
{
A[i] = A[i] + B[i];
}
for (i=0; i<N; i+=4)
{
A[i] = A[i] + B[i];
A[i+1] = A[i+1] + B[i+1];
A[i+2] = A[i+2] + B[i+2];
A[i+3] = A[i+3] + B[i+3];
}
循环交换
for (j=0; j<N; j++)
for (k=0; k<N; k++)
for (i=0; i<N; i++)
A[i][j] = a[i][j] + B[i][k] * C[k][j];
for (j=0; j<N; j++)
for (i=0; i<N; i++)
for (k=0; k<N; k++)
A[i][j] = A[i][j] + B[i][k] * C[k][j];
循环分布
for (i=0; i<N; i++)
{
A[i] = i;
B[i] = 2 + B[i];
C[i] = 3 + C[i-1];
}
for (i=0; i<N; i++)
{
A[i] = i;
B[i] = 2 + B[i];
}
for (i=0; i<N; i++)
C[i] = 3 + C[i-1];
循环不变量外提
for (i=0; i<N; i++)
for (j=0; j<M; j++)
U[i] = U[i] + W[i] * W[i] * D[j] / (dt * dt);
T1 = dt * dt;
for (i=0; i<N; i++)
{
T2 = W[i] * W[i];
for (j=0; j<M; j++)
U[i] = U[i] + T2 * D[j]/T1;
}
循环分块
for (i=0; i<N; i++)
for (j=0; j<M; j++)
A[i] = A[i] + B[j]
for (j=0; j<M; j+=T)
for (i=0; i<N; i++)
for(jj=0; jj<T; jj++)
A[i] = A[i] + B[j+jj]
循环分裂
for (i=0; i<N; i++)
vec[i] = vec[i] + vec[M];
for (i=0; i<M; i++)
vec[i] = vec[i] + vec[M];
for (i=M; i<N; i++)
vec[i] = vec[i] + vec[M];
阶段四
该阶段主要利用之前阶段所学内容对Darknet程序进行优化
- 使用make对程序进行编译 (-pg选项*)
- 运行可执行文件 (生成gmon.out文件)
- 利用 gprof 工具将gmon.out文件转为.txt文件
- 分析文件内容,找出热点函数
- 使用优化技术对热点函数进行优化
对自己的表现是否满意
对各个阶段的内容进行了总结,虽然时间不算长,但收获还是值得记录的!
简述下次计划
完结撒花!
其他反馈
无