Darshan日志分析

news2025/1/20 3:53:34

标头

在这里插入图片描述

darshan-parser 输出的开头显示了有关作业的总体信息的摘要。还可以使用–perf、–file或–total命令行选项生成其他作业级别摘要信息。

  • darshan log version:Darshan 日志文件的内部版本号。
  • compression method:压缩方法。
  • exe:生成日志文件的可执行文件的名称。
  • uid:作业运行时的用户ID。
  • jobid:来自调度程序的作业ID。
  • start_time:作业的开始时间(自纪元以来的秒数)。
  • start_time_asci:作业的开始时间,采用人类可读的格式。
  • end_time:作业的结束时间,自纪元以来的秒数。
  • end_time_asci:作业的结束时间,采用人类可读的格式。
  • nprocs:MPI 进程数。
  • run time:作业的运行时间(以秒为单位)。

日志文件区域大小

在这里插入图片描述

解析器输出的下一部分显示给定日志文件中包含的每个区域的大小。每个日志文件将包含以下区域:

  • header:恒定大小的未压缩标头,提供有关如何正确访问日志的数据。
  • 作业数据:日志的作业级元数据(例如,开始/结束时间和 exe 名称)。
  • 记录表:将 Darshan记录标识符映射到完整文件名路径的表。
  • 模块数据:每个模块(例如,POSIX、MPI-IO 等)将其 I/O 特征数据存储在日志的不同区域中。

除标头外,日志文件的所有区域都经过压缩(采用 libz 或 bzip2 格式)。

已挂载的文件系统表

输出的下一部分显示了作业运行时安装的所有通用文件系统的表。每行使用以下格式:

<mount point> <fs type>

在这里插入图片描述

I/O 特征字段的格式

在这里插入图片描述

输出的其余部分将显示应用程序打开的每个文件的特征。每行使用以下格式:

<module> <rank> <record id> <counter name> <counter value> <file name> <mount point> <fs type>

module:指定负责记录这条I/O特征数据的模块。
rank:指示打开文件的进程的等级。等级值为 -1 表示文件在所有进程间共享,并且统计信息被聚合。
record id:是打开的文件路径/名称的 64 位哈希值。它用作唯一区分每个文件的方法。
counter name和counter value:统计计数器。值 -1 表示 Darshan 无法收集该特定计数器的统计信息,并且应忽略该值。
file name:字段显示记录对应的完整文件名。
mount point:该文件所属文件系统的挂载点
fs type:该文件系统的类型。

I/O特征字段

1.POSIX模块

在这里插入图片描述

  • POSIX_*:POSIX操作计数。

  • READS、WRITES、OPENS、SEEKS、STATS、MMAPS、SYNCS、FILENOS、DUPS是操作类型。

  • POSIX_RENAME_SOURCES/TARGETS:此文件作为重命名操作源/操作目标的次数

  • POSIX_RENAMED_FROM:如果文件是重命名目标,则第一个重命名源的Darshan记录ID

  • POSIX_MODE:打开文件的模式。

  • POSIX_BYTES_*:读取和写入的总字节数。

  • POSIX_MAX_BYTE_*:读取和写入的最高偏移字节。

  • POSIX_CONSEC_*:与上次访问紧邻的读写次数。

  • POSIX_SEQ_*:从增加的偏移量读取和写入的次数。

  • POSIX_RW_SWITCHES:在读取和写入之间交替访问的次数。

  • POSIX_*_ALIGNMENT:内存和文件对齐。

  • POSIX_*_NOT_ALIGNED:未对齐的读写次数。

  • POSIX_MAX_*_TIME_SIZE:最慢的读写操作的大小。

  • POSIX_SIZE__:读取和写入访问大小的直方图。

  • POSIX_STRIDE*_STRIDE:检测到的四个最常见的步幅。

  • POSIX_STRIDE*_COUNT:四个最常见步幅的计数。

  • POSIX_ACCESS*_ACCESS:四种最常见的访问大小。

  • POSIX_ACCESS*_COUNT:四种最常见的访问大小的计数。

  • POSIX_*_RANK:I/O速度最快和最慢的进程的级别(对于共享文件)。

  • POSIX_*_RANK_BYTES:由最快和最慢列组传输的字节(对于共享文件)。

  • POSIX_F_*_START_TIMESTAMP:第一次打开/读取/写入/关闭的时间戳。

  • POSIX_F_*_END_TIMESTAMP:最后一次打开/读取/写入/关闭的时间戳。

  • POSIX_F_READ/WRITE/META_TIME:用于读取、写入或元数据操作的累计时间。

  • POSIX_F_MAX_*_TIME:最慢读写操作的持续时间。

  • POSIX_F_*_RANK_TIME:单个列组的最快和最慢I/O时间。

  • POSIX_F_VARIANCE_RANK_*:所有列组的总I/O时间和移动字节的方差。

在这里插入图片描述

2.STDIO模块

在这里插入图片描述

在这里插入图片描述

3.HEATMAP

在这里插入图片描述

在这里插入图片描述

4.MPI-IO模块

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/966930.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

中文命名实体识别

本文通过people_daily_ner数据集&#xff0c;介绍两段式训练过程&#xff0c;第一阶段是训练下游任务模型&#xff0c;第二阶段是联合训练下游任务模型和预训练模型&#xff0c;来实现中文命名实体识别任务。 一.任务和数据集介绍 1.命名实体识别任务 NER&#xff08;Named En…

开发总结:webpack

webpack官网webpack | webpack 中文文档 | webpack 中文网 一、什么是webpack webpack 可以看做是模块打包机&#xff0c;它所做的事情是&#xff1a;分析你的项目结构&#xff0c;找到JavaScript 模块以及其它的一些浏览器不能直接运行的拓展语言&#xff08;Scss&#xff0…

(位运算) 剑指 Offer 15. 二进制中1的个数 ——【Leetcode每日一题】

❓ 剑指 Offer 15. 二进制中1的个数 难度&#xff1a;简单 编写一个函数&#xff0c;输入是一个无符号整数&#xff08;以二进制串的形式&#xff09;&#xff0c;返回其二进制表达式中数字位数为 ‘1’ 的个数&#xff08;也被称为 汉明重量).&#xff09;。 提示&#xff…

非科班菜鸡算法学习记录 | 代码随想录算法训练营第53天|| 1143.最长公共子序列 1035.不相交的线 53. 最大子序和 动态规划

1143. 最长公共子序列 知识点&#xff1a;动规 状态&#xff1a;不会 思路&#xff1a; 用dpij表示两个串中到i-1和j-1个字符结束的最长公共子序列长度&#xff08;不用特殊初始化&#xff09; class Solution { public:int longestCommonSubsequence(string text1, string …

操作系统的发展和分类

注意&#xff1a;每个阶段的主要优点都是解决了上个阶段的缺点 1.手工操作阶段 概括&#xff1a;一个用户在一段时间内独占全机&#xff0c;导致资源利用率极低&#xff0c;用户输入指令给机器&#xff0c;然后机器运行响应给用户。 2.批处理阶段 2.1单道批处理系统 优点&…

leetcode622-设计循环队列

本题重点&#xff1a; 1. 选择合适的数据结构 2. 针对选择的数据结构判断“空”和“满” 这两点是不分先后次序的&#xff0c;在思考时应该被综合起来。事实上&#xff0c;无论我们选择链表还是数组&#xff0c;最终都能实现题中描述的“循环队列”的功能&#xff0c;只不过…

数学建模-点评笔记 9月3日

1.摘要&#xff1a;关键方法和结论&#xff08;精炼的语言&#xff09;要说明&#xff0c;方法的合理性和意义也可以说明。 评委先通过摘要筛选&#xff08;第一轮&#xff09; 2.时间序列找异常值除了3西格玛还有针对时间序列更合适寻找的方法 3.模型的优缺点要写的详细一点…

编写一个这样的程序,满足五日均线,十日均线,二十日均线,六十天六日均线调头向上的选股代码

编写一个这样的程序&#xff0c;满足五日均线&#xff0c;十日均线&#xff0c;二十日均线&#xff0c;六十天六日均线调头向上的选股代码 以下是一个用C语言编写的程序&#xff0c;可以读取股票数据并筛选出满足条件的股票。程序使用了一个假设的股票数据文件格式&#xff0c…

将帅要避免五个方面的弱点:蛮干、怕死、好名、冲动、溺爱民众

将帅要避免五个方面的弱点&#xff1a;蛮干、怕死、好名、冲动、溺爱民众 【安志强趣讲《孙子兵法》第28讲】 【原文】 是故屈诸侯者以害&#xff0c;役诸侯者以业&#xff0c;趋诸侯者以利。 【注释】 趋&#xff1a;归附、依附。 【趣讲白话】 所以&#xff0c;用祸患威逼诸侯…

IDM2024Internet Download Manager下载器最新版本

IDM&#xff08;Internet Download Manager&#xff09;下载器主窗口的左侧是下载类别的分类&#xff0c;提供了分类功能来组织和管理文件。如果不需要它&#xff0c;可以删除“分类”窗口&#xff0c;并且在下载文件时不选择任何分类。 每个下载类别都有一个名称&#xff0c;…

ARM编程模型-常用指令集

一、ARM指令集 ARM是RISC架构&#xff0c;所有的指令长度都是32位&#xff0c;并且大多数指令都在一个单周期内执行。主要特点&#xff1a;指令是条件执行的&#xff0c;内存访问使用Load/store架构。 二、Thumb 指令集 Thumb是一个16位的指令集&#xff0c;是ARM指令集的功能…

Go实现LogCollect:海量日志收集系统【下篇——开发LogTransfer】

Go实现LogAgent&#xff1a;海量日志收集系统【下篇】 0 前置文章 Go实现LogAgent&#xff1a;海量日志收集系统【上篇——LogAgent实现】 前面的章节我们已经完成了日志收集&#xff08;LogAgent&#xff09;&#xff0c;接下来我们需要将日志写入到kafka中&#xff0c;然后…

后端SpringBoot+前端Vue前后端分离的项目(一)

前言&#xff1a;后端使用SpringBoot框架&#xff0c;前端使用Vue框架&#xff0c;做一个前后端分离的小项目&#xff0c;需求&#xff1a;实现一个表格&#xff0c;具备新增、删除、修改的功能。 一、数据库表的设计 设计了一个merchandise表&#xff0c;id是编号&#xff0c…

基于Matlab利用IRM和RRTstar实现无人机路径规划(附上源码+数据+说明+报告+PPT)

无人机路径规划是无人机应用领域中的关键问题之一。本文提出了一种基于IRM&#xff08;Informed RRTstar Method&#xff09;和RRTstar&#xff08;Rapidly-exploring Random Tree star&#xff09;算法的无人机路径规划方法&#xff0c;并使用Matlab进行实现。该方法通过结合I…

【LeetCode-中等题】994. 腐烂的橘子

文章目录 题目方法一&#xff1a;bfs层序遍历 题目 该题值推荐用bfs&#xff0c;因为是一层一层的感染&#xff0c;而不是一条线走到底的那种&#xff0c;所以深度优先搜索不适合 方法一&#xff1a;bfs层序遍历 广度优先搜索&#xff0c;就是从起点出发&#xff0c;每次都尝…

无涯教程-JavaScript - VARP函数

VARP函数取代了Excel 2010中的VAR.P函数。 描述 该函数根据整个总体计算方差。 语法 VARP (number1,[number2],...)争论 Argument描述Required/OptionalNumber1The first number argument corresponding to a population.RequiredNumber2...Number arguments 2 to 255 cor…

Go实现LogCollect:海量日志收集系统【上篇——LogAgent实现】

Go实现LogCollect&#xff1a;海量日志收集系统【上篇——LogAgent实现】 下篇&#xff1a;Go实现LogCollect&#xff1a;海量日志收集系统【下篇——开发LogTransfer】 项目架构图&#xff1a; 0 项目背景与方案选择 背景 当公司发展的越来越大&#xff0c;业务越来越复杂…

Web of Science批量导出

目录 如何用Web of Science检索学术信息问题批量导出 Web of Science检索结果 如何用Web of Science检索学术信息 进入 Web of Science 检索页面&#xff1a; https://www.webofscience.com/wos/woscc/basic-search 根据需求填写过滤条件&#xff0c;点击 search 进入搜索详…

Stable Diffusion---Ai绘画-下载-入门-进阶(笔记整理)

前言 注&#xff1a;本文偏向于整理&#xff0c;都是跟着大佬们学的。 推荐两个b站up主&#xff0c;学完他们俩的东西基本就玩转SD为底的ai绘画&#xff1a; 秋葉aaaki&#xff0c;Nenly同学 1.首先SD主流的就是秋叶佬的Webui了&#xff0c;直接压缩包下载即可&#xff0c;下…

TCP三次握手四次挥手总结

目录 一、两种传输模式&#xff1a; 二、数据方向&#xff1a; 三、端口的作用&#xff1a; 四、端口类型&#xff1a; 五、三次握手&#xff1a; 六、四次断开 常见面试题 TCP&#xff08;Transfer control protocol&#xff09;传输控制协议 一、两种传输模式&#x…