Linux - 磁盘I/O性能评估

news2024/9/23 1:26:02

文章目录

  • 概述
    • RAID
    • 文件系统与裸设备的对比
  • 磁盘I/O性能评判标准
  • 常用命令
    • “sar –d”命令组合
    • “iostat –d”命令组合
      • “iostat –x”单独统计某个磁盘的I/O
    • “vmstat –d”命令组合
  • 小结

在这里插入图片描述

概述

RAID

可以根据应用的不同，选择不同的RAID方式

  • 如果一个应用经常有大量的读操作，可以选择以RAID5方式构建磁盘阵列存储数据；
  • 如果应用有大量频繁的写操作，可以选择RAID0存取方式；
  • 如果应用对数据安全要求很高，同时对读写也有要求，可以考虑RAID01存取方式；

Linux-Raid0、Raid1、Raid5、Raid10初探

  • 尽可能用内存的读写代替直接磁盘I/O，使频繁访问的文件或数据放入内存中进行操作处理，因为内存读写操作比直接磁盘读写的效率要高千倍。
  • 将经常进行读写的文件与长期不变的文件独立出来，分别放置到不同的磁盘设备上。
  • 对于写操作频繁的数据，可以考虑使用裸设备代替文件系统。

文件系统与裸设备的对比

使用裸设备的优点:
- 数据可以直接读写，不需要经过操作系统级的缓存，节省了内存资源，避免了内存资源争用。
- 避免了文件系统级的维护开销，比如文件系统需要维护超级块、inode等。
- 避免了操作系统的缓存预读功能，减少了I/O请求。

使用裸设备的缺点:
- 数据管理、空间管理不灵活，需要很专业的人来操作。
其实裸设备的优点就是文件系统的缺点，反之也是如此。合理的规划和衡量，根据应用的需求，做出对应的策略。

裸设备 raw device

在这里插入图片描述

磁盘I/O性能评判标准

在这里插入图片描述

正常情况下，svctm应该是小于await值的，而svctm的大小和磁盘性能有关，CPU、内存的负荷也会对svctm值造成影响，过多的请求也会间接导致svctm值的增加。

await值的大小一般取决于svctm的值和I/O队列长度以及I/O请求模式。如果svctm的值与await很接近，表示几乎没有I/O等待，磁盘性能很好。如果await的值远高于svctm的值，则表示I/O队列等待太长，系统上运行的应用程序将变慢，此时可以通过更换更快的硬盘来解决问题。

%util项的值也是衡量磁盘I/O的一个重要指标。如果%util接近100%，表示磁盘产生的I/O请求太多，I/O系统已经满负荷地在工作，该磁盘可能存在瓶颈。长期下去，势必影响系统的性能，可以通过优化程序或者通过更换更高、更快的磁盘来解决此问题。

常用命令

“sar –d”命令组合

通过“sar –d”命令组合，可以对系统的磁盘I/O做一个基本的统计


[root@VM-24-3-centos ~]# sar -d 2 3
Linux 3.10.0-1160.11.1.el7.x86_64 (VM-24-3-centos)      03/06/2023      _x86_64_        (2 CPU)

08:56:57 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
08:56:59 AM  dev253-0      1.50      0.00     12.00      8.00      0.00      1.00      0.33      0.05
08:56:59 AM   dev11-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

08:56:59 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
08:57:01 AM  dev253-0     54.00      0.00    640.00     11.85      0.20      3.84      0.18      0.95
08:57:01 AM   dev11-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

08:57:01 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
08:57:03 AM  dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:57:03 AM   dev11-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:     dev253-0     18.50      0.00    217.33     11.75      0.07      3.77      0.18      0.33
Average:      dev11-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
[root@VM-24-3-centos ~]#

在这里插入图片描述

  • DEV表示磁盘设备名称。
  • tps表示每秒到物理磁盘的传送数，也就是每秒的I/O流量。一个传送就是一个I/O请求，多个逻辑请求可以合并为一个物理I/O请求。
  • rd_sec/s表示每秒从设备读取的扇区数（1扇区=512字节）。
  • wr_sec/s表示每秒写入设备的扇区数目。
  • avgrq-sz表示平均每次设备I/O操作的数据大小（以扇区为单位）。
  • avgqu-sz表示平均I/O队列长度。
  • await表示平均每次设备I/O操作的等待时间（以毫秒为单位）。
  • svctm表示平均每次设备I/O操作的服务时间（以毫秒为单位）。
  • %util表示一秒中有百分之几的时间用于I/O操作。

Linux中I/O请求系统与现实生活中超市购物排队系统有很多类似的地方，通过对超市购物排队系统的理解，可以很快掌握Linux中I/O运行机制。比如：

  • avgrq-sz类似于超市排队中每人所买东西的多少。
  • avgqu-sz类似于超市排队中单位时间内平均排队的人数。
  • await类似于超市排队中每人的等待时间。
  • svctm类似于超市排队中收银员的收款速度。
  • %util类似于超市收银台前有人排队的时间比例。

在这里插入图片描述

“iostat –d”命令组合


[root@VM-24-3-centos ~]#  iostat -d 2 3
Linux 3.10.0-1160.11.1.el7.x86_64 (VM-24-3-centos)      03/06/2023      _x86_64_        (2 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               3.91         1.06        29.56   21828907  611223560
scd0              0.00         0.00         0.00        316          0

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               0.00         0.00         0.00          0          0
scd0              0.00         0.00         0.00          0          0

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               0.50         0.00         4.00          0          8
scd0              0.00         0.00         0.00          0          0

[root@VM-24-3-centos ~]#

在这里插入图片描述

  • tps：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。“一次传输"意思是"一次I/O请求”。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的。
  • kB_read/s：每秒从设备（drive expressed）读取的数据量；
  • kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
  • kB_read：读取的总数据量；
  • kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。

这里需要注意的一点是，上面输出上的第一项是系统从启动以来到统计时的所有传输信息，第二次输出的数据才代表在检测的时间段内系统的传输值。

“iostat –x”单独统计某个磁盘的I/O

“iostat –x”命令组合还提供了对每个磁盘的单独统计，如果不指定磁盘，默认对所有磁盘进行统计

在这里插入图片描述

  • rrqm/s表示每秒进行合并的读操作数目。
  • wrqm/s表示每秒进行合并的写操作数目。
  • r/s表示每秒完成读I/O设备的次数。
  • w/s表示每秒完成写I/O设备的次数。
  • rsec/s表示每秒读取的扇区数。
  • wsec/s表示每秒写入的扇区数。

“vmstat –d”命令组合

通过“vmstat –d”命令组合也可以查看磁盘的统计数据。


[root@VM-24-3-centos ~]# vmstat -d 3 2
disk- ------------reads------------ ------------writes----------- -----IO------
       total merged sectors      ms  total merged sectors      ms    cur    sec
vda   591170   3530 43657830 4460432 80215339 54988709 1222778513 249512681      0  25485
sr0       89      0     632      22      0      0       0       0      0      0
vda   591170   3530 43657830 4460432 80215379 54988754 1222779225 249512735      0  25485
sr0       89      0     632      22      0      0       0       0      0      0
[root@VM-24-3-centos ~]#

显示了磁盘的reads、writes和IO的使用状况。

小结

衡量磁盘I/O好坏是多方面的，有应用程序本身的，也有硬件设计上的，还有系统自身配置的问题等。要解决I/O的瓶颈，关键是要提高I/O子系统的执行效率。

  • 首要，要从应用程序上对磁盘读写进行优化，能够放到内存中执行的操作，尽量不要放到磁盘上。
  • 其次，对磁盘存储方式进行合理规划，选择适合自己的RAID存取方式。
  • 最后，在系统级别上，可以选择适合自身应用的文件系统，必要时使用裸设备提高读写性能。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/392690.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Flink(Java版)学习

Flink(Java版)学习

一、Flink流处理简介 1.Flink 是什么 2.为什么要用 Flink 3.流处理的发展和演变 4.Flink 的主要特点 5.Flink vs Spark Streaming 二、快速上手 1.搭建maven工程 2.批处理WordCount 3.流处理WordCount 三、Flink部署 1.Standalone 模式 2.Yarn 模式 3.Kubernetes 部署 四、F…
阅读更多...
PyTorch深度学习：60分钟入门

PyTorch深度学习：60分钟入门

PyTorch深度学习：60分钟入门 本教程的目的: 更高层级地理解PyTorch的Tensor库以及神经网络。训练一个小的神经网络来对图像进行分类。 本教程以您拥有一定的numpy基础的前提下展开 Note: 务必确认您已经安装了 torch 和 torchvision 两个包。 这是一个基于Pytho…
阅读更多...
Cannot resolve symbol ‘String‘或Cannot resolve symbol ‘System‘ ——IDEA

Cannot resolve symbol ‘String‘或Cannot resolve symbol ‘System‘ ——IDEA

IDEA中运行报错，“Cannot resolve symbol ‘String‘”解决方案 ‘System‘解决 参考一：(31条消息) IDEA2021 提示“Cannot resolve symbol ‘String‘”解决方案_idea无法解析符号string_YT20233的博客-CSDN博客https://blog.csdn.net/CNMBZY/article…
阅读更多...
docker 的安装与卸载

docker 的安装与卸载

一 卸载旧版本的 Docker 1.列出系统中已安装的docker包 yum list installed | grep docker 示例 2.卸载docker yum -y remove docker-ce-cli.x86_64 yum -y remove docker-ce.x86_64 yum -y remove containerd.io 示例 二 Docker的安装 1.安装 Docker 所需的依赖&#…
阅读更多...
虹科方案| 助力高性能视频存储解决方案-1

虹科方案| 助力高性能视频存储解决方案-1

虹科电子科技有限公司是ATTO技术公司在中国的官方合作伙伴。依附于我们十多年的客户积累和方案提供经验，虹科与 ATTO共同致力于为数据密集型计算环境提供网络和存储连接以及基础架构解决方案，为客户提供更高性能的产品与服务。无论您的工作流程面临何种挑…
阅读更多...
分页插件——PageHelper

分页插件——PageHelper

文章目录1 分页查询——分页插件（PageHelper）1.1 概述1.2 代码实现1.2.1 在pom.xml引入依赖1.2.2 Mapper数据访问层实现1.2.3 Service业务逻辑层实现1.2.4 postman测试试2 带条件的分页查询——分页插件（PageHelper）2.1 需求2.2 代…
阅读更多...
ubuntu 20.04安装ROS体验小海龟转圈圈

ubuntu 20.04安装ROS体验小海龟转圈圈

文章目录前言一、ros安装1、添加ROS软件源：2、添加密钥：3、安装ROS：4、初始化rosdep:5、设置环境变量：6、安装rosinstall二、体验小海龟案例1.键盘控制小海龟：1、新建一个终端运行ros2、新建终端启动小海龟的仿真器3、…
阅读更多...
网络资源面经3

网络资源面经3

文章目录hive 与 mysql 的区别类加载器的种类，有什么机制，机制有何用处MapReduce实现wordcount流程full GC 和 old GC 区别避免频繁的Full GChive 与 mysql 的区别 数据存储位置 hive数据存储在hdfs上，mysql的数据存储在本地磁盘中。数据规模…
阅读更多...
自排查Nginx域名失效

自排查Nginx域名失效

静态分离 用户访问域名——>Nginx——>网关——>微服务 问题： 访问域名后发现不能跳转到首页 检查： 1.检测hosts文件 结果：正确配置域名没有发现问题 2.检查Nginx配置（Nginx总配置、服务配置） Nginx总配置 服…
阅读更多...
【需求响应】基于数据驱动的需求响应优化及预测研究（Matlab代码实现）

【需求响应】基于数据驱动的需求响应优化及预测研究（Matlab代码实现）

👨‍🎓个人主页：研学社的博客💥💥💞💞欢迎来到本博客❤️❤️💥💥🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密…
阅读更多...
SpringBoot+Vue中使用AES进行加解密(加密模式等对照关系)

SpringBoot+Vue中使用AES进行加解密(加密模式等对照关系)

场景 若依前后端分离版本地搭建开发环境并运行项目的教程： 若依前后端分离版手把手教你本地搭建环境并运行项目_霸道流氓气质的博客-CSDN博客 在上面搭建起来前后端架构之后，在前后端分别进行AES方式的加解密。 AndroidJava中使用Aes对称加密的工具类…
阅读更多...
内存泄漏分析及规避方法

内存泄漏分析及规避方法

啥是内存泄漏？内存泄漏就是堆内存中的某些对象，你虽然不再使用它们了，但是垃圾回收器还回收不了他们，长此以往内存就慢慢耗没了。内存泄漏怎么检测？如果你的服务经常占用内存很大，慢慢隔一段时间需要重启一…
阅读更多...
Linux学习第十三节-软件包

Linux学习第十三节-软件包

1.分类 二进制包 rpm包 2.软件包管理 软件包之间的依赖关系 命令格式：rpm [选项] 软件包 常用选项： -q #仅查询软件是否安装 -qa #列出所有已经安装在系统中所有软件，可以和grep过滤指定的软件包 -qi #列出软件包详细信息&#xff0c…
阅读更多...
xxl-job启用https访问

xxl-job启用https访问

一、准备证书 1.进入想要生成证书的目录 2.在路径中输入cmd,点击回车 （1） （2） 3.输入命令keytool -genkeypair -alias "boot" -keyalg "RSA" -keystore "seek.keystore" 4.输入信息&#xff0c…
阅读更多...
12_MySQL数据类型

12_MySQL数据类型

1. MySQL中的数据类型常见数据类型的属性，如下：2. 整数类型2.1 类型介绍整数类型一共有 5 种，包括 TINYINT、SMALLINT、MEDIUMINT、INT（INTEGER）和 BIGINT。它们的区别如下表所示：2.2 可选属性2.2.1:MM : 表…
阅读更多...
【Spring 深入学习】事务的理解以及配置

【Spring 深入学习】事务的理解以及配置

事务的理解以及配置 1. 概述 1.1 什么是事务 事务（Transaction）指的是一个操作序列，该操作序列中的多个操作要么都做，要么都不做，是一个不可分割的工作单位，是数据库环境中的逻辑工作单位，由D…
阅读更多...
springboot之自动配置

springboot之自动配置

文章目录前言一、配置文件及自动配置原理1、配置文件2、yaml1、注解注入方式给属性赋值2、yaml给实体类赋值3、Properties给属性赋值二、springboot的多环境配置四、自动配置总结前言 1、自动装配原理 2、多种方式给属性赋值 3、多环境配置 4、自动配置 一、配置文件及自动配置…
阅读更多...
2022年数维杯国际大学生数学建模挑战赛A题自动地震地平线跟踪解题全过程论文及程序

2022年数维杯国际大学生数学建模挑战赛A题自动地震地平线跟踪解题全过程论文及程序

2022年数维杯国际大学生数学建模挑战赛 A题 自动地震地平线跟踪 原题再现： 随着我国经济社会发展，地质工作的重要性也日益提高。地震资料解释是地震勘探工程的一个重要阶段，可以明确油气勘探的地下构造特征，为油气勘探提供良好和…
阅读更多...
【NLP相关】attention的代码实现

【NLP相关】attention的代码实现

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
阅读更多...
英飞凌Tricore实战系列导读

英飞凌Tricore实战系列导读

本文框架 1.系列概述1.1 外设理论及应用介绍1.2 基于TC3xx的MCAL各外设配置开发1.3 基于TC3xx的Davinci工程开发1.4 项目中问题排查经验分享1.5 其他相关话题分享2. 目前已发布系列文章汇总1.系列概述 英飞凌TC3xx以其强大的性能，扩展性，存储及安全性能在汽车电子中扮演着越…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023