告警解释
系统每30秒周期性检测磁盘使用率,并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值,当检测到磁盘使用率超过阈值时产生该告警。
平滑次数为1,主机磁盘某一分区使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机磁盘某一分区使用率小于或等于阈值的90%时,告警恢复。
告警属性
告警ID | 告警级别 | 可自动清除 |
---|---|---|
12017 | 严重 | 是 |
告警参数
参数名称 | 参数含义 |
---|---|
ServiceName | 产生告警的服务名称。 |
RoleName | 产生告警的角色名称。 |
HostName | 产生告警的主机名。 |
PartitionName | 产生告警的磁盘分区。 |
Trigger Condition | 系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
业务进程不可用。
可能原因
- 告警阈值配置不合理。
- 磁盘配置无法满足业务需求,磁盘使用率达到上限。
处理步骤
检查阈值设置是否合理。
- 登录FusionInsight Manager,查看该告警阈值是否不合理(默认90%为合理值,用户可以根据自己的实际需求调节)。
- 是,执行步骤 2。
- 否,执行步骤 4。
- 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 磁盘 > 磁盘使用率 > 磁盘使用率”中更改告警阈值。
如图1所示
- 等待2分钟,查看告警是否消失。
- 是,处理完毕。
- 否,执行步骤 4。
检查磁盘使用率是否达到上限
- 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机名称和磁盘分区信息。
- 使用PuTTY工具,以root用户登录告警所在节点。
- 执行df -h命令,查看系统磁盘分区的使用信息。并通过步骤 4中获取到的磁盘分区名称,查看该磁盘是否挂载在如下几个目录下:“/”、“/boot”、“/home”、“/opt”、“/tmp”、“/var”、“/var/log”、“/boot”、“/srv/BigData”(可自定义)。
- 是,说明该磁盘为系统盘,执行步骤 10。
- 否,说明该磁盘为非系统盘,执行步骤 7。
- 执行df -h命令,查看系统磁盘分区的使用信息。并通过步骤 4中获取到的磁盘分区名称,判断该磁盘属于哪一个角色。
- 磁盘所属服务:
- FusionInsight HD,是否为HDFS、Yarn、Solr、Kafka、Supervisor或者Redis其中之一。
- 是,参考《FusionInsight HD 容量调整指导书》进行容量调整。执行步骤 3
- 否,执行步骤 12。
- FusionInsight LibrA,是否为MPPDB。
- 是,参考《FusionInsight LibrA 容量调整指导书》进行容量调整。执行步骤 3。
- 否,执行步骤 12。
- FusionInsight HD,是否为HDFS、Yarn、Solr、Kafka、Supervisor或者Redis其中之一。
- 等待2分钟,查看告警是否消失。
- 是,处理完毕。
- 否,执行步骤 12。
- 执行命令find / -xdev -size +500M -exec ls -l {} \;,查看该节点上超过500MB的文件,查看该磁盘中,是否有误写入的大文件存在。
- 是,执行步骤 11。
- 否,执行步骤 12。
- 处理该误写入的文件,并等待2分钟,查看告警是否清除。
- 是,执行完毕。
- 否,执行步骤 12。
- 联系系统管理员,对磁盘进行扩容。
- 等待2分钟,查看告警是否消失。
- 是,处理完毕。
- 否,执行步骤 14。
收集故障信息。