背景

在某周末11点多，突然收到批量数据库宕机告警信息，同时收到多个微信群数据库无法连接、访问报错的反馈，顿时感觉这是出大事了。

故障分析

登录环境后，查看数据库alert日志，日志中出现数据库不可用信息：

查看数据库集群状态信息，发现OCR磁盘组处于offline状态，集群日志中出现磁盘组无法挂载信息：

初步诊断这是由于存储故障导致数据库不可用，并且在集群宕机后无法正常启动。

进一步和平台存储维护同事沟通后，确认是由于平台分布式存储节点硬件故障导致整个存储无法读写。由于存储无法读写，导致数据库集群重启，且无法正常启动。

故障恢复

在平台恢复存储故障节点后，手动关闭集群节点，并进行重新启动，集群重启后，数据库实例恢复正常，但实例下的部分租户数据库处于mount状态，且手动open报错。在进行数据文件恢复后租户数据库open正常。关注博主，下篇《存储故障导致Oracle 19c 数据文件处于recover状态的恢复案例》将详细讲解整个数据文件恢复的详细过程。