一、概述

Oracle RAC环境中，遇到执行crsctl query crs xxx等相关命令不返回任何结果，一直hang在那里。系统下执行命令ps -ef |grep 'crsctl query crs softwareversion’查看每个节点有2600+类似的命令，都是监控软件发出的。

二、故障处理

1、查看gipc日志，节点间的gipc无法正常通信。

2、原因分析：集群的gipc进程和远程的gipc进程无法通信，而crsctl query crs这些命令又会通过gipc记录的远程节点网络获取信息，导致类似crsctl query crs xx命令hang。

三、解决方法

ps -ef|grep gipcd.bin
kill -9 gipcd.bin进程号

注意：gipcd进程被kill后代理进程会重新启动一个gipcd.bin，正常情况不会对集群和数据库产生影响。
但生产环境 kill 进程前一定再三确认，避免集群crash等意外情况发生。