近期遇到好几个关于DELL EMC unity （VNXe）存储系统挂掉的案例，都是很后期才寻找支持到我们这里，然后再看问题，已经变得很复杂，几乎都是从一个相对简单的问题搞成了一锅粥甚至最后丢数据的情况。

为此，这里专门写一篇文章给大家介绍下service mode，也有叫做 rescue mode和nomal mode。如何进入service mode和如何退出service mode回到normal mode。

如果控制器进入了service mode，对外的表现就是控制器挂了，无法处理任何的主机I/O。图形界面看到的就是控制器是黄色提示critical。这里给大家科普一下为什么控制器会进入service mode？控制器进入了service mode，无外乎三种情况：

1. 人为设置，为了做一些故障处理或者备件更换，会主动把控制器放置到service mode，这就是人为设置的。

2. 硬件故障，控制器遇到一些硬件故障，会自动把自己放置到service mode

3. 软件故障。和硬件故障一样，控制器遇到软件故障无法启动，尝试启动几次后，就会进入到service mode。

问题来了，如何判断到底是什么原因进入的service mode呢？下面是命令：

svc_rescue_state -l

最左面是component，然后code是代表这个component的，count是计数器，max是最大容许的计数器数值，action就是遇到这类问题要怎么处理。

如果上面任何一个component，就是组件的count的数值大于等于max，系统就会进入service mode，所以通过这个命令可以大概知道系统是什么原因进入的service mode。然后根据这个再来做下一步的计划。

我们很多工程师都天真的认为只要我把这个计数器清零了，不就可以正常启动了吗？对于认为设置的进入service mode，或者是短时间连续重启进入的service mode，通过clear 计数器是可以把存储拉回到normal mode的，其他情况是不可能的。你必须要解决问题，才可能让控制器回到正常状态。所以遇到这个问题，clear过一次计数器，就不要再没有分析问题，解决问题之前来回重启了。

下面介绍几个命令，如何让控制器进入service mode，如何退出service mode。其实这几个命令也就是所谓的砖家们的法宝。

通过 SSH 登录到 SP，将 SP 置于服务模式、设置救援计数器，然后重启 SP。

设置用户救援计数器：

spa:~/user# svc_rescue_state -s

设置service mode以后，就可以重启这个控制器，重启以后控制器就进入了service mode。

svc_shutdown -r sp[x]，其中 x 为 “a” 或 “b”。

命令应为：

spb:~/user# svc_shutdown -r spa

或

spa:~/user# svc_shutdown -r spb

-r 后面不输入任何东西，就是重启当前登录的控制器。

SSH 登录到处于服务模式的 SP，显示救援计数器、清除救援计数器，然后重启 SP。

显示 SP 的救援rescue计数器：

svc_rescue_state -l

清除计数器：

svc_rescue_state -c

检查计数列以确保所有计数器已清除：

svc_rescue_state -l

然后再次重启这个控制器，如果没有其他的软硬件问题，控制器就回到了normal mode。

记得，遇到这种情况，千万不要随意直接插拔控制器来做重启，想通过插拔控制器做所谓的冷启动来恢复业务，这个后果很多情况下都是让问题更严重，在原来故障的基础上又添加了dirty cache脏数据的问题。

有日志就可以联系我们了，添加 vx: StorageExpert

最后，敲黑板三次，遇到Unity 控制器挂掉或者整个业务挂掉的情况，千万不要随意插拔控制器，随意插拔系统盘，随意更换启动盘。最要紧的事情是收日志，找问题再做行动。