网卡故障但bond0不切换原因及处理、脚本监控bond0网卡状态并做相应操作

news2024/11/19 17:21:16

文章目录

故障说明
监控脚本
- 脚本编写
- 脚本测试
- - 正常场景
  - 异常场景1
  - 异常场景2
- 脚本准备和修改网卡名
- - 脚本拷贝到所有需要监控主机
  - 修改网卡名
- 批量执行脚本

故障说明

在一次交换机升级的割接中，主备交换机重启的时候，我们发现了一个问题，有几台宿主机会中断【ping不通】，交换机重启完毕以后，又恢复正常。起初不知道啥原因，但后果是宿主机上面的虚拟机能ping通，但使用不了，需要重启恢复正常。因为虚拟机一直能ping通，所以给openstaxk的心跳机制造成误判，以为虚拟机一直没死，但网络中断过，导致虚拟机现象就是卷找不到，所以虚拟机就必须重启以后才能恢复正常。
后面总结发现原因就是宿主机上的bond0【内部通信bond，和存储通信】没有正常切换网卡，所以造成交换机重启后宿主机ping不通。
解决方法：分别重启bond0的网卡后，bond0就能正常切换了。
所以这里就写一个脚本，查看bond0绑定的网卡状态是否正常，什么才是bond0的网卡不正常，如下，状态为down，怎么能切换！就是重启下面down的网卡，让其状态为up

监控脚本

在这里插入图片描述

说明，经测试，有2种情况
- 一是网卡自己down了且bond0配置文件中的网卡存在且状态为down
- 二是手动down掉bond0中的网卡，然后配置文件中的网卡就不显示了，并且ip a看到down掉的网卡状态依然为up
- 所以上面2种情况都给监控上

脚本编写

因为每台主机的网卡名称可能并不一致，所以采用脚本放本地的思路去完成，因为就需要修改网卡而已。
所以现在先在一台上成功执行。
脚本内容很基础，不做太多说明

[root@controller01 ~]# cat bond.sh 
#!/bin/bash

echo "eno3:"
if grep -q "eno3" /proc/net/bonding/bond0 ; then
        echo "/proc/net/bonding/bond0 :" `ip a | grep eno3`
        cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface: eno3"

else
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
ip a | grep eno3
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"

fi

echo __________________________________________________________________
echo -e "\n"

echo "ens6f0"

if grep -q "ens6f0" /proc/net/bonding/bond0 ; then
        echo "/proc/net/bonding/bond0 :" `ip a | grep ens6f0`
        cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface: ens6f0"

else
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
        echo "/proc/net/bonding/bond0 :" `ip a | grep eno3`
        cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface: eno3"
echo "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"

fi

echo -e "\n"

up=`cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface"  |egrep -A1 eno3 | grep MII | awk '{print $3}'`
if [ $up = "down" ] ; then
        echo "eno3:"
        echo "!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"
        cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface: eno3"
        ip a | grep ens5f0
        echo "!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"

else
#为up不输出内容，下面放个echo是为了不让脚本报错
echo 

fi


echo -e "\n"


up=`cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface"  |egrep -A1 ens6f0 | grep MII | awk '{print $3}'`
if [ $up = "down" ] ; then
        echo "ens6f0:"
        echo "!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"
        cat /proc/net/bonding/bond0 | egrep -A1 "Slave Interface: ens6f0"
        ip a | grep ens6f0
        echo "!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"

else
echo 

fi

脚本测试

正常场景

2个网卡都正常的情况下，输出内容为下面

[root@compute31 ~]# sh bond.sh 
ens5f0:
/proc/net/bonding/bond0 : 8: ens5f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
Slave Interface: ens5f0
MII Status: up
__________________________________________________________________


ens6f0
/proc/net/bonding/bond0 :