CPU占用异常分析

news2025/1/8 6:03:44

文章目录

问题现象
二次排查
参考资料

问题现象

执行文件解压，执行过程中被kill掉了，两次均如此。

[root@localhost demo_2]# gzip -d demo.sql.gz 
 Killed

网上查资料，可能是磁盘不足、系统资源不足；
磁盘查看没有问题，内存查看充足，但查看cpu使用时发现异常，cpu占用很高，但没有占用高的进程。

top
在这里插入图片描述

pidstat查看，没有看到占用高的进程，没有短进程。
在这里插入图片描述

perf record采样，然后查看，没有找到异常的进程
在这里插入图片描述

dmesg -T；查看到有温度相关的告警
在这里插入图片描述

使用sensors查看温度信息，cpu温度接近100摄氏度
在这里插入图片描述

关闭机器，机房进行降温处理，30min左右，重新开机，cpu占用显示正常。温度查看
在这里插入图片描述

二次排查

运行一段时间后，再次查看机器，发现cpu占用很高，可以看到占用高的进程名为 netools；
查看进程启动命令为/tmp/netools，但tmp目录下无netools。

[root@localhost tmp]# ps aux|grep netools root 7150 0.0 0.0 42548 3668 ? Ssl 15:22 0:00 /tmp/netools --tls

手工看到netools进程后，过一会查看又出现了。怀疑是病毒。

查看系统状态，有大量的netools进程。

[root@localhost 27132]# systemctl status
● localhost.localdomain
    State: running
     Jobs: 0 queued
   Failed: 0 units
    Since: Fri 2024-04-19 23:21:48 CST; 7h left
   CGroup: /
           ├─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 22
           ├─docker
           │ └─da117649c4864aec94082443379368eee6af8f2039ee6b6b570fd7bddb92820b
           │   └─16223 mysqld
           ├─user.slice
           │ └─user-0.slice
           │   ├─session-26.scope
           │   │ └─29366 /tmp/netools --tls
           │   ├─session-25.scope
           │   │ └─28917 /tmp/netools --tls
           │   ├─session-24.scope
           │   │ └─28468 /tmp/netools --tls

查看某一个进程信息

[root@localhost 12118]# systemctl status 12118
session-61.scope - Session 61 of user root
   Loaded: loaded (/run/systemd/system/session-61.scope; static; vendor preset: disabled)
  Drop-In: /run/systemd/system/session-61.scope.d
           └─50-After-systemd-logind\x2eservice.conf, 50-After-systemd-user-sessions\x2eservice.conf, 50-Description.conf, 50-SendSIGHUP.conf, 50-Slice.conf, 50-TasksMax.conf
   Active: active (abandoned) since Fri 2024-04-19 16:16:01 CST; 2min 10s ago
   CGroup: /user.slice/user-0.slice/session-61.scope
           └─12118 /tmp/netools --tls

Apr 19 16:16:01 localhost.localdomain systemd[1]: Started Session 61 of user root.
Apr 19 16:16:01 localhost.localdomain CROND[11709]: (root) CMD (/bin/6RhCDSHp 1 1)
Apr 19 16:16:01 localhost.localdomain sudo[11712]:     root : TTY=unknown ; PWD=/root ; USER=root ; COMMAND=/bin/find /lib/modules/3.10.0-957.el7.x86_64 -name iptable_reject.ko -exec rm -f {} ;
Apr 19 16:16:01 localhost.localdomain sudo[11712]: pam_unix(sudo:session): session opened for user root by (uid=0)
Apr 19 16:16:01 localhost.localdomain sudo[11712]: pam_unix(sudo:session): session closed for user root
Apr 19 16:16:01 localhost.localdomain sudo[11714]:     root : TTY=unknown ; PWD=/root ; USER=root ; COMMAND=/bin/awk /^bash/ {print $2} /etc/rc.local
Apr 19 16:16:01 localhost.localdomain sudo[11714]: pam_unix(sudo:session): session opened for user root by (uid=0)
Apr 19 16:16:01 localhost.localdomain sudo[11714]: pam_unix(sudo:session): session closed for user root

有定时任务在执行/bin/6RhCDSHp；
Apr 19 16:16:01 localhost.localdomain CROND[11709]: (root) CMD (/bin/6RhCDSHp 1 1)

查找系统的cron目录（/etc/cron.d）
[root@localhost cron.d]# ll
total 12
-rw-r–r–. 1 root root 128 Apr 11 2018 0hourly
-rw-r–r-- 1 root root 35 Jan 15 11:34 iYR3wG9l
-rw------- 1 root root 235 Apr 1 2020 sysstat