前段时间,运维监控发现有个项目cpu占用很高,并且还在持续不断增长,服务不能正常响应,如下图:
在服务器上面安装了arthas,下载地址: https://alibaba.github.io/arthas/arthas-boot.jar
我使用了arthas的thread命令查看线程使用情况,
thread
发现有两个线程占用很高,以为是这个原因,但是又找了其他项目对比,发现也有这两个线程,但是cpu是正常的。然后看到WAITING状态的线程有11862,才知道是这个原因导致的。
然后又继续查看WAITING状态的线程,
thread --state WAITING -all
发现WAITING状态的线程几乎全是这个,而且这个命名是默认的,很难定位到代码位置。
然后我开始在代码查看有哪些地方使用了默认线程池,这么一搜,果然有个地方使用newFixedThreadPool创建了线程池:
ExecutorService executorService = Executors.newFixedThreadPool( nThreads: 3);
这个写法把我震惊了,竟然在方法里面定义线程池,并且方法执行完也没有把线程池销毁,写这个代码的同学我觉得根本没有理解什么是线程池及怎么使用线程池。于是把这块代码重写了下发布线上,问题解决了。
总结:
1.禁止在方法里面定义线程池,可以把线程池定义为全局的,不需要每次都创建线程池
2.线程池要自定义线程名称,不然排查问题就像大海捞针
3.禁止使用Executors.newFixedThreadPool来创建创建线程池,应该使用ThreadPoolExecutor来创建线程池
public ThreadPoolExecutor(int corePoolSize,
int maximumPoolSize,
long keepAliveTime,
TimeUnit unit,
BlockingQueue<Runnable> workQueue,
ThreadFactory threadFactory,
RejectedExecutionHandler handler)