问题现象:
单节点cpu飙升
初步定位原因是:
业务人在查询操作时,表被锁表,查询不出结果,就反复执行,导致堆积,并kyuubi又是高并发操作。
(当一些操作在共享锁阻塞期间积压时,这些操作将等待共享锁的释放。一旦共享锁被释放,这些积压的操作将开始执行。如果这些操作是密集的、资源密集型的或长时间运行的,它们可能会占用大量的 CPU 资源)
有几个因素可能会间接导致集群中单个机器的CPU使用率升高:
- 查询积压:如果表被锁住的时间较长,并且期间有大量的查询积压等待解锁,这些查询在等待期间可能会消耗CPU资源。当锁被释放后,这些积压的查询会同时开始执行,导致瞬时的CPU使用率升高。
- 查询的数据处理量:如果锁表的表具有大量数据,而查询涉及对大量数据的处理操作,那么查询执行时会占用较多的CPU资源。
- 并发查询导致资源竞争:如果在表被锁住期间,集群中的其他操作或查询仍在并发执行,这些并发操作会导致CPU资源竞争,从而导致单个机器的CPU使用率升高。
解决:
定位到进程–>找到人–>yarn的Applications中kill掉任务