MySQL 通过 systemd 启动时 hang 住了……

news2024/12/22 19:03:21

mysqld：哥，我起不来了……

作者：贲绍华，爱可生研发中心工程师，负责项目的需求与维护工作。其他身份：柯基铲屎官。

爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

本文约 2100 字，预计阅读需要 7 分钟。

引言

正如题目所述，在自动化测试场景下，通过 systemd 无法启动 MySQL。

连续 kill -9 结束实例进程，检测 mysqld 在退出后是否会被正确拉起。

具体信息如下：

  1. 主机信息：CentOS 8（Docker 容器）
  2. 使用 systemd 的方式管理 mysqld 进程
  3. systemd service 的运行模式为：forking
  4. 启动命令如下：
# systemd 启动命令
sudo -S systemctl start mysqld_11690.service

# systemd service 内的 ExecStart 启动命令
/opt/mysql/base/8.0.34/bin/mysqld --defaults-file=/opt/mysql/etc/11690/my.cnf --daemonize --pid-file=/opt/mysql/data/11690/mysqld.pid --user=actiontech-mysql --socket=/opt/mysql/data/11690/mysqld.sock --port=11690

现象描述

启动命令持续 hang 住，既不成功，也无任何返回，尝试几次后均无法手动复现该场景。

下图为复现场景，service 端口号不一致请忽略。

MySQL 错误日志无任何信息。查看 systemd service 状态，发现启动脚本中由于缺少参数 MAIN PID，执行失败。

systemd 最后输出的信息为：New main PID 31036 does not exist or is a zombie

原因总结

systemd 启动 mysqld 的过程中，会先根据 service 模板中的配置，执行：

  1. ExecStart（启动 mysqld）
  2. mysqld 启动创建 pid 文件
  3. ExecStartPost（自定义的一些后置脚本：调整权限、将 pid 写入 cgroup 等）

在 步骤 2-3 的中间态，也就是 pid 文件刚创建出来时，主机上接收到了自动化测试下发的命令：sudo -S kill -9 $(cat /opt/mysql/data/11690/mysqld.pid)。

由于这个 pid 文件和 pid 进程确实存在（如果不存在 kill 命令或 cat 会报错），自动化的 CASE 认为 kill 操作已成功结束。但由于 mysqld.pid 这个文件是由 MySQL 自身维护的，在 systemd 的视角中，还需要继续等待 步骤 3 完成，才认为启动成功。

在 systemd 使用 forking 模式时，会根据子进程的 PID 值判断服务是否成功启动。

如果子进程成功启动，并且没有发生意外退出，则 systemd 会认为服务已启动，并将子进程的 PID 作为 MAIN PID。

而如果子进程启动失败或意外退出，则 systemd 会认为服务未能成功启动。

结论

在执行 ExecStartPost 时，由于子进程 ID 31036 已经被 kill 掉，后置 shell 缺少了启动参数，但 ExecStart 步骤已完成，导致 MAIN PID 31036 成为了只存在于 systemd 里的 僵尸进程。

排查过程

当遇到这个问题时是有点懵的，简单检查了一下内存、磁盘基本信息。符合预期并没有出现资源不足的情况。

先从 MySQL 的 Error Log 看看有什么发现。查看结果如下：

...无关内容省略...
2024-02-05T05:08:42.538326+08:00 0 [Warning] [MY-010539] [Repl] Recovery from source pos 3943309 and file mysql-bin.000001 for channel ''. Previous relay log pos and relay log file had been set to 4, /opt/mysql/log/relaylog/11690/mysql-relay.000004 respectively.
2024-02-05T05:08:42.548513+08:00 0 [System] [MY-010931] [Server] /opt/mysql/base/8.0.34/bin/mysqld: ready for connections. Version: '8.0.34'  socket: '/opt/mysql/data/11690/mysqld.sock'  port: 11690  MySQL Community Server - GPL.
2024-02-05T05:08:42.548633+08:00 0 [System] [MY-013292] [Server] Admin interface ready for connections, address: '127.0.0.1'  port: 6114
2024-02-05T05:08:42.548620+08:00 5 [Note] [MY-010051] [Server] Event Scheduler: scheduler thread started with id 5

通过观察 Error Log 发现并无任何有用信息，因为启动的时间点之后无任何日志信息输出。

查看 systemctl status 确认服务当前状态：

下图为正常情况下的 status 信息：

通过对比后，整理两条有用信息：

  1. 后置 shell 由于缺少 -p 参数导致执行失败（-p 参数为 MAIN PID，也就是 fork 子进程启动后的 PID）。
  2. systemd 无法获取 PID 31036，不存在或者为僵尸进程。

先来检查进程 ID 与 mysqld.pid 看看：

确认线索：

  1. PID 31036 不存在
  2. mysqld.pid 文件存在，且文件内容为 31036
  3. top 命令查看不存在僵尸进程

还需要获取更多的线索来确认原因，检查 journalctl -u 内容，看看是否有帮助：

sh-4.4# journalctl -u mysqld_11690.service
-- Logs begin at Mon 2024-02-05 04:00:35 CST, end at Mon 2024-02-05 17:08:01 CST. --
Feb 05 05:07:54 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:07:56 udp-11 systemd[1]: Started MySQL Server.
Feb 05 05:08:31 udp-11 systemd[1]: mysqld_11690.service: Main process exited, code=killed, status=9/KILL
Feb 05 05:08:31 udp-11 systemd[1]: mysqld_11690.service: Failed with result 'signal'.
Feb 05 05:08:32 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:08:36 udp-11 systemd[1]: Started MySQL Server.
Feb 05 05:08:37 udp-11 systemd[1]: mysqld_11690.service: Main process exited, code=killed, status=9/KILL
Feb 05 05:08:37 udp-11 systemd[1]: mysqld_11690.service: Failed with result 'signal'.
Feb 05 05:08:39 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:08:42 udp-11 u_set_iops.sh[31507]: /etc/systemd/system/mysqld_11690.service.d/u_set_iops.sh: option requires an argument -- p
Feb 05 05:08:42 udp-11 systemd[1]: mysqld_11690.service: New main PID 31036 does not exist or is a zombie.

这里的 journalctl -u 内容也只描述了现象，无法分析具体原因，与 systemctl status 的内容相差不多，帮助不大。

查看 /var/log/messages 系统日志内容：

发现循环报出了一些内存方面的错误信息，通过搜索后发现该错误可能为硬件问题。询问了自动化测试的同事后，得到结论：

  1. 场景为偶发问题，执行 4 次用例，2 次成功，2 次失败
  2. 每次执行均为同一台宿主机，同一份容器镜像
  3. 失败时 hang 住的容器为同一个

既然有成功执行的结果，这里就先忽略硬件问题导致的。

既然提到了容器，此时想到了 cgroup 会不会映射宿主机的时候出现了问题？在上边排查的 systemctl status 中，观察可知 cgroup 映射的宿主机目录为：CGroup: /docker/3a72b2cdc7bd9beb1c7b2abec24763046604602a38f0fcb7406d17f5d33353d2/system.slice/mysqld_11690.service

检查父级文件夹 system.slice 的读写权限并无异常。先暂时排除 cgroup 的映射问题（因为主机上还有其他 systemd 接管的 service 也在使用同一份 cgroup）。

打算试试 pstack 能不能看到 systemd 具体 hang 在了哪个地方，3048143 为 systemctl start 的 pid：

sh-4.4# pstack 3048143
#0  0x00007fdfaef33ade in ppoll () from /lib64/libc.so.6
#1  0x00007fdfaf7768ee in bus_poll () from /usr/lib/systemd/libsystemd-shared-239.so
#2  0x00007fdfaf6a8f3d in bus_wait_for_jobs () from /usr/lib/systemd/libsystemd-shared-239.so
#3  0x000055b4c2d59b2e in start_unit ()
#4  0x00007fdfaf7457e3 in dispatch_verb () from /usr/lib/systemd/libsystemd-shared-239.so
#5  0x000055b4c2d4c2b4 in main ()

观察发现 start_unit 比较可疑，start_unit() 函数位于可执行文件中，它用于启动 systemd units，并没有什么帮助。

根据已有线索，推测后可知：

  1. mysqld.pid 文件存在，则表示之前确实有一个 mysqld 且进程号为 31036 的进程被启动了
  2. 进程启动后被自动化用例 kill -9 结束掉
  3. systemd 获取到了一个已经被结束的 MAIN PID，后置 shell 执行失败，fork 流程失败

通过梳理 systemd 启动流程的步骤，推测可能性。MySQL 实例只有在 mysqld 成功启动后才会生成 mysqld.pid 文件，所以可能是在后续步骤里被意外 kill -9 结束掉导致的。

复现方式

既然没什么其他头绪和线索了，打算根据推测结论尝试复现一下试试。

4.1 调整 systemd mysql serivce 模板

编辑模板文件 /etc/systemd/system/mysqld_11690.service，在 mysqld 启动后，sleep10 秒，方便在这时间窗口内模拟kill掉实例进程的场景。

4.2 配置重载

执行 systemctl daemon-reload 令变更生效。

4.3 场景重现

  1. [ssh seesion A] 首先准备一个新的容器，做好相关配置后执行 sudo -S systemctl start mysqld_11690.service 启动一个 mysqld 进程，此时会因为 sleep 的原因 hang 住会话。
  2. [ssh seesion B] 在另一个会话窗口，start 命令 hang 住时，检查 mysqld.pid 文件，一旦文件被创建后，立刻执行 sudo -S kill -9 $(cat /opt/mysql/data/11690/mysqld.pid)。
  3. 此时观察 systemctl status，表现与预期一致

解决方式

先 kill 掉 hang 住的 systemctl start 命令，执行 systemctl stop mysqld_11690.service，这可以让 systemd 主动结束僵尸进程，虽然 stop 命令可能会报错但这并不影响。

等待 stop 执行完成后再次使用 start 命令启动，恢复正常。

更多技术文章，请访问：https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。

SQLE 获取

类型地址
版本库https://github.com/actiontech/sqle
文档https://actiontech.github.io/sqle-docs/
发布信息https://github.com/actiontech/sqle/releases
数据审核插件开发文档https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1657713.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网工内推 | 技术支持工程师，最高15k，加班有补贴

网工内推 | 技术支持工程师，最高15k，加班有补贴

01 星网信通 招聘岗位：售前技术支持 职责描述： 1、售前技术支持：技术交流、产品选型报价、方案制作等工作； 2、招投标支持：项目招标参数撰写、标书质疑、应标文件技术部分撰写及资质文件归纳准备、现场讲标及技术澄清…
阅读更多...
95、动态规划-编辑距离

95、动态规划-编辑距离

递归暴力解法 递归方法的基本思想是考虑最后一个字符的操作，然后根据这些操作递归处理子问题。 递归函数定义：定义一个递归函数 minDistance(i, j)，表示将 word1 的前 i 个字符转换成 word2 的前 j 个字符所需的最小操作数。 递归终止条件…
阅读更多...
命运交织的节点：分布式事务最终一致性的心跳共鸣纪实

命运交织的节点：分布式事务最终一致性的心跳共鸣纪实

关注微信公众号 “程序员小胖” 每日技术干货，第一时间送达！ 引言 在当今云计算和微服务架构大行其道的时代，分布式系统成为了构建高可用、高性能应用的基石。然而，随着系统规模的扩张，数据的一致性问题如同幽灵般萦…
阅读更多...
Linux字符设备驱动(一) - 框架

Linux字符设备驱动(一) - 框架

字符设备是Linux三大设备之一(另外两种是块设备，网络设备)，字符设备就是字节流形式通讯的I/O设备,绝大部分设备都是字符设备，常见的字符设备包括鼠标、键盘、显示器、串口等等，当我们执行ls -l /dev的时候，就能看到大量…
阅读更多...
C++容器之vector类

C++容器之vector类

目录 1.vector的介绍及使用1.1vector的介绍1.2vector的使用1.2.1 vector的定义1.2.2 vector iterator 的使用1.2.3 vector 空间增长问题1.2.4 vector 增删查改1.2.5vector 迭代器失效问题1.2.6 vector 在OJ中的使用。 2.vector深度剖析及模拟实现2.1 std::vector的核心框架接口…
阅读更多...
Kotlin基础知识总结（三万字超详细）

Kotlin基础知识总结（三万字超详细）

1、条件语句 （1）if条件 if条件表达式，每一个分支最后一条语句就是该分支的返回值。适用于每个分支返回值类型一致这种情况。 fun getDegree(score: Int): String{val result: String if(score 100){"非常优秀"}else if(score …
阅读更多...
【2024全国青少年信息素养大赛初赛时间以及模拟题】

【2024全国青少年信息素养大赛初赛时间以及模拟题】

2024全国青少年信息素养大赛时间已经出来了 目录 全国青少年信息素养大赛智能算法挑战赛初中模拟卷 全国青少年信息素养大赛智能算法挑战赛初中模拟卷 1、比赛时间和考试内容： 算法创意实践挑战赛初中组于5月19日举行，检录时间为10:30-11:00&#xf…
阅读更多...
OS复习笔记ch5-3

OS复习笔记ch5-3

引言 上一节我们学习了关于信号量机制的一些内容，包括信号量的含义，对应的PV操作等。 如图所示，上一节主要是针对信号量的互斥，其实信号量机制还可以做很多事情，比如实现进程同步和前驱关系，这一节我们先复…
阅读更多...
leetcode每日一题第七十二天

leetcode每日一题第七十二天

class Solution { public:TreeNode* searchBST(TreeNode* root, int val) {if(!root) return root;if(root->val val) return root;else if(root->val > val) return searchBST(root->left,val);else return searchBST(root->right,val);} };
阅读更多...
新能源汽车动力电池热管理方案直冷方案原理简介

新能源汽车动力电池热管理方案直冷方案原理简介

前言 随着新能源汽车的快速发展，动力电池作为其核心部件之一，对于其性能和寿命具有重要影响。动力电池在工作过程中会产生大量的热量，如果不能有效地进行热管理，将会导致电池温度升高、性能下降甚至损坏。因此，热管理…
阅读更多...
C语言【文件操作 2】

C语言【文件操作 2】

文章目录 前言顺序读写函数的介绍fputc && fgetcfputcfgetc fputs && fgetsfputsfgets fprintf && fscanffprintffscanf fwrite && freadfwritefread 文件的随机读写fseek函数偏移量ftell函数rewind函数 文件的结束判断被错误使用的feof 结语 …
阅读更多...
哈希题目总结

哈希题目总结

以下列举了可以用哈希方法（包括但不限于用HashMap和HashSet）的题目，实质上是把东西丢给这些数据结构去维护。请注意有些题目中用哈希是最优解，有些题目中不是最优解，可以自行探索其时间复杂度和空间复杂度的区别&#…
阅读更多...
【Java】还不会数组？一文万字全搞定

【Java】还不会数组？一文万字全搞定

前言：前面两章我们详细讲解了Java基本程序设计结构中的基本知识，，包括：一个简单的Java应用，注释，数据类型，变量与常量，运算符，字符串，输入输出，控…
阅读更多...
探索精酿啤酒：从经典到创新

探索精酿啤酒：从经典到创新

Fendi club啤酒一直以来都以其卓着的品质和与众不同的口感深受消费者喜爱。而随着时代的变迁和消费者口味的不断变化，Fendi club啤酒也在不断地探索和创新，以满足市场的多样化需求。 在经典的口感和风味基础上，Fendi club啤酒不断地尝试新的原…
阅读更多...
多线程学习D10 收尾了应该

多线程学习D10 收尾了应该

线程安全集合类概述 重点介绍java.util.concurrent.* 下的线程安全集合类，可以发现它们有规律，里面包含三类关键词：Blocking、CopyOnWrite、Concurrent Blocking 大部分实现基于锁，并提供用来阻塞的方法 CopyOnWrite 之类容器修改…
阅读更多...
探讨关于AutoPSA里CII算法的结构荷载

探讨关于AutoPSA里CII算法的结构荷载

UKP3D,AutoPDMS导出应力计算文件至管道应力分析软件分析，如下图AutoPSA.用户咨询如图 1.如果计算时考虑水重，把工况中的w改为ww； 2.CAD表格中结构荷载不是单纯的1.5倍，是参照仿GLIF的算法，计算了水重的（根…
阅读更多...
如何进行资产梳理

如何进行资产梳理

前言 为什么要进行资产梳理？ 资产梳理方式一: 一、安全防护设备资产 二、对外开放服务项目资产 三、项目外包业务流程资产 资产梳理方式二: 一、业务资源梳理 二、设备资产梳理 三、第三方的服务信息梳理 风险梳理 风险有哪些？ 一,账号权限风…
阅读更多...
在windows下使用VS Code、CMake、Make进行代码编译

在windows下使用VS Code、CMake、Make进行代码编译

软件环境 Windows11VS CodeNoneCMake3.26.4-windows-x86_64MinGWNone 电脑系统配置 安装MinGW将MinGW安装文件夹中bin文件夹下的mingw32-make.exe复制并重命名为make.exe在文件夹中添加系统路径，具体位置为 系统->系统信息->高级系统设置->高级->环境…
阅读更多...
Core_Air724UG学习

Core_Air724UG学习

产品描述 Core_Air724UG核心板是基于Air724UG cat1模板制作的开发实验板。 该模块支持Lua二次开发或AT指令，方便开发者根据自己的需求灵活选择。 Core_Air724UG核心板专注于小型化，PCB尺寸4246mm，有12x22哥标准2.54mm排针管脚，其…
阅读更多...
Android MediaCodec 简明教程（七）：使用 MediaCodec 解码到 OES 纹理上

Android MediaCodec 简明教程（七）：使用 MediaCodec 解码到 OES 纹理上

系列文章目录 Android MediaCodec 简明教程（一）：使用 MediaCodecList 查询 Codec 信息，并创建 MediaCodec 编解码器Android MediaCodec 简明教程（二）：使用 MediaCodecInfo.CodecCapabilities 查…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023