Kuboard突然无法访问提示：Failed to connect to the database

news2024/11/23 19:55:27

一、背景

没有做任何特殊操作，突然kuboard访问时，提示如下信息：

{
  "message": "Failed to connect to the database.",
  "type": "Internal Server Error"
}

二、排查过程

此处kuboard为docker部署的，查看kuboard的运行情况，提示Up 6 months 正在运行

docker ps | grep kuboard

查看kuboard容器的日志：

docker logs -f  --tail=10  容器ID

[root@nb003 ~]# docker logs -f  --tail=10  a2caf8010e75
time="2023-09-23T05:15:08Z" level=error msg="failed to rotate keys: etcdserver: mvcc: database space exceeded"
{"level":"warn","ts":"2023-09-23T13:15:12.504+0800","caller":"clientv3/retry_interceptor.go:61","msg":"retrying of unary invoker failed","target":"endpoint://client-8f19b170-257f-4a30-942f-1be1122e3be0/127.0.0.1:2379","attempt":0,"error":"rpc error: code = ResourceExhausted desc = etcdserver: mvcc: database space exceeded"}
time="2023-09-23T05:15:12Z" level=error msg="Storage health check failed: create auth request: etcdserver: mvcc: database space exceeded"

日志如上，发现提示ResourceExhausted desc = etcdserver: mvcc: database space exceeded，这表示etcd服务磁盘空间不足了，默认的空间配额限制为2G，超出空间配额限制就会影响服务，所以需要定期清理。
故查看数据映射的空间大小，找到自己的kuboard-data，查看
etcd db占用空间大小，发现从9月23日11点57的时候就是2GB了。已经达到默认的空间配额限制为2G的最大值。

[root@nb003 snap]# cd /data/kuboard-data/etcd-data/member/snap
[root@nb003 snap]# pwd
/data/kuboard-data/etcd-data/member/snap
[root@nb003 snap]# ls -lrth
总用量 2.1G
-rw-r--r-- 1 root root 8.0K 9月  19 11:49 0000000000000005-00000000005c4542.snap
-rw-r--r-- 1 root root 8.0K 9月  20 08:41 0000000000000005-00000000005c6c53.snap
-rw-r--r-- 1 root root 8.0K 9月  21 05:33 0000000000000005-00000000005c9364.snap
-rw-r--r-- 1 root root 8.0K 9月  22 02:26 0000000000000005-00000000005cba75.snap
-rw-r--r-- 1 root root 8.0K 9月  23 07:13 0000000000000005-00000000005ce186.snap
-rw------- 1 root root 2.0G 9月  23 11:57 db

进入kuboard容器内部，查看etcd的情况：可以看到在ERRORS列里同样也提示了一个警告alarm:NOSPACE空间不足

[root@nb003 snap]# docker exec -it a2caf8010e75 bash
root@a2caf8010e75:/# ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status
+-----------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
|       ENDPOINT        |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX |             ERRORS             |
+-----------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
| http://127.0.0.1:2379 | 59a9c584ea2c3f35 |  3.4.14 |  2.1 GB |      true |      false |         6 |    6089300 |            6089300 |   memberID:6460912315094810421 |
|                       |                  |         |         |           |            |           |            |                    |                 alarm:NOSPACE  |
+-----------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
root@a2caf8010e75:/#

三、解决办法

在kuboard容器中依次做如下操作：

# 备份db
etcdctl snapshot save backup.db
# 查看当前版本
rev=$(ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9].*')
# 压缩旧版本
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 compact $rev
# 整理多余的空间
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 defrag
# 取消告警信息（之前有nospace的告警）
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm
# 再次查看etcd的状态（发现ERROR字段已为空）
ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status

详细过程及其输出如下：

root@a2caf8010e75:/# etcdctl snapshot save backup.db
{"level":"info","ts":1695447648.315712,"caller":"snapshot/v3_snapshot.go:119","msg":"created temporary db file","path":"backup.db.part"}
{"level":"info","ts":"2023-09-23T13:40:48.317+0800","caller":"clientv3/maintenance.go:200","msg":"opened snapshot stream; downloading"}
{"level":"info","ts":1695447648.3172774,"caller":"snapshot/v3_snapshot.go:127","msg":"fetching snapshot","endpoint":"127.0.0.1:2379"}
{"level":"info","ts":"2023-09-23T13:41:03.646+0800","caller":"clientv3/maintenance.go:208","msg":"completed snapshot read; closing"}
{"level":"info","ts":1695447663.8131642,"caller":"snapshot/v3_snapshot.go:142","msg":"fetched snapshot","endpoint":"127.0.0.1:2379","size":"2.1 GB","took":15.497392681}
{"level":"info","ts":1695447663.8132935,"caller":"snapshot/v3_snapshot.go:152","msg":"saved","path":"backup.db"}
Snapshot saved at backup.db
root@a2caf8010e75:/# rev=$(ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9].*')
root@a2caf8010e75:/#  ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 compact $rev
compacted revision 6077603
root@a2caf8010e75:/#  ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 defrag
Finished defragmenting etcd member[http://127.0.0.1:2379]
root@a2caf8010e75:/# ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm
memberID:6460912315094810421 alarm:NOSPACE 
root@a2caf8010e75:/# ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status
+-----------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|       ENDPOINT        |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-----------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| http://127.0.0.1:2379 | 59a9c584ea2c3f35 |  3.4.14 |  127 kB |      true |      false |         6 |    6089454 |            6089454 |        |
+-----------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
root@a2caf8010e75:/#

四、访问验证结果

浏览器访问kuboard（ip:30080）验证，访问正常
在这里插入图片描述
查看etcd db的占用情况：发现大小变为156K
在这里插入图片描述

END

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1034217.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

二刷力扣--二叉树(3)

二刷力扣--二叉树(3)

106.从中序与后序遍历序列构造二叉树 给定两个整数数组 inorder 和 postorder ，其中 inorder 是二叉树的中序遍历， postorder 是同一棵树的后序遍历，请你构造并返回这颗 二叉树 。 手动构造的步骤： 后序确定根，中序分…
阅读更多...
面试必杀技：Jmeter性能测试攻略大全（第一弹）

面试必杀技：Jmeter性能测试攻略大全（第一弹）

前言 性能测试是一个全栈工程师/架构师必会的技能之一，只有学会性能测试，才能根据得到的测试报告进行分析，找到系统性能的瓶颈所在，而这也是优化架构设计中重要的依据。 第一章 测试流程： 需求分析→环境搭建→测试…
阅读更多...
上位机通过Modbus转Profinet网关与变频器Modbus通讯案例

上位机通过Modbus转Profinet网关与变频器Modbus通讯案例

上位机与变频器Modbus通讯是通过Modbus转Profinet网关来实现的。这个网关可以理解为一个通信翻译器，负责将上位机通过Modbus协议发送的数据转换为Profinet协议，再通过Profinet网络与变频器进行通信。 上位机通过Modbus转Profinet网关与变频器Modbus通讯…
阅读更多...
操作系统存储管理

操作系统存储管理

目录 存储管理（1） 第一节 存储管理概述（内存管理） 一、存储体系 二、存储管理的任务 三、地址转换 存储管理（2） 第二节 分区管理方案 一、固定分区 二、可变分区 三、分区管理方案的优缺点 第…
阅读更多...
基于Web的足球青训俱乐部管理后台系统的设计与开发

基于Web的足球青训俱乐部管理后台系统的设计与开发

目录 前言 一、技术栈 二、系统功能介绍 三、核心代码 1、登录模块 2、文件上传模块 3、代码封装 前言 随着社会经济的快速发展，人们对足球俱乐部的需求日益增加，加快了足球健身俱乐部的发展，足球俱乐部管理工作日益繁忙，传统…
阅读更多...
安果清理大师-不用的时候我真的不给你推荐这种软件

安果清理大师-不用的时候我真的不给你推荐这种软件

下载地址：安果移动 视频演示：安果清理大师-不用的时候我真的不给你推荐这种软件_哔哩哔哩_bilibili 全能手机助手：四大功能，全面呵护您的手机！☆ 在如今的数字时代，手机已经成为我们生活中不可或缺 的伴侣…
阅读更多...
1795_ChibiOS网络书籍阅读_实时系统的一些概念

1795_ChibiOS网络书籍阅读_实时系统的一些概念

全部学习汇总： GreyZhang/g_ChibiOS: I found a new RTOS called ChibiOS and it seems interesting! (github.com) 不同的OS在介绍自己的机理的时候都有自己的模型或者抽象概念，ChibiOS也不例外。这里的几个概念需要做一个基本的理解： 1. 进…
阅读更多...
如何使用Selenium进行自动化测试

如何使用Selenium进行自动化测试

前言 对于很多刚入门的测试新手来说，大家都将自动化测试作为自己职业发展的一个主要阶段。可是，在成为一名合格的自动化测试工程师之前，我们不仅要掌握相应的理论知识，还要进行大量的实践，积累足够的经验，…
阅读更多...
RGB格式

RGB格式

Qt视频播放器实现（目录） RGB的使用场景 目前，数字信号源（直播现场的数字相机采集的原始画面）和显示设备（手机屏幕、笔记本屏幕、个人电脑显示器屏幕）使用的基本上都是RGB格式。 三原色 RGB是…
阅读更多...
【51单片机】6-静态和动态控制数码管

【51单片机】6-静态和动态控制数码管

1.什么是数码管 1.几方面看数码管 1. 外观 2.作用 数码管是显示器件，用来显示数字的 3.分类 单个（1位），连排(2位，4位，8位） 2.工作原理 1.亮灭原理 其实是内部的照明LED 2.显示数字 原理&…
阅读更多...
速码！！BGP最全学习笔记：BGP概述

速码！！BGP最全学习笔记：BGP概述

一、BGP概述 BGP是一种实现自治系统AS之间的路由可达，并选择最佳路由的矢量性协议。早期发布的三个版本分别是BGP-1（RFC1105）、BGP-2（RFC1163）和BGP-3（RFC1267），1994年开始使用BGP-4…
阅读更多...
【一人之下】杀了七个男童，只为修炼邪术！肖哥这一战可以封神！

【一人之下】杀了七个男童，只为修炼邪术！肖哥这一战可以封神！

Hello,小伙伴们，我是小郑继续为大家深度解析一人之下国漫。 在一人之下中，老肖是临时工里战力数一数二的存在，也是十佬之一解空大师的弟弟，平常看起来像一个热心肠的大哥，但却嗜好杀人，常挂在嘴边的一句话就…
阅读更多...
基于微信小程序食谱大全系统设计与实现(源码+lw+部署文档+讲解等)

基于微信小程序食谱大全系统设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言用户微信小程序端的主要功能有：管理员的主要功能有：具体实现截图详细视频演示为什么选择我自己的网站自己的小程序（小蔡coding）有保障的售后福利 代码参考论文参考源码获取 前言 💗博主介绍：✌…
阅读更多...
解决typescript报错＝》不能将类型“undefined”分配给类型“boolean”

解决typescript报错＝》不能将类型“undefined”分配给类型“boolean”

报错如下： 然后看看isSearch的类型定义： isSearch的定义是可选属性，但是TypeScript 中将一个参数标记为可选时，它的默认值将是 undefined。可选参数表示你可以选择性地提供该参数，如果不提供，那么它将默认为…
阅读更多...
python随手小练1

python随手小练1

题目： 使用python做一个简单的英雄联盟商城登录界面 具体操作： print("英雄联盟商城登录界面") print("~ * "*15 "~") #找其规律 a "1、用户登录" b "2、新用户注册" c "3、退出系统&quo…
阅读更多...
实验室仪器应该如何清洗？

实验室仪器应该如何清洗？

梵英超声(fanyingsonic)实验室超声波清洗机 实验室中常见的玻璃器皿如量杯、试管、滴定管、移液管、量瓶等等，是化学实验操作的核心组成部分。但这些玻璃器皿在使用过程中很容易沾上各种污渍，如油渍、血渍、水垢、锈渍等等，如果用完之后没有及…
阅读更多...
xx-job凌晨一点清除oss指定文件夹以及指定保留时间的文件

xx-job凌晨一点清除oss指定文件夹以及指定保留时间的文件

ps：文件下面还有文件夹，这代码不能完全保证是否遍历到所有该文件夹以及子文件夹的文件，因为不可能一点点上到服务器去数，只是代码上做到应该不会出现重复的文件夹以及出现死循环 public static void main(String[] args) {long st…
阅读更多...
在Idea中调试本地Docker

在Idea中调试本地Docker

报错： Error running myApp: Unable to open debugger port (localhost:5005): java.net.SocketException "Connection reset" 原因： Docker配置里边没有配置环境变量JAVA_TOOL_OPTIONS. 解决： 在Docker下加入运行时的环境变量JAVA…
阅读更多...
解决0-1背包问题（方案一）:二维dp数组

解决0-1背包问题（方案一）:二维dp数组

>>确定dp数组以及下标的含义 dp[i][j]表示从下标为[0-i]的物品里任意取，放进容量为j的背包，价值总和最大是多少 （1）不放物品i 例如：当背包的容量是1kg，此时物品1和物品2都是无法放进去的。而物品0…
阅读更多...
【前端】常用属性及实例

【前端】常用属性及实例

1. 盒子水平垂直居中 1&#xff09;flex布局实现水平垂直居中 <style>.box {background: yellow;width: 200px;height: 200px;/* 设置flex布局 */display: flex;/* 水平居中 */justify-content: center;/* 垂直居中 */align-items: center;}.col {margin: 1px;backgroun…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023