mongodb sharding分片模式的集群数据库，日志治理缺失导致写入数据库报错MongoWriteConcernException的问题总结（上）

news2025/2/2 10:57:50

一、背景

常见的mongodb集群模式有以下三种：

  • 主从复制（Master-Slave）模式
  • 副本集（Replica Set）模式
  • 分片（Sharding）模式

公司测试环境搭建的集群采用分片模式，有同事反馈说，程序写入数据库报错。
详细错误见下：

Caused by: com.mongodb.MongoWriteConcernException: waiting for replication timed out; Error details: { wtimeout: true } at sdrs03

提示写入数据失败，因为是分片模式，所以它的数据是需要写入到两个分片服务机器上。

也就是说，这个错误很可能是因为一个分片写入成功，另一个写入失败所导致。

连接某个节点，连接Mongodb，执行命令sh.status()查看集群状态。

最后发现是某个机器的磁盘空间已满所引起的，当时为了快速回复，就手动删除了大日志文件。

今天有空就梳理一下问题，为了便于理解，画了一个部署架构图。

二、部署架构图

在这里插入图片描述
分片模式下，三个节点是等价关系，这里只举例其中一个来说。

在这里插入图片描述

[root@mongo_test01 data]# ps -ef | grep mongo
root      6223 14104  0 11:07 pts/0    00:00:00 grep --color=auto mongo
mongo    11016     1  1 Mar27 ?        00:43:37 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongos -f /data/mongodb50000/cnf/mongo50000.cnf
mongo    11497     1  1 Mar27 ?        00:51:45 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb11000/cnf/mongo11000.cnf
mongo    16436     1  3 Mar27 ?        01:32:02 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb12000/cnf/mongo12000.cnf
mongo    19133     1  1 10:35 ?        00:00:35 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb40000/cnf/mongo40000.cnf
mongo    19952     1  2 09:45 ?        00:02:15 /usr/local/mongodb-linux-x86_64-rhel70-4.0.27/bin/mongod -f /data/mongodb10000/cnf/mongo10000.cnf

这里启动了五个进程，每个进程端口对应见上图。

  • 分片服务器，对应端口10000/11000/12000
  • 配置服务器，对应端口40000
  • Mongos路由服务，对应端口50000，外部访问入口

三、详细配置

日志的保存路径和进程ID，见/data/mongodb{端口}/cnf/mongo{端口}.cnf

1、分片服务

因为三个分片配置类同，只是端口号不一样，所以仅以10000端口示例：
在这里插入图片描述

#SERVER
dbpath = /data/mongodb10000/data
logpath = /data/mongodb10000/log/mongo10000.log
pidfilepath = /data/mongodb10000/run/mongo10000.pid
fork = true
port = 10000
quiet = true
logappend = true
journal = true
directoryperdb = true
maxConns = 65536
bind_ip_all = true
transportLayer=asio
serviceExecutor=adaptive

#SLOW_LOG
profile = 1
slowms = 500
slowOpSampleRate = 1

replSet = sdrs01
oplogSize = 10240
shardsvr = true

#USER
keyFile=/data/mongodb10000/cnf/keyFile
setParameter=enableLocalhostAuthBypass=1
setParameter=failIndexKeyTooLong=1

storageEngine=wiredTiger
wiredTigerCacheSizeGB=8
wiredTigerCollectionBlockCompressor=snappy
wiredTigerDirectoryForIndexes=true

2、配置服务

复制集的名称是csvrs01，端口为40000，在后面的mongos会用到。
在这里插入图片描述

# cat /data/mongodb40000/cnf/mongo40000.cnf

#SERVER
dbpath = /data/mongodb40000/data
logpath = /data/mongodb40000/log/mongo40000.log
pidfilepath = /data/mongodb40000/run/mongo40000.pid
fork = true
port = 40000
quiet = true
logappend = true
maxConns = 65536
directoryperdb = true

#SLOW_LOG
profile = 1
slowms = 500
bind_ip_all = true

configsvr = true
replSet = csvrs01
storageEngine=wiredTiger
wiredTigerCacheSizeGB=1
oplogSize = 8192

#USER
keyFile=/data/mongodb40000/cnf/keyFile
setParameter=enableLocalhostAuthBypass=1

3、Mongos

在这里插入图片描述

这里填写了配置服务列表。另外需要注意一点，它的pid进程号是保存在/data/mongodb50000/run/mongos.pid，而非/data/mongodb50000/run/mongodb50000.pid。

pidfilepath = /data/mongodb50000/run/mongos.pid
logpath = /data/mongodb50000/log/mongos.log
fork = true
port = 50000
quiet = true
logappend = true
maxConns = 20000
bind_ip_all = true
configdb = csvrs01/192.168.10.28:40000,192.168.10.71:40000,192.168.10.72:40000

#USER
keyFile=/data/mongodb50000/cnf/keyFile
setParameter=enableLocalhostAuthBypass=1
setParameter=taskExecutorPoolSize=4
setParameter=ShardingTaskExecutorPoolMaxSize=5000

4、初始化副本集

在任意一台机器上使用 mongo 命令行工具连接到任意配置服务器，并初始化副本集sdrs01。

mongo --host 192.168.10.28:40000
use admin
cfg = {
  _id: "sdrs01",
  members: [
    { _id: 0, host: "192.168.10.71:10000" },
    { _id: 1, host: "192.168.10.72:10000" }
  ]
}
rs.initiate(cfg)

以此类推，初始化副本集sdrs02和sdrs03。

mongo --host 192.168.10.28:40000
use admin
cfg = {
  _id: "sdrs02",
  members: [
    { _id: 0, host: "192.168.10.28:11000" },
    { _id: 1, host: "192.168.10.71:11000" }
   ]
}
rs.initiate(cfg)

mongo --host 192.168.10.28:40000
use admin
cfg = {
  _id: "sdrs03",
  members: [
    { _id: 0, host: "192.168.10.28:12000" },
    { _id: 1, host: "192.168.10.72:12000" }
  ]
}
rs.initiate(cfg)

5、添加分片到路由服务器mongos

使用 mongo 命令行工具连接到路由服务器，并添加分片。

mongo --host 192.168.10.28:50000
use admin
sh.addShard("sdrs01/192.168.10.71:10000")
sh.addShard("sdrs01/192.168.10.72:10000")

sh.addShard("sdrs02/192.168.10.28:11000")
sh.addShard("sdrs02/192.168.10.71:11000")

sh.addShard("sdrs03/192.168.10.28:12000")
sh.addShard("sdrs03/192.168.10.72:12000")

注意，这里每个分片，只选择其中的两个节点作为副本。

6、登录Mongos，查看集群状态

mongo 192.168.10.28:50000 -uroot -p{密码} --authenticationDatabase admin

> sh.status()

在这里插入图片描述

shards:
        {  "_id" : "sdrs01",  "host" : "sdrs01/192.168.10.71:10000,192.168.10.72:10000",  "state" : 1,  "tags" : [ "test.sh1", "sdrs01" ] }
        {  "_id" : "sdrs02",  "host" : "sdrs02/192.168.10.28:11000,192.168.10.71:11000",  "state" : 1,  "tags" : [ "test.sh2", "sdrs02" ] }
        {  "_id" : "sdrs03",  "host" : "sdrs03/192.168.10.28:12000,192.168.10.72:12000",  "state" : 1,  "tags" : [ "test.sh3", "sdrs03" ] }

四、未完待续

由于整篇文章比较冗长，我先介绍Mongodb sharding分片集群的搭建及配置详情，顺便梳理了其部署架构， 下文我将介绍其日志治理问题。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1555291.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Linux内核之debugfs_create_dir与debugfs_create_file实例与调用栈流程(三十二)

Linux内核之debugfs_create_dir与debugfs_create_file实例与调用栈流程(三十二)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 优质专栏：Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏：多媒…
阅读更多...
【C语言】linux内核tcp_push函数

【C语言】linux内核tcp_push函数

一、讲解 这个 tcp_push 函数是在Linux内核的TCP网络栈实现中，用于推动TCP缓冲区中待发送数据包的传输。这段代码需要在具备操作系统和网络编程知识背景下来解释。下面我将分步骤用中文逐一讲解这个函数的作用： 1. struct tcp_sock *tp tcp_sk(sk);&am…
阅读更多...
阿里云魔搭发起“ModelScope-Sora开源计划”，将为中国类Sora模型开发提供一站式工具链

阿里云魔搭发起“ModelScope-Sora开源计划”，将为中国类Sora模型开发提供一站式工具链

在2024年3月23日的全球开发者先锋大会上，阿里云的魔搭社区宣布了一个新计划：“ModelScope-Sora开源计划”。这个计划旨在通过开源方式，帮助中国在Sora模型类型上做出更多创新。这个计划提供了一整套工具，包括处理数据的工具、多模…
阅读更多...
绿联 安装Uptime Kuma - 一款开源的服务器监控和状态检测工具

绿联 安装Uptime Kuma - 一款开源的服务器监控和状态检测工具

Uptime Kuma 功能简介 Uptime Kuma 是一款开源的服务器监控和状态检测工具，它帮助您跟踪服务器的可用性、性能和健康状态。 主要功能： 服务器监控 Uptime Kuma 可以监控多个服务器，包括 Web 服务器、数据库服务器、应用程序服务器等。 它会定…
阅读更多...
GEE实践应用|热岛效应（一）地表温度计算

GEE实践应用|热岛效应（一）地表温度计算

目录 1.学习目标 2.理论介绍 3.从MODIS获得地表温度 4.从Landsat卫星获得地表温度 1.学习目标 ①了解如何使用GEE计算地表温度 2.理论介绍 城市化涉及用建筑物、道路和停车场等建筑结构取代自然景观。这种土地覆盖的改变也改变了土地表面的特性。这些变化的范围从表面反射和…
阅读更多...
四创科技解决方案

四创科技解决方案

联合解决方案 推进智慧水利建设是推动新阶段水利高质量发展的六条实施路径之一,四创科技按照“需求牵引、应用至上、数字赋能、提升能代化能力”要求,以数字化、网络化、智能化为主线,以数字化场景、智慧化模拟、精准化决策为路径，以构建数字李生流域为核心,全面推进…
阅读更多...
Java复习第十三天学习笔记（HTML），附有道云笔记链接

Java复习第十三天学习笔记（HTML），附有道云笔记链接

【有道云笔记】十三 3.29 HTML https://note.youdao.com/s/Ru3zoNqM 一、基本标签 HTML:超文本标记语言 定义页面结构 CSS&#xff1a;层叠样式表 页面显示的样式、排版 BootStrap JS: JavaScript 界面交互(动态交互、逻辑) JQuery <!DOCTYPE html> <html> &l…
阅读更多...
用 AI 编程-释放ChatGPT的力量

用 AI 编程-释放ChatGPT的力量

最近读了本书&#xff0c;是 Sean A Williams 写的&#xff0c;感觉上还是相当不错的。一本薄薄的英文书&#xff0c;还真是写的相当好。如果你想看&#xff0c;还找不到&#xff0c;可以考虑私信我吧。 ChatGPT for Coders Unlock the Power of AI with ChatGPT: A Comprehens…
阅读更多...
uniapp中使用u-popup组件导致的弹框下面的页面可滑动现象

uniapp中使用u-popup组件导致的弹框下面的页面可滑动现象

添加代码&#xff1a; touchmove.stop.prevent"()>{}"
阅读更多...
【最新版RabbitMQ3.13】Linux安装基于源码构建的RabbitMQ教程

【最新版RabbitMQ3.13】Linux安装基于源码构建的RabbitMQ教程

前言 linux环境 安装方式有三种&#xff0c;我们这里使用源码安装 Linux下rpm、yum和源码三种安装方式简介 个人语雀首发教程&#xff1a;https://www.yuque.com/wzzz/java/kl2zn22b42svsc6b csdn地址: https://blog.csdn.net/u013625306/article/details/137151862 安装版本…
阅读更多...
政安晨：【Keras机器学习实践要点】（九）—— 保存、序列化和导出模型

政安晨：【Keras机器学习实践要点】（九）—— 保存、序列化和导出模型

政安晨的个人主页&#xff1a;政安晨 欢迎 &#x1f44d;点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras机器学习实战 希望政安晨的博客能够对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff01; 这篇文章是保存、序列化和导出模型的完整指南。 …
阅读更多...
Redis 不再“开源”：中国面临的挑战与策略应对

Redis 不再“开源”：中国面临的挑战与策略应对

Redis 不再“开源”&#xff0c;使用双许可证 3 月 20 号&#xff0c;Redis 的 CEO Rowan Trollope 在官网上宣布了《Redis 采用双源许可证》的消息。他表示&#xff0c;今后 Redis 的所有新版本都将使用开源代码可用的许可证&#xff0c;不再使用 BSD 协议&#xff0c;而是采用…
阅读更多...
蓝桥备赛——堆队列

蓝桥备赛——堆队列

AC code import os import sys import heapq a [] b [] n,k map(int,input().split())for _ in range(n):x,y map(int,input().split())a.append(x)b.append(y) q []# 第一种情况&#xff1a;不打第n个怪兽# 将前n-1个第一次所需能量加入堆 for i in range(n-1):heapq.h…
阅读更多...
安装和使用 Oracle Database 23c 容器鏡像

安装和使用 Oracle Database 23c 容器鏡像

Oracle Database 23c 是 Oracle 最新的数据库版本&#xff0c;它带来了许多新特性和性能改进。 对于开发者来说&#xff0c;Oracle 提供了一个免费的开发者版&#xff0c; 可以通过 Docker 容器轻松安装和使用。以下是详细的安装和使用指南。 安装 Docker 在开始之前&#xff0…
阅读更多...
全局UI方法-弹窗二-列表选择弹窗（ActionSheet）

全局UI方法-弹窗二-列表选择弹窗（ActionSheet）

1、描述 定义列表弹窗 2、接口 ActionSheet.show(value:{ title: string | Resource, message: string | Resource, autoCancel?: boolean, confrim?: {value: string | Resource, action: () > void }, cancel?: () > void, alignment?: DialogAlignment, …
阅读更多...
C++template之类模版进一步了解

C++template之类模版进一步了解

前言&#xff1a;这一篇是在我的上一篇文章的基础上&#xff0c;再进一步所写的。 链接&#xff1a;CTemplate&#xff1c;&#xff1e;模版的介绍及深度解析-CSDN博客 一、类模板实例化 1.非类型模版参数 类型模版参数&#xff1a;就是跟在 class后面或者typename后的类型 非…
阅读更多...
【软考---系统架构设计师】特殊的操作系统介绍

【软考---系统架构设计师】特殊的操作系统介绍

目录 一、嵌入式系统&#xff08;EOS&#xff09; &#xff08;1&#xff09;嵌入式系统的特点 &#xff08;2&#xff09;硬件抽象层 &#xff08;3&#xff09;嵌入式系统的开发设计 二、实时操作系统&#xff08;RTOS&#xff09; &#xff08;1&#xff09;实时性能…
阅读更多...
【动手学深度学习-pytorch】-9.3深度循环神经网络

【动手学深度学习-pytorch】-9.3深度循环神经网络

到目前为止&#xff0c;我们只讨论了具有一个单向隐藏层的循环神经网络。 其中&#xff0c;隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性&#xff0c;这就不是一个大问题。 然而&#xff0c;对一个单层来说&#xff0c;这可能具有…
阅读更多...
【2024系统架构设计】案例分析- 4 嵌入式

【2024系统架构设计】案例分析- 4 嵌入式

目录 一 基础知识 二 真题 一 基础知识 1 基本概念 ◆系统可靠性是系统在规定的时间内及规定的环境条件下，完成规定功能的能力，也就是系统无故障运行的概率。或者，可靠性是软件系统在应用或系统错误面前，在意外或错误使用的情况下维持软件系统的功能特性的基本能力。
阅读更多...
三菱Q系列PLC以太网TCP通讯FB块源码

三菱Q系列PLC以太网TCP通讯FB块源码

三菱Q系列PLC的tcp通讯&#xff0c;客户端和服务器两个变量好用的FB块&#xff0c;调用块就可以实现通讯连接&#xff0c;不需要自己写程序&#xff0c;简单配置引脚就可以。该块还集成了断网&#xff0c;连接错误&#xff0c;发送接收数据错误报警等功能。具体功能见下面介绍.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023