中间件--MongoDB部署及初始化js脚本(docker部署,docker-entrypoint-initdb.d,数据迁移,自动化部署)

news2024/12/26 11:45:57

一、概述

MongoDB是一种常见的Nosql数据库(非关系型数据库),以文档(Document)的形式存储数据。是非关系型数据库中最像关系型数据库的一种。本篇主要介绍下部署和数据迁移。

在 MongoDB 官方镜像部署介绍中,MongoDB 的官方镜像会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件(注意:只会在容器创建的第一次会执行,如果是运行之前已有的容器则不会执行),我们可以利用这一点来实现数据的迁移和自动化部署服务。

二、完整部署和迁移过程:

1、删除之前的容器

因为js脚本仅会在初次创建容器启动时才会被执行。如果是已存在的容器重新运行,js脚本是不会被执行的。所以如果之前有运行的容器,需要删除。
命令:

docker rm -f mongdb-with-js

删除示例:
在这里插入图片描述

2、编写Dockerfile脚本

因为我们要把我们指定的js文件压到官方的mongDB镜像中,所以这里需要编写Dockerfile文件,用来重新构建镜像。

Dockerfile示例:

# 使用自定义的 MongoDB 镜像
FROM mongo:7.0.4

# 维护者信息
MAINTAINER weisian

# 设置时区为上海
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 将 object-mongo.js 文件复制到容器的初始化脚本目录
COPY ./object-mongo.js /docker-entrypoint-initdb.d

3、编写用于初始化的js脚本

该js文件会被Dockerfile文件压入到镜像中。本例的js脚本就是需要初始化到库中的数据。

名称如
object-mongo.js

代码示例:

console.log("start running js!!!");
const db = db.getSiblingDB("object_cloud");     // 指定库的名称

try {
  console.log("Switching to database: object_cloud");
  console.log("Inserting data into object_sensor_category...");
  
  // 在object_cloud库的object_sensor_category表中插入数据(支持many和one两种方法)
  const result = db.object_sensor_category.insertMany([
	{
		"_id" : NumberLong("988405030841225243"),
		"sensorModel" : "DT-ZD-V1001",
		"vibrateIndicators" : [ 
			"rms", 
			"peak"
		],
		"params" : {
			"frequencyResponse" : 22,
			"sensitivity" : 102
		},
		"deleteFlag" : false,
		"createTime" : ISODate("2024-06-20T03:28:43.030Z")
	},
	{
		"_id" : NumberLong("988405030841225244"),
		"sensorModel" : "DT-ZS-V1001",
		"pointTypeList" : [ 
			{
				"pointType" : 1020,
				"dataBizTypes" : [ 
					1020
				]
			}
		],
		"params" : {
			"workmanshipCollectInterval" : 60,
			"triggerCount" : 30
		},
		"createTime" : ISODate("2024-06-20T03:28:43.030Z"),
		"createUser" : "1543837863788879871"
	}
  ]);

  const result2 = db.object_category.insertMany([
    {
		"_id" : NumberLong("988108368994373658"),
		"collectorChannelNum" : 18,
		"channelConfList" : [ 
			{
				"channelType" : "1020",
				"sensorTypeList" : [ 
					NumberLong("988405030841225244")
				]
			}
		],
		"manufacturerId" : NumberLong("7382949823"),
		"workmanshipExist" : [ 
			NumberLong(1060)
		],
		"sensorTypeList" : [ 
			NumberLong("988404952147693592"), 
			NumberLong("988405030841225242")
		],
		"updateTime" : ISODate("2024-06-19T07:49:53.351Z"),
		"updateUser" : "1543837863788879871"
	}
  ]);

} catch (e) {
  console.error("Error inserting data: " + e);
}

4、重新构建镜像

(1)、创建工作路径
随意创建一个目录即可。
上传前面编写的Dockerfile和object-mongo.js两个文件
在这里插入图片描述

(2)、重新构建镜像image-mongodb-js:1.0
命令:

docker build -t image-mongodb-js:1.0 .

在这里插入图片描述

(3)、查询镜像存在
在这里插入图片描述

5、启动mongodb服务

(1)、指定用户名(root),密码(123456),和镜像
命令:

docker run -d --name mongodb-with-js -p 27017:27017 -e MONGO_INITDB_ROOT_USERNAME=root -e MONGO_INITDB_ROOT_PASSWORD=123456 image-mongodb-js:1.0

在这里插入图片描述

(2)、查看启动日志
命令:

docker logs mongodb-with-js

可以看到object-mongo.js中打印的日志信息,方便查看是否初始化js等操作信息。
在这里插入图片描述

6、客户端连接验证

使用如下的IP、端口,用户名,密码连接mongDb服务。
ip:27017
root/123456
可以看到登录成功,且数据初始化完成。
在这里插入图片描述

7、过程中的几个命令记一下

进入容器
docker exec -it 415dc88956bd bash
停止并删除容器
docker rm -f mongodb-with-js
删除镜像
docker rmi image-mongodb-js:1.0
宿主机打开mongo shell窗口(可执行原始的mongo命令,在mongDB5.0及之后改为mongosh)(如果进入容器内直接*mongosh即可打开)
docker exec -it mongodb-with-js mongosh

以下几个为mong shell的脚本:

展示mongo服务中有哪些个数据库
show databases
切换数据库
use phm_local
展示当前数据库下的表
show collections
展示当前数据库下,指定表中的数据
db.object_sensor_category.find().pretty();
加载执行js脚本
load("/docker-entrypoint-initdb.d/phm-mongo.js")

三、js脚本需要注意的点

(1)、Long类型的精度问题

在处理long类型时,如果不用双引号框起来会造成精度丢失问题甚至报错。如下为正确和错误的示例。
正确示例:

"_id" : NumberLong("988404952147693592"),

错误示例如:
"_id" : NumberLong(988404952147693592),

(2)、注意mongDb的版本

使用5.0之前和之后的mongDb版本,js语法可能会不相同。
目前使用7.0.4版本,可用语法如下:

const db = db.getSiblingDB("object_cloud");   // 切换到object_cloud库
const result = db.object_sensor_category.insertMany([])   // db库导入多条数据

(3)、时间对象

时间对象需要改成以下格式,注意后面也有双引号

"createTime" : ISODate("2024-06-20T03:28:24.269Z")

四、通过代码做数据迁移

通过如下的代码,也可以实现mongoDb数据的迁移工作。但这种方式要求必须同时连接到两个数据源,对于一些线上环境往往是平常无法访问的。如果网络环境不通的情况下,就只能先把数据导出后,在迁移到目标环境中进行导入的工作(上面的js初始化方式也是这种实现的逻辑,但是不同在于js的方式实现了自动化部署,即:不需要人为再去操作迁移了)

java代码示例如下:


import com.alibaba.fastjson2.JSON;
import com.mongodb.MongoClientSettings;
import com.mongodb.MongoCredential;
import com.mongodb.ServerAddress;
import com.mongodb.client.*;
import org.bson.Document;
import java.util.Collections;
import java.util.Iterator;

public class MongoMigration {

    public static void main(String[] args) {
        String[] collections = new String[]{    // 指定需要迁移数据的表
                "object_category",
//                "object_running_conf",
                "object_sensor_category"
        };
        for (String collection:collections){
            copyCollection(collection);       // 遍历上面的表进行数据迁移
        }
    }

    private static void copyCollection(String collection) {
        // 源MongoDB配置
        String sourceHost = "";
        int sourcePort = 27017;
        String sourceDatabase = "object-cloud";
        String sourceUsername = "root"; // 如果需要的话
        String sourcePassword = "123456"; // 如果需要的话

        // 目标MongoDB配置
        String targetHost = "";
        int targetPort = 38630; 
        String targetDatabase = "object-cloud";
        String targetUsername = "root"; // 如果需要的话
        String targetPassword = "123456"; // 如果需要的话

        // 连接到源MongoDB
        MongoClient sourceClient = createMongoClient(sourceHost, sourcePort, sourceDatabase, sourceUsername, sourcePassword);
        MongoDatabase sourceDatabaseInstance = sourceClient.getDatabase(sourceDatabase);
        MongoCollection<Document> sourceCollectionInstance = sourceDatabaseInstance.getCollection(collection);

        // 连接到目标MongoDB
        MongoClient targetClient = createMongoClient(targetHost, targetPort,  targetDatabase ,targetUsername, targetPassword);
        MongoDatabase targetDatabaseInstance = targetClient.getDatabase(targetDatabase);
        MongoCollection<Document> targetCollectionInstance = targetDatabaseInstance.getCollection(collection);

        // 从源集合读取数据并写入目标集合
        FindIterable<Document> documents = sourceCollectionInstance.find();
        Iterator<Document> iterator = sourceCollectionInstance.find().iterator();
        int i=0;
        while (iterator.hasNext()) {
            Document doc = iterator.next();
            targetCollectionInstance.insertOne(doc);
            if (++i>100){                  // 仅迁移前100条数据,有些表数据量太大,不需要可以放弃。如果需要全量,这里要删除掉
                break;
            }
        }

        // 关闭连接
        sourceClient.close();
        targetClient.close();
        System.out.println("Data migration completed successfully!");
    }

    private static MongoClient createMongoClient(String host, int port, String  database, String username, String password) {
        MongoCredential credential = null;
        if (username != null && !username.isEmpty() && password != null && !password.isEmpty()) {
            credential = MongoCredential.createCredential(username, database, password.toCharArray()); 
        }
        MongoClientSettings settings = MongoClientSettings.builder()
                .applyToClusterSettings(builder ->
                        builder.hosts(Collections.singletonList(new ServerAddress(host, port))))
                .credential(credential) // 如果需要认证
                .build();
        return MongoClients.create(settings);
    }
}

五、总结

通过MongDB官方镜像的特性,会在容器首次启动时自动执行 docker-entrypoint-initdb.d/ 目录下的所有.js 文件,可以利用这一点来实现mongDB的数据迁移或自动化部署服务。

学海无涯苦作舟!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2257614.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于大模型的 AI Agent 技术框架全解析

一、AI Agent 与大语言模型&#xff1a;智能时代的双璧合辉 &#xff08;一&#xff09;AI Agent&#xff1a;智能化浪潮的引领者 在科技迅猛发展的当下&#xff0c;AI Agent 作为一种能够自主感知环境、决策并行动的智能系统&#xff0c;正引领着智能化的新潮流。与传统智能系…

5.ABAP结构体和内表

总学习目录请点击下面连接 SAP ABAP开发从0到入职&#xff0c;冷冬备战-CSDN博客 目录 5.1.结构化数据对象 定义 如何引用结构化的数据对象 拷贝 实战练习 创建 拷贝 调试代码 5.2.内表 行类型 键 表种类 存取类型 表类型 如何在本地定义表类型 内表三种可能的…

3D 生成重建030-SV3D合成环绕视频以生成3D

3D 生成重建030-SV3D合成环绕视频以生成3D 文章目录 0 论文工作1 论文方法2 实验结果 0 论文工作 论文提出了Stable Video 3D (SV3D)——一个用于生成围绕三维物体的高分辨率图像到多视角视频的潜在视频扩散模型。最近关于三维生成的文献提出了将二维生成模型应用于新视图合成…

中介者模式的理解和实践

一、中介者模式概述 中介者模式&#xff08;Mediator Pattern&#xff09;&#xff0c;也称为调解者模式或调停者模式&#xff0c;是一种行为设计模式。它的核心思想是通过引入一个中介者对象来封装一系列对象之间的交互&#xff0c;使得这些对象不必直接相互作用&#xff0c;从…

【蓝桥杯每日一题】砍竹子

砍竹子 2024-12-7 蓝桥杯每日一题 砍竹子 STL 贪心 题目大意 这天, 小明在砍竹子, 他面前有 nn 棵竹子排成一排, 一开始第 ii 棵竹子的 高度为 h i h_i hi​. 他觉得一棵一棵砍太慢了, 决定使用魔法来砍竹子。魔法可以对连续的一 段相同高度的竹子使用, 假设这一段竹子的高度为…

泷羽sec-burpsuite(5)app渗透测试(上) 学习笔记

声明&#xff01; 学习视频来自B站up主 **泷羽sec** 有兴趣的师傅可以关注一下&#xff0c;如涉及侵权马上删除文章&#xff0c;笔记只是方便各位师傅的学习和探讨&#xff0c;文章所提到的网站以及内容&#xff0c;只做学习交流&#xff0c;其他均与本人以及泷羽sec团队无关&a…

从一个Bug谈前端响应拦截器的应用

一、问题场景 今天在开发商品管理系统时&#xff0c;遇到了一个有趣的问题&#xff1a;当添加重复的商品编号时&#xff0c;页面同时弹出了两条 "商品编号已存在" 错误提示&#xff1a; 这个问题暴露了前端错误处理机制的混乱&#xff0c;让我们从这个问题出发&…

量子变分算法---损失函数

引子 关于损失函数&#xff0c;我们知道在强化学习中&#xff0c;会有一个函数&#xff0c;用来表示模型每一次行为的分数&#xff0c;通过最大化得分&#xff0c;建立一个正反馈机制&#xff0c;若模型为最优则加分最多&#xff0c;若决策不佳则加很少分或者扣分。而在神经网络…

车间的图纸在传输过程的安全怎么保障?

车间的图纸在传输过程的安全保障&#xff0c;要从很多方面出发分析&#xff0c;本文从以下几点为大家列出几个&#xff0c;看看有没有你想知道的呢~ 1、采用先进的图纸加密软件 采用先进的加密算法对图纸进行加密处理&#xff0c;确保图纸文件在存储、传输和使用过程中的安全性…

MQTT消息服务器mosquitto介绍及说明

Mosquitto是一个开源的消息代理软件&#xff0c;支持MQTT协议&#xff08;消息队列遥测传输协议&#xff09;。MQTT是一种轻量级的发布/订阅消息传输协议&#xff0c;专为低带宽、不可靠网络环境下的物联网设备通信而设计。以下是关于Mosquitto服务器的一些介绍和说明&#xff…

想在iPad上远程操作安卓手机的APP,怎样实现iPad远程控制安卓?

学生党或互联网行业的打工人&#xff0c;人手连三台电子设备也很常见&#xff0c;手机、平板还有笔记本电脑一大堆&#xff0c;如果出门要全带上&#xff0c;背包压力也变大。 有没有想过用远程控制功能&#xff0c;让iPad远程控制安卓手机&#xff1f;这样做&#xff0c;出门就…

VBA高级应用30例应用在Excel中的ListObject对象:向表中添加注释

《VBA高级应用30例》&#xff08;版权10178985&#xff09;&#xff0c;是我推出的第十套教程&#xff0c;教程是专门针对高级学员在学习VBA过程中提高路途上的案例展开&#xff0c;这套教程案例与理论结合&#xff0c;紧贴“实战”&#xff0c;并做“战术总结”&#xff0c;以…

Spring源码分析之Bean的实例化(createBeanInstance())

前言: 通过Spring源码分析之Bean的创建过程(createBean)-CSDN博客我们可以知道如果没有动态代理以及循环依赖的前提之下的话那么一个普通的单例Bean的创建后就是实例化,属性填充,初始化这三个步骤那么这篇文章的话我们就先说一下实例化也就是doCreateBean方法里面的createBeanI…

一次“okhttp访问间隔60秒,提示unexpected end of stream“的问题排查过程

一、现象 okhttp调用某个服务&#xff0c;如果第二次访问间隔上一次访问时间超过60s&#xff0c;返回错误&#xff1a;"unexpected end of stream"。 二、最终定位原因&#xff1a; 空闲连接如果超过60秒&#xff0c;服务端会主动关闭连接。此时客户端恰巧访问了这…

蓝桥杯准备训练(lesson5 ,c++)

单目操作符与第 2 章 C/C输⼊输出&#xff08;上&#xff09; 8. 单⽬操作符8.1 和--8.1.1 前置 和 后置8.1.2 前置-- 和 后置-- 8.2 和 - 第 2 章 C/C输⼊输出&#xff08;上&#xff09;1. getchar 和 putchar1.1 getchar()1.2 putchar() 2. scanf 和 printf2.1 printf2.1.1…

Linux系统挂载exfat格式U盘教程,触觉智能RK3562开发板演示

本文介绍Linux系统&#xff08;Ubuntu/Debian通用&#xff09;挂载exfat格式U盘的方法&#xff0c;触觉智能RK3562开发板演示&#xff0c;搭载4核A53处理器&#xff0c;主频高达2.0GHz&#xff1b;内置独立1Tops算力NPU&#xff0c;可应用于物联网网关、平板电脑、智能家居、教…

LeetCode 0935.骑士拨号器:动态规划(DP)

【LetMeFly】935.骑士拨号器&#xff1a;动态规划(DP) 力扣题目链接&#xff1a;https://leetcode.cn/problems/knight-dialer/ 象棋骑士有一个独特的移动方式&#xff0c;它可以垂直移动两个方格&#xff0c;水平移动一个方格&#xff0c;或者水平移动两个方格&#xff0c;垂…

No.4 笔记 探索网络安全:揭开Web世界的隐秘防线

在这个数字时代&#xff0c;网络安全无处不在。了解Web安全的基本知识&#xff0c;不仅能保护我们自己&#xff0c;也能帮助我们在技术上更进一步。让我们一起深入探索Web安全的世界&#xff0c;掌握那些必备的安全知识&#xff01; 1. 客户端与WEB应用安全 前端漏洞&#xff1…

PHP使用local-proxy的一种思路! | 架构师之路(19)

《架构师之路&#xff1a;架构设计中的100个知识点》 19.脚本语言使用长连接的一种思路 脚本类语言&#xff0c;例如PHP&#xff0c;不能像C/Java那样能搞服务常驻内存&#xff0c;不能搞长连接&#xff1f; 为什么脚本语言要搞长连接&#xff1f; 脚本类语言每次访问后端数据库…

【51单片机】程序实验1112.外部中断-定时器中断

主要参考学习资料&#xff1a;B站【普中官方】51单片机手把手教学视频 前置知识&#xff1a;C语言 单片机套装&#xff1a;普中STC51单片机开发板A4标准版套餐7 码字不易&#xff0c;求点赞收藏加关注(•ω•̥) 有问题欢迎评论区讨论~ 目录 程序实验11&12.外部中断-定时器…