微服务启动慢,看我如何消灭这些憨憨怪!

news2024/11/23 6:38:59

Hello,我是大都督周瑜,最近在公司做微服务启动速度的优化,我们有些微服务启动要花5-6分钟(就问你夸不夸张),直接导致打工人们有了更多的划水时间,领导表示不开心,要求我将微服务的启动速度控制在30秒以内,而那些特殊的微服务控制在1分钟以内,怎么办,请看我的表演。

第一步,肉眼看启动日志,先看启动时哪些类型的日志长时间频繁打印,经过我的火眼金睛,找到了以下几个憨憨怪。

第一个,Shardingsphere

我们用的Shardingsphere 5.x的版本,在微服务启动时,ShardingShpere需要获取数据库中的每张表的元数据信息,比如字段信息、索引信息,这些查询日志在启动时会频繁打印,比如以下日志会频繁打印:
image.png
因此,表越多,这个步骤消耗的时间就越多,好在我们开发环境的表不多,只有2000多张,是的,2000多张表!!! 当然啦,毕竟是开发库,没怎么做过清理,并且我们有业务是动态创建表的,所以表很多,BUT,就算删掉那些没用的表,也还有600多张,而且是一个库下面有600多张表,我都不好意思说我们是微服务架构了。

咋搞,我的办法是多线程+多数据连接,通过自定义Shardingsphere的元数据加载器MetaDataLoader,改造为内部通过线程池异步开启多个数据库连接来获取表的元数据信息,伪代码如下:

for (List<String> each : Lists.partition(tables, tables.size() / 4)) {
	// 创建连接
	Connection connection = 获取数据库连接;

	// 获取元数据
	futures.add(EXECUTOR_SERVICE.submit(() -> loadColumnMetaDataMap(connection, each)));

}

for (Future<Map<String, Collection<ColumnMetaData>>> each : futures) {
	columnMetaDataMap.putAll(each.get());
}

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

第二个,还是ShardingShpere

前面Shardingsphere只是在查询表的元数据,可恶的是,它查出来之后还会存到H2数据库中(我们用的单机模式),我是怎么发现的呢?是因为上面查询元数据的日志频繁打印后,会突然暂停,控制台突然就不打印任何日志了,最开始,我还以为是应用启动结束了,后来才发现这只是中场休息,两分钟后就开始继续打印其他日志了。

为什么会中场休息?经过看源码发现,是Shardingsphere需要将查到的元数据信息存到H2数据库中,所以,如果表越多,表的元数据就越多,存H2的时间就越久(尽管是存内存中),关键是这个过程Shardingsphere还不打info日志,所以不研究一下就不知道应用在干嘛。

那么解决思路是一样的,多线程并发将元数据存入H2数据库,只不过这就得改Shardingsphere的源码了,不过我们本来就改了Shardingsphere的源码了,将错就错,直接在现有的源码的基础上,通过线程池并发将元数据存入H2数据库。

别说,经过以上两个措施优化之后,成功将启动时间从5-6分钟缩短到了2分钟左右,效果很不错,领导很满意(领导们别光看,记得点赞三连哦),但是距离1分钟的目标还差1分钟,怎么办?

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

第三个,Bean扫描

我相信大部分SpringBoot应用的启动类都是这么写的:


/**
 * 大都督周瑜(微信: dadudu6789)
 */
@SpringBootApplication
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

这么写,SpringBoot会扫描Application类所在的包路径,假如包路径为com.zhouyu,那么SpringBoot启动时就会扫描com.zhouyu这个包下的所有类,因为Spring需要去判断每个类是不是Bean,比如一个类加了@Component注解就是Bean,没加就不是Bean,但是不管怎样都需要去解析类,因此,如果com.zhouyu包下的类特别特别多,就会很影响扫描的速度,从而影响应用的启动速度,解决办法就是:

@SpringBootApplication(scanBasePackages = {"com.zhouyu.controller", "com.zhouyu.service",...})

通过@SpringBootApplication注解的scanBasePackages属性明确指定那些真正定义了Bean的包路径,这样SpringBoot启动时就只会扫描指定的包路径,这样Bean扫描的效率就会高很多,从而提高应用的启动速度,经过我测试,应用的启动速度又缩短了50秒左右,现在距离目标1分钟只有10秒左右了,开心。另外告诉大家一个秘密,我测试的这个微服务中总共有2000多个Bean对象,300个多@Service,200个@RestController~~~~

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

第四个,日志打印

通过观察日志发现,启动过程中,Spring Fox会打印1000条日志,这是因为我们Controller接口比较多,Spring Fox会对大部分Controller接口中的@RequestMapping都打印一条日志,这种日志其实没有太大的意义,一条日志打印需要几百毫秒,那么所有1000条日志加起来也是一比不少的开销,所以就直接关掉,同样还找了一些其他没有太大作用的日志,通过SpringBoot的配置文件都关掉了,比如:

logging:
  level:
    springfox.documentation.spring.web.readers.operation.CachingOperationNameGenerator: OFF

这样,又节省了一些启动时间,最终成功达到了领导预期的目标,可以开心过五一了。

其实这个过程中,除开通过肉眼观察日志,还利用了一些工具,比如开源项目spring-startup-analyzer,它可以分析启动过程中每个Bean的创建时间,还有IntelliJ Profiler,它可以分析启动过程中某个线程或某个方法的执行时间,都是非常有用的,感谢这些工具和背后的大佬。

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1633500.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

牛客NC320 装箱问题【中等 动态规划,背包问题 C++/Java/Go/PHP】

题目 题目链接&#xff1a; https://www.nowcoder.com/practice/d195a735f05b46cf8f210c4ad250681c 几乎完全相同的题目&#xff1a; https://www.lintcode.com/problem/92/description 思路 动态规划都是递归递推而来。php答案是动态规划版本&#xff0c;递归版本有 测试用…

UE5 体积云

写好的体积材质放这里面 效果如上 Begin Object Class/Script/UnrealEd.MaterialGraphNode Name"MaterialGraphNode_4"Begin Object Class/Script/Engine.MaterialExpressionVectorParameter Name"MaterialExpressionVectorParameter_0"End ObjectBegin O…

新一代大数据平台,为什么选择中国移动梧桐数据库?

个人介绍&#xff1a;艺名司镜233&#xff0c;是中国移动梧桐数据库研发团队成员&#xff0c;从事相关的技术开发近5年了。最让我觉得自豪的不是在研发这款数据库&#xff0c;而是我们用代码&#xff0c;切实地帮助企业解决数据的困扰&#xff0c;切实地解决社会的问题。 本篇文…

二维码门楼牌管理应用平台:构建智慧社区的新引擎

文章目录 前言一、二维码门楼牌管理应用平台的建设意义二、二维码门楼牌管理应用平台的功能特点三、二维码门楼牌管理应用平台在社区治理中的重要作用 前言 随着信息技术的飞速发展&#xff0c;二维码门楼牌管理应用平台正成为智慧城市建设的重要组成部分。通过该平台&#xf…

每日OJ题_贪心算法一⑥_力扣334. 递增的三元子序列

目录 力扣334. 递增的三元子序列 解析代码 力扣334. 递增的三元子序列 334. 递增的三元子序列 难度 中等 给你一个整数数组 nums &#xff0c;判断这个数组中是否存在长度为 3 的递增子序列。 如果存在这样的三元组下标 (i, j, k) 且满足 i < j < k &#xff0c;使…

Virtualbox7.0.10--在虚拟机中安装Ubuntu20.04

前言 下载Virtualbox7.0.10&#xff0c;可参考《Virtualbox–下载指定版本》 Virtualbox7.0.10具体安装步骤&#xff0c;可参考《Virtualbox7.0.10的安装步骤》 Virtualbox7.0.10创建虚拟机&#xff0c;可参考《Virtualbox7.0.10–创建虚拟机》 Virtualbox7.0.10安装Ubuntu20.0…

docker容器---docker-compose容器集群的快速编排

一、Docker-compose简介 Docker-Compose项目是基于Python开发的Docker官方开源项目&#xff0c;负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层&#xff0c;分别是 工程&#xff08;project&#xff09;&#xff0c;服务&#xff08;service&am…

MyBatis(环境配置+基本CRUD)

文章目录 1.基本介绍1.为什么需要MyBatis&#xff1f;2.MyBatis介绍3.MyBatis工作示意图4.MyBatis的优势 2.快速入门文件目录1.需求分析2.数据库表设计3.父子模块环境配置1.创建maven父项目2.删除父项目的src目录3.pom.xml文件文件解释 4.创建子模块1.新建一个Module2.创建一个…

ffmpeg与sdl的个人笔记

说明 这里的ffmpeg基础知识和sdl基础知识仅提及与示例代码相关的知识点, 进阶可学习雷神的博客。 https://blog.csdn.net/leixiaohua1020 当然&#xff0c;如代码写的有问题或有更好的见解&#xff0c;欢迎指正&#xff01; 音视频基础知识 在学习音视频理论知识时&#xff…

学数据结构之前是否该把c语言吃透?

在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「数据结构的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff01; 我见过的第一个版本的数据…

vue+elementui(笔记)

vueelementui 表格 <div class"tableStyle"><el-table :data"pointsSettingsTableData" style"width: 70%" :stripe"true" size"mini"header-cell-class-name"headerClassName" :cell-style"{ tex…

合规基线:让安全大检查更顺利

前言 说起安全检查&#xff0c;安全从业人员可能都非常熟悉“安全标准”概念。所有企事业单位网络安全建设都需要满足来自于国家或监管单位的安全标准&#xff0c;如等保2.0、CIS安全标准等。安全标准&#xff0c;还有一个叫法就是“安全基线”。字典上对“基线”的解释是&…

AI视频教程下载:用ChatGPT做SEO的终极教程

ChatGPT是由OpenAI开发的一款尖端人工智能&#xff0c;它已经彻底改变了我们进行搜索引擎优化&#xff08;SEO&#xff09;的方式。其先进的语言处理能力使其成为增强网站内容、提高搜索引擎排名和显著提升在线可见性的宝贵工具。 这个全面的课程旨在为你提供使用ChatGPT进行SE…

算法必备数学基础:图论方法由浅入深实践与应用

作者介绍&#xff1a;10年大厂数据\经营分析经验&#xff0c;现任大厂数据部门负责人。 会一些的技术&#xff1a;数据分析、算法、SQL、大数据相关、python 欢迎加入社区&#xff1a;码上找工作 作者专栏每日更新&#xff1a; LeetCode解锁1000题: 打怪升级之旅 python数据分析…

Phi-3-mini-4k-instruct 的功能测试

Model card 介绍 Phi-3-Mini-4K-Instruct 是一个 3.8B 参数、轻量级、最先进的开放模型&#xff0c;使用 Phi-3 数据集进行训练&#xff0c;其中包括合成数据和经过过滤的公开可用网站数据&#xff0c;重点是 高品质和推理密集的属性。 该型号属于 Phi-3 系列&#xff0c;Mini…

运营版游戏陪玩平台源码/tt语音聊天/声优服务/陪玩系统源码开黑/约玩源码

简述 一个人的游戏叫孤独&#xff0c;一群人的游戏才是乐趣&#xff0c;随着电竞产业在国内的快速发展&#xff0c;游戏陪练行业也迅速成长&#xff0c;现在很多游戏玩家为了追求更高质量的游戏体验感&#xff0c;往往会在玩游戏的过程中找陪练&#xff0c;通过陪玩系统进行预…

MySQL随便聊----之MySQL的调控按钮-启动选项和系统变量

-------MySQL是怎么运行的 基本介绍 如果你用过手机&#xff0c;你的手机上一定有一个设置的功能&#xff0c;你可以选择设置手机的来电铃声、设置音量大小、设置解锁密码等等。假如没有这些设置功能&#xff0c;我们的生活将置于尴尬的境地&#xff0c;比如在图书馆里无法把手…

react项目发布后,浏览器源码泄露的解决方案

在使用create-react-app时&#xff0c;打包生产环境npm run build&#xff0c;浏览器打开后仍然是可以看到源码的。源码都没上传&#xff0c;为啥线上能看到源码 。 例&#xff1a;线上与服务器 线上与源码 react-scripts build和npm run build 有什么不同 react-scripts bui…

spring高级篇(五)

1、参数解析器 前篇提到过&#xff0c;参数解析器是HandlerAdapters中的组件&#xff0c;用于解析controller层方法中加了注解的参数信息。 有一个controller&#xff0c;方法的参数加上了各种注解&#xff1a; public class Controller {public void test(RequestParam("…

Redux Toolkit 中持久化路由配置数组的实践指南

要将路由配置数组保存到 Redux Toolkit 中并持久化,你可以按照以下步骤进行操作: 创建一个 Slice 来管理路由配置 在 Redux Toolkit 中,我们使用 createSlice 来创建一个 slice,用于管理路由配置的状态。 import { createSlice } from reduxjs/toolkit;const routesSlice c…