如何减少频繁创建数据库连接的性能损耗?

news2024/12/23 1:53:04

为极速开发出一套某垂直领域电商系统,采用最简架构:

  • 前端一台Web服务器运行业务代码
  • 后端一台DB服务器存储业务数据

大多系统初生时就是这样,只是随业务不但发展变得复杂,架构迭代。系统上线后,虽用户量不大,但运行一切正常。不过领导觉得用户量太少,紧急调动运营做了某音的推广。带来大波流量,系统访问速度突然开始变慢。

分析日志后发现系统慢原因出在于和DB交互。目前DB调用方式:

  • 先获取DB连接
  • 通过该连接从DB查数据
  • 关闭连接
  • 释放DB资源

这就导致每次执行SQL都需重建连接,怀疑因频繁建立DB连接耗时过长,导致访问慢。为何频繁创建连接会造成响应时间慢?

做个测试:

tcpdump -i bond0 -nn -tttt port 4490

抓取线上MySQL建立连接的网络包。观察抓包结果

MySQL连接过程

分为如下部分:

前三个数据包

第一个数据包是C向S发送的“SYN”包
第二个包是S回给C的“ACK”包以及一个“SYN”包
第三个包是C回给S的“ACK”包
即TCP三次握手。

MySQL服务端校验客户端密码的过程

第一个包是S发给C要求认证的报文
第二和第三个包是C将加密后的密码发送给S的包,最后两个包是S回给C认证OK的报文。
整个连接过程4ms(969012-964904)。

单条SQL执行时间多少?

统计一段时间的SQL执行时间,发现SQL平均执行时间1ms,相比SQL执行,MySQL建立连接过程较耗时。
在请求量小时影响不大,因无论建立连接 or 执行SQL,耗时都ms级。但请求量很大,若仍建一次连接只执行一条SQL,1s只能执行200次DB查询,而DB建立连接时间就占4/5。

咋优化?

只需使用连接池将DB连接预先建立好,使用时,就无需频繁创建连接。调整后发现1s即可执行1000次DB查询,查询性能大大提升!

用连接池预先建立DB连接

很多连接池,

如DB连接池、HTTP连接池、Redis连接池。连接池的核心技术就是连接池管理。
DB连接池有两个关键配置:最小连接数和最大连接数,控制从连接池中获取连接的流程。若:

  • 当前连接数<最小连接数
    则创建新连接处理DB请求
  • 连接池中有空闲连接
    则复用空闲连接
  • 空闲池中无连接 && 当前连接数<最大连接数
    则创建新连接去处理请求
  • 当前连接数≥最大连接数
    则按配置中设定的时间(C3P0的连接池配置checkoutTimeout)等待旧连接可用
  • 等待超过设定时间
    则向用户抛出错误

某按摩店,共10台按摩椅(类比最大连接数),为节省成本(按摩椅很费电),平时会保持店里开着4台按摩椅(最小连接数),其他6台关着。有顾客来时:

  • 若平时保持启动的4台按摩椅有空
    直接请他去空闲那台
  • 4台按摩椅都不空
    就新启一台,直到10台按摩椅都被用完

10台按摩椅都被用完后咋办?告诉用户,等会儿,大约5分钟(等待时间)内能空出来,然后第11位用户就开等。这就有两个结果,若:

  • 5min内有空
    顾客直接去空出的那台
  • 5min都没空
    得赔礼道歉,顾客有很急,只能让他去其他店看看

DB连接池线上推荐:

  • 最小连接数 10
  • 最大连接数 20~30

连接的维护问题。有的按摩椅虽然开着,但有时会故障,数据库一般故障原因:

  • DB域名对应IP变更,池子的连接还是使用旧IP,当旧IP下的DB服务关闭后,再使用该连接查询就会报错
  • MySQL wait_timeout参数,控制当DB连接闲置多久后,DB会主动关闭该连接。该机制对DB使用方无感知,所以使用这个被关闭的连接时就会报错

怎么保证启动着的按摩椅一定可用?

  • 启动一个线程,定期检测连接池中的连接是否可用。如使用连接发送“select 1”命令给DB查看是否会抛异常,若抛则将该连接从池移除,并尝试关闭。C3P0连接池可这样检测连接是否可用,推荐!
  • 获取到连接后,先校验连接是否可用,若可用才执行SQL。比如DBCP连接池的testOnBorrow配置项,就是控制是否开启该验证
    该方案在获取连接时会引入多余开销,线上尽量关闭,测试环境可用用。

总算搞清连接池工作原理。发现某重要接口,需访问3次DB,这日后很可能成为系统瓶颈。应该可创建多线程并行处理与DB交互,速度就能快了。不过高并发阶段,频繁创建线程开销很大,于是想到使用线程池。

线程池预创线程

JDK1.5的ThreadPoolExecutor,类似连接池,重要参数:

  • corePoolSize
  • maximumPoolSize

JDK线程池会优先把任务放入队列暂存,而非创建更多线程,适于执行CPU密集型任务,why?
因为执行CPU密集型任务时CPU繁忙,因此只需创建和CPU核数的线程,多了反而导致频繁线程上下文切换,降低任务执行效率。
所以当 当前线程数>核心线程数,线程池不会增加线程,而是放在队列里等待核心线程空闲。

Web系统一般大量I/O操作,如查DB、缓存。任务执行I/O操作时,CPU就空闲,这时若增加执行任务的线程数而不是把任务暂存队列,就能在单位时间执行更多任务,大大提高任务执行吞吐量。所以Tomcat线程池就改造JDK原生线程池,当
线程数>corePoolSize

优先创建线程,直到线程数到达maximumPoolSize,这就适于Web系统大量I/O操作场景。

线程池中使用的队列堆积量也是需监控的重要指标,对实时性要求较高的任务,该指标很关键。曾遇到过任务被丢给线程池后,长时间都未被执行。当时以为代码Bug,后排查发现是因为线程池的coreThreadCount和maxThreadCount设置较小,导致任务在线程池大量堆积,调大这两参数后问题解决。后来就把重要线程池的队列任务堆积量,作为重要监控指标。

使用线程池,不要使用无界队列,也许你觉得使用无界队列,任务永远不会被丢弃,只要任务对实时性要求不高,反正早晚消费完。但大量任务堆积会占用大量内存,一旦内存空间被占满就会频繁地触发Full GC,造成服务不可用!

综上,所管理的对象,无论是连接还是线程,创建过程都很耗时,也很耗系统资源。所以,我们把它们放在一个池子统一管理,以提升性能和资源复用。

这是一种常见的软件设计思想:

池化技术

即空间换时间,期望使用预先创建好的对象来减少频繁创建对象的性能开销,同时还可以对对象进行统一的管理,降低对象的使用成本。

缺陷

  • 存储池子中的对象要消耗多余内存,如对象没有被频繁使用,就造成内存浪费
  • 池子中的对象要在系统启动时就预创建完成,一定程度增加系统启动时间

缺陷相比优势瑕不掩瑜,只要我们确认要使用的对象在创建时确实较耗时或消耗资源,并且这些对象也确实会被频繁创建和销毁,就可使用池化优化。

总结

池子的最大值、最小值设置很重要,初期可依据经验设置,后面还是需要根据实际运行情况调整。
池子中的对象需在使用前预先初始化完成,即预热,如使用线程池时,就要预初始化所有核心线程。若池子未经预热,可能导致系统重启后产生较多慢请求。

池化技术核心是一种空间换时间优化方法的实践,所以要关注空间占用情况,避免出现空间过度使用出现内存泄露或频繁GC。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/165324.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第十三届蓝桥杯大赛软件类决赛Java大学B组C题——左移右移

【问题描述】 小蓝有一个长度为 N 的数组,初始时从左到右依次是 1, 2, 3, . . . N。 之后小蓝对这个数组进行了 M 次操作,每次操作可能是以下 2 种之一: 左移 x,即把 x 移动到最左边。右移 x,即把 x 移动到最右边。 …

数字信号处理音频FIR去噪滤波器(基于MATLAB GUI的开发完整代码+报告+课设)

1、内容简介利用MATLAB GUI设计平台,用窗函数法设计FIR数字滤波器,对所给出的含有噪声的声音信号进行数字滤波处理,得到降噪的声音信号,进行时域频域分析,同时分析不同窗函数的效果。将文件解压至一个目录下&#xff0…

ithewei的2022年度总结

窗外的雨,顺着晒衣架汇聚成豆大的珠,落到一楼庭院顶棚上,嘀嗒不停; 路上的车,由远及近,又由近及远,疾驰而过; 床边的猫,也已入睡,时不时发出一两声细微的鼾声…

面试问:@Resource 和@Autowired 的区别是什么?该怎么回答

Resource 和 Autowired 这两个注解的作用都是Spring生态里面去实现 Bean 的依赖注入 Autowired注解的作用 Autowired是Spring里面提供的一个注解,它默认是根据类型来实现Bean的依赖注入。 Autowired注解里面有一个required属性,它的默认值是true&#…

人大金仓数据库安装篇

图形化安装 规划安装路径与修改目录属主 先用root账户挂载金仓镜像包 mount -o loop /install/KingbaseES_V008R006C005B0023_Lin64_single_install.iso /mnt 切换kingbase用户来安装金仓数据库 进入挂载目录/mnt执行./setup.sh 将金仓注册为系统服务 /KingbaseES/V8/Scrip…

1592_AURIX_TC275_PMU_部分安全措施

全部学习汇总: GreyZhang/g_TC275: happy hacking for TC275! (github.com) UCB的几种状态通过寄存器的数值可以直接获取到。启动代码会识别到UCB的错误,如果识别到后悔停止继续,因此不会启动MCU。启动代码也会检查HSM是否存在以及是否需要启…

基于TensorFlow2搭建神经网络实现鸢尾花iris.txt分类

分三步:本地读取鸢尾花数据集搭建神经网络优化本地读取鸢尾花数据集读取本地数据集的两种方法读取本地数据集有两种方法:(1)利用pandas中的函数读取,并处理成神经网络需要的数据结构pd.read_csv(文件名, header第几行作…

使用码云Gitee创建代码仓库并提交代码

目录 1. 登录Gitee官网 2. 创建代码仓库 3. 克隆仓库到本地 4. 提交代码到Gitee仓库 官方文档:创建你的第一个仓库 - Gitee.com 1. 登录Gitee官网 官网地址:Gitee - 基于 Git 的代码托管和研发协作平台 2. 创建代码仓库 点击图中加号创建仓库&am…

String的不可变性

1.什么是不可变对象 如果一个对象在创建之后就不能再改变它的状态,那么这个对象是不可变的(Immutable)。不能改变状态的意思是,不能改变对象内的成员变量,包括基本数据类型变量的值不能改变,引用类型的变量…

数据库面试题

数据库基础知识 什么是MySQL? MySQL是一个数据库管理系统。 数据库是数据的结构化集合。 MySQL数据库是关系型的。 关系数据库将数据存储在单独的表中,而不是将所有数据放在一个大仓库中。数据库结构被组织成针对速度进行了优化的物理文件。具有对象&a…

第五届字节跳动青训营 前端进阶学习笔记(一)前端和HTML

文章目录1.前言2.什么是前端3.前端需要关注哪些问题4.HTML语法5.HTML标签6.HTML中的内容划分7.总结这是我参与「第五届青训营 」伴学笔记创作活动的第 1 天 1.前言 本次课程主要介绍了: 前端要解决的基本问题HTML的基本定义和语法为什么要语义化和怎么做的语义化 …

深度学习——梯度

一、初识梯度 import torch x torch.arange(4.0) print(x) x.requires_grad_(True) y 2 * torch.dot(x, x) #torch.matmul(x, x) print(y) y.backward() print(x.grad) print(x.grad 4*x)输出&#xff1a; tensor([0., 1., 2., 3.]) tensor(28., grad_fn<MulBackward0&g…

批次标准化Batch Normalization

批次标准化Batch Normalization 目录 批次标准化Batch Normalization 为什么需要批次标准化 产生上述变化趋势不匹配的原因 处理方法 处理方法的优化 Batch Normalization的引出Testing时的相应处理 批次标准化Batch Normalization 第五节 2021 - 类神经网络训练不起来怎么…

从【卡内基梅隆大学机器人概论课】认识机器人学科需要哪些技能栈

闲来无事&#xff0c;找到了卡内基梅隆大学机器人研究所&#xff0c;看了下他们机器人的教育&#xff0c;不得不感慨相比我们学校先进了不知多少&#xff0c;是真真切切让同学们去了解机器人的方方面面&#xff0c;下面摘自它们的概论作业。 作业0 作业1 作业2 作业3 作业4 作…

LeetCode 79 单词搜索 | 解题思路分享

原题链接&#xff1a;79. 单词搜索 题目难度&#xff1a;中等 题目描述 给定一个 m x n 二维字符网格 board 和一个字符串单词 word 。如果 word 存在于网格中&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 单词必须按照字母顺序&#xff0c;通过相邻的…

css03笔记

目录 css三大特性 优先级 权重叠加计算 chrome调试工具 盒子模型 1.1 盒子模型的介绍 2.1内容的宽度和高度 3.1边框&#xff08;border&#xff09; 3.2边框-单方向设置 3.3边框-单个属性 综合案例一&#xff08;新浪导航&#xff09; 4.1 内边距&#xff08;paddi…

5.11回溯法--电路板排列问题--排列树

问题描述 将n块电路板以最佳排列插入带有n个插槽的机箱中&#xff0c;要求对于给定的电路板连接块&#xff0c;确定最佳排列&#xff0c;使其具有最小的密度。设x[ ] 表示n块电路板的一个排列&#xff0c;x[ i ]表示在机箱的第 i 个插槽中插入电路板x[ i ]&#xff0c;x确定的电…

尚硅谷ES6李强笔记

1.课程介绍 1.es是什么 2.新特性的优点 3.学习课程必备知识背景 2.相关名词介绍 3. let变量声明以及声明特性 3.1变量声明方式 //普通声明 let a;//一次性声明多个变量 let a,b,c;//声明并且初始化 let a 100;//一次性声明多个并且初始化 let a2,b1,ci love you;3.2不允许重…

打工人必学的法律知识(一)——《中华人民共和国劳动合同法》必知必会

目录 一、劳动合同无效或者部分无效 二、竞业限制 三、劳动合同的履行和变更 四、劳动合同的解除和终止 一、劳动合同无效或者部分无效 第二十六条 下列劳动合同无效或者部分无效&#xff1a;&#xff08;一&#xff09;以欺诈、胁迫的手段或者乘人之危&#xff0c;使对方…

使用FFmpeg命令处理音视频

文章目录前言一、ffprobe相关命令1.使用ffprobe查看音频文件的信息2.使用ffprobe查看视频文件的信息二、ffplay相关命令1.基本的ffplay命令2.音视频同步命令三、ffmpeg相关命令1.ffmpeg通用参数2.ffmpeg视频参数3.ffmpeg音频参数4.ffmpeg示例总结前言 FFmpeg是一套可以用来记录…