运行 GreatSQL 时为什么要求关闭透明大页

news2024/12/27 7:52:08

在大部分运维规范中，一般都会要求在运行 GreatSQL/MySQL 的环境中要关闭透明大页，那么到底什么是透明大页，为什么要关闭，打开有什么风险吗？

在此之前，我也是有点懵的，本文试着回答这个疑问，并通过实验进行验证这个说法正确与否。

实际上，Linux 系统中是有两种大页支持机制的，即 透明大页 和 静态大页，先来看看那二者有什么不同。

P.S，本文的编辑整理借助 chatgpt 协助完成。

1. 透明大页（Transparent Huge Pages, THP）和静态大页（HugeTLB）的区别

Linux 提供了两种机制来支持大页（Huge Pages），即 透明大页（Transparent Huge Pages, THP） 和 静态大页（HugeTLB）。这两种机制旨在减少内存管理开销、提升性能，但它们的实现方式和适用场景有所不同。

1.1 透明大页（THP）

透明大页工作机制

  • 动态分配：
    THP 会在系统运行时动态地将小页（通常是 4KB）合并成大页（通常是 2MB 或更大）。这种分配对应用程序透明，无需用户干预或显式配置。

  • 自动折叠（Compaction）：
    如果内存分布不连续（存在碎片），THP 会触发后台内存整理任务，将分散的小页整理成连续的物理内存块以分配大页。

  • 混合模式：
    系统在小页和大页之间动态切换。如果无法分配大页，系统会自动回退到小页。

透明大页优点

  1. 无需配置：应用程序无需修改即可使用大页，简化了管理。

  2. 减少 TLB（Translation Lookaside Buffer）缺失：大页减少了页表项数量，提高了 TLB 缓存命中率，降低了虚拟地址到物理地址转换的开销。

  3. 支持内存分配灵活性：THP 可以动态调整内存分配方式，既支持大页又支持小页。

透明大页缺点

  1. 性能不可预测：

  • 动态分配大页和后台内存整理可能引入额外开销，特别是在高并发或内存紧张时，可能导致性能抖动。

大页分配失败：

  • 如果系统内存碎片化严重，THP 可能频繁回退到小页模式，降低收益。

高内存浪费：

  • 如果分配的大页中数据利用率较低，会浪费内存空间。

1.2 静态大页（HugeTLB）

静态大页工作机制

  • 静态预分配：
    HugeTLB 需要在系统启动或运行时手动预分配一部分物理内存用于大页。分配后，这些大页无法用于其他用途。

  • 显式使用：
    应用程序需要显式地分配和管理大页内存。例如，用户需要通过特定的系统调用（如 mmap 或 shmget）请求大页。

静态大页优点

  1. 性能可预测：
    由于大页是静态分配的，系统在运行时不会触发内存整理任务，因此性能稳定，适用于高实时性需求的场景。

  2. 高效利用大页：
    HugeTLB 可以确保大页的分配和使用效率更高，减少动态分配的开销。

  3. 减少内存碎片：
    通过预分配内存，HugeTLB 避免了碎片化问题。

静态大页缺点

  1. 需要手动配置：
    用户需要明确指定大页的数量和大小，增加了管理复杂度。

  2. 内存利用率下降：
    预分配的大页区域无法被其他进程使用，可能导致内存浪费。

  3. 缺乏灵活性：
    如果预分配的大页不足，可能导致性能下降，且无法动态调整。

1.3 透明大页与静态大页的对比

特性透明大页（THP）静态大页（HugeTLB）
分配方式动态分配（内核负责）静态分配（用户手动配置）
内存管理灵活性支持小页与大页混合使用仅支持大页
性能稳定性可能引入动态分配和折叠开销，性能抖动大性能稳定，没有动态内存整理的开销
配置复杂性无需配置，默认启用需要手动设置
适用场景顺序访问、高内存吞吐场景；低实时性应用高实时性场景；性能要求严格、需要控制开销的应用
内存碎片可能因碎片化导致大页分配失败避免内存碎片
应用透明性对用户和应用透明，无需显式修改代码需要应用显式支持

2. 什么场景下建议打开或关闭透明大页？

2.1 建议打开透明大页（THP）的场景

  1. 顺序内存访问的应用：如大数据处理、机器学习训练、视频流处理等。这类应用程序通常具有线性内存访问模式，THP 可有效减少 TLB 缺失，提高性能。

  2. 大内存使用的应用：如内存缓存（Memcached、Redis）或需要大内存区域的计算密集型程序（如高性能计算应用），THP 可以显著降低页表项的管理开销。

  3. 系统对延迟不敏感：如果应用对延迟的要求较低（如批处理任务），THP 的动态行为不会显著影响整体性能。

2.2 建议关闭透明大页（THP）的场景

  1. 数据库应用（如 GreatSQL/MySQL 等）：数据库通常对延迟敏感，且有大量随机内存访问，THP 的动态分配可能引入延迟峰值，影响稳定性。

  2. 实时性要求高的场景：如交易系统、低延迟 Web 服务、金融系统等。这类场景需要尽可能避免延迟抖动。

  3. 高并发负载：在高并发的请求场景下，THP 的内存折叠任务可能争用 CPU 和内存资源，降低服务吞吐量。

2.3 运行 GreatSQL 时如何选择

从上面的描述中能看出来，在运行 GreatSQL/MySQL 等需要申请大块随机内存又要求快速响应的数据库类应用而言，最好是 关闭透明大页，而是 开启静态大页 方式来运行。

运行 GreatSQL 时建议关闭透明大页，因为以下几点原因：

  1. 动态分配引入额外开销：

  • THP 在分配大页时可能触发内存整理任务，增加 CPU 和磁盘 I/O 的负载，特别是在高并发或内存紧张的情况下，可能导致性能抖动。

对数据库负载收益有限：

  • 数据库应用通常具有随机内存访问模式，THP 对顺序访问场景优化更显著，但对随机访问场景帮助有限。

GreatSQL 的内存管理机制冲突：

  • GreatSQL 的 InnoDB Buffer Pool 已经对内存分配和管理进行了高度优化。THP 的动态行为可能干扰 GreatSQL 的内存管理策略。

关闭 THP 的方法：

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

运行 GreatSQL 时建议开启静态大页是为了能提高内存管理效率，并且在运行过程中保护好所需的大块内存不被其他应用抢占，造成额外的等待，以及其他几点原因：

  • GreatSQL 的内存管理模块（如 InnoDB Buffer Pool）已经针对小页进行了优化。

  • 动态分配和内存折叠可能导致性能抖动，特别是在高负载下。

  • 开启 THP 对 GreatSQL 的性能没有显著提升，反而可能导致延迟峰值。

3. 运行 GreatSQL 时如何启用静态大页（HugeTLB）

接下来介绍如何在 GreatSQL 中启用静态大页支持。

1. 首先，确认运行 GreatSQL 所属的用户组

$ ps aux|grep -i mysqld
mysql     75607 1512  5.8 46383532 23093520 ?   Ssl  13:59 1130:13 /usr/local/GreatSQL-8.0.32-26-Linux-glibc2.28-x86_64/bin/mysqld

$ id mysql
uid=997(mysql) gid=1000(mysql) groups=1000(mysql)

2. 其次，计算预估 GreatSQL 运行时总共所需的内存总大小

可以采用下面的方法简单估算：

-- SGA
innodb_buffer_pool_size +
innodb_log_buffer_size +
table_open_cache +
table_definition_cache +
temptable_max_ram
key_buffer_size +

-- PGA
( read_buffer_size
+ read_rnd_buffer_size
sort_buffer_size
join_buffer_size
binlog_cache_size
histogram_generation_max_mem_size) * max_connections

其中占比最高的是 innodb_buffer_pool_size，简单起见，通常在 innodb_buffer_pool_size 参数值的基础上适当上浮约 30% 基本上就够，运行过程中如果出现分配的大页内存不够用，GreatSQL 可能会出现类似下面的错误提示：

[InnoDB] large_page_aligned_alloc mmap(XXXX bytes) failed; errno 12

出现这种错误的话，就需要继续调大可用大页内存值，详见下方第3和第5步，也有可能是当前内存中有部分缓存还没回收，可以执行 sync 命令将所有未写入磁盘的数据（即脏数据）从内存中同步到磁盘，再执行 echo 3 > /proc/sys/vm/drop_caches 清除内存中的缓存，以及执行 echo 1 > /proc/sys/vm/compact_memory 尝试将物理内存中的页面重新排列，以减少内存碎片，提高内存分配效率。

$ sync
$ echo 3 > /proc/sys/vm/drop_caches
$ echo 1 > /proc/sys/vm/compact_memory

如果当前内存中脏数据较多，待清除缓存较大或内存碎片较多的话，上述操作执行起来可能略慢，需要一定时间。

3. 修改 GreatSQL 进程属主用户 memlock 限制

编辑 /etc/security/limits.conf，增加下面相应设置：

# /etc/security/limits.conf
#Each line describes a limit for a user in the form:
#
#<domain>        <type>  <item>  <value>
@mysql soft memlock unlimited
@mysql hard memlock unlimited

允许 GreatSQL 进程可以无限制地申请内存，如果担心会发生 OOM，也可以适当设置硬限制（hard）的上限值，避免内存被耗尽。

4. 修改 GreatSQL 配置参数

编辑 my.cnf 配置文件，增加 large_pages = ON 参数：

[mysqld]innodb_buffer_pool_size = 40G
large_pages = ON

5. 修改 /etc/sysctl.conf，修改 HugeTLB 设置

编辑 /etc/sysctl.conf 文件，添加两行配置

# 运行 GreatSQL 的用户组GID
vm.hugetlb_shm_group = 1000

# 静态大页数目
vm.nr_hugepages = 26624

编辑完后，执行 sysctl -p 使之生效，并再次确认：

$ sysctl -p
vm.hugetlb_shm_group = 1000
vm.nr_hugepages = 26624

$ sysctl -a | egrep 'vm.hugetlb_shm_group|vm.nr_hugepages '
vm.hugetlb_shm_group = 1000
vm.nr_hugepages = 0

$ grep -i huge /proc/meminfo
AnonHugePages:     24576 kB
ShmemHugePages:        0 kB
FileHugePages:         0 kB
HugePages_Total:   25160
HugePages_Free:    22225
HugePages_Rsvd:    15083
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:        54525952 kB

在上述例子中，静态大页数目是 26624，那么静态大页的内存大小就是 26624 * 2M = 52G（每个静态大页是 2M）。

申请的静态大页内存共 52G，而设置 IBP 为 40G，上浮了 30%，一般情况下是够用的。

4. 对比测试

百闻不如一见，利用 BenchmarkSQL 进行测试看看结果有什么不同。下面是测试结果：

7ea78e0aaa8489cc8bf66d21c1d72c7c.png

从这份测试结果可以看到：

  • 当 IBP 充足时，内存资源不是瓶颈，不需要频繁分配和回收，此时启用动态大页的整体性能更好。

  • 当 IBP 不足时，内存资源成为瓶颈，可能需要频繁分配和回收，此时启用静态大页的整体性能更好（相对于启用动态大约tpmC约高出7%）。

  • 当 IBP 充足时，启用静态大页的性能反倒较低。

  • 反过来，当 IBP 不足时，开启动态大页的性能较低。

BenchmarkSQL 测试相关信息：

  • GreatSQL 8.0.32-26

  • warehouses=1000（datasize约180G，具体不记得了）

  • terminals=32

  • runMins=5

  • IBP 充足是指 IBP = 256G

  • IBP 不足是指 IBP = 128G

  • 每次总共运行4次，结果取平均值

继续用 Sysbench 在 oltp_read_write 模式下做了补充测试，结论基本上和上述一致。结合上面的测试结论，线上生产环境的内存通常是没办法完全满足的，这种情况下建议启用静态大页、关闭动态大页，在内存充足的情况下无需做出调整。

即便如此，在生产环境中是否启大页支持还是要根据实际业务特点及您的实际测试结果动态调整，这一次测试结果不能覆盖所有的场景，有条件的读者建议也自行测试验证。

5. 总结

  • 透明大页（THP） 更适合顺序访问、大吞吐的场景，但对数据库应用（如 GreatSQL/GreatSQL）可能引入性能抖动，因此建议关闭 THP。

  • 静态大页（HugeTLB） 提供更高的性能稳定性，适用于高实时性和高并发场景。如果对性能要求严格，可以考虑启用 HugeTLB 并进行精细配置。

  • 运行 GreatSQL/MySQL/Oracle 等这类需要申请大块随机内存又要求快速响应的数据库类应用而言，最好是 关闭透明大页，而是 开启静态大页 方式来运行。

  • 芬达、yangyidba二位老师对本文亦有贡献，感谢。

延伸阅读

  • huge page 能给MySQL 带来性能提升吗？

  • Enabling Large Page Support, https://dev.mysql.com/doc/refman/8.0/en/large-page-support.html

  • A.7 Overview of HugePages, https://docs.oracle.com/en/database/oracle/oracle-database/19/unxar/administering-oracle-database-on-linux.html#GUID-CC72CEDC-58AA-4065-AC7D-FD4735E14416

  • Transparent Hugepage Support, https://www.kernel.org/doc/html/latest/admin-guide/mm/transhuge.html

  • HugeTLB Pages, https://www.kernel.org/doc/html/latest/admin-guide/mm/hugetlbpage.html

  • GreatSQL 运行时内存太高，超过90%怎么办（重发，附解决办法）

  • 在MySQL 5.7下排查内存泄露和OOM问题全过程

  • 夭兽啦，内存泄漏了怎么办

  • MySQL一次大量内存消耗的跟踪

  • MySQL 8.0不再担心被垃圾SQL搞爆内存

  • MySQL进程内存一直在涨，怎么办？

  • MySQL内存为什么不断增高，怎么让它释放

  • MySQL内存管理机制浅析

  • MySQL中MGR中SECONDARY节点磁盘满，导致mysqld进程被OOM Killed

  • 微盟OOM排查之旅

以上。

Enjoy GreatSQL :)

a664bb8beee613151808c1ac4995c23b.png

题图是我的手机摄影作品 - 美丽异木棉

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2254171.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

日本IT|AWS技术方向都需要做哪些工作呢？

日本IT|AWS技术方向都需要做哪些工作呢？

在日本IT行业中&#xff0c;AWS&#xff08;亚马逊网络服务&#xff09;技术方向的工作主要涉及利用AWS提供的各种服务和工具来构建、部署和管理云计算解决方案。具体来说&#xff0c;AWS技术方向的工作内容可能包括但不限于以下几个方面&#xff1a; 架构设计&#xff1a; 根据…
阅读更多...
PostgreSQL实现透视表查询

PostgreSQL实现透视表查询

PostgreSQL 8.3版本发布时&#xff0c;引入了一个名为tablefunc的新扩展。这个扩展提供了一组非常有趣的函数。其中之一是交叉表函数&#xff0c;用于创建数据透视表。这就是我们将在本文中讨论的内容。 需求说明 解释此函数如何工作的最简单方法是使用带有数据透视表的示例…
阅读更多...
生信软件开发1 - 设计一个简单的Windwos风格的GUI报告软件

生信软件开发1 - 设计一个简单的Windwos风格的GUI报告软件

1. 安装基础库 使用Windows 11标题样式和主题自定义UI窗口库pywinstyles&#xff08;github: https://github.com/Akascape/py-window-styles&#xff09;&#xff0c;结合python自带tkinter库设计一个报告GUI软件。 pip install pywinstyles2. 设计一个简单的Windwos风格的G…
阅读更多...
navicat连接mysql 8.0以上版本2059错误

navicat连接mysql 8.0以上版本2059错误

安装了最新版本8.0.4的mysql之后&#xff0c;使用navicat链接提示以下错误。原因是因为mysql8.0 之前的版本中加密规则是 mysql_native_password&#xff0c;而 mysql8.0 之后的版本加密规则是caching_sha2_password 处理方案 解决方案1&#xff1a;下载安装最新版本navicat…
阅读更多...
使用docker快速部署Nginx、Redis、MySQL、Tomcat以及制作镜像

使用docker快速部署Nginx、Redis、MySQL、Tomcat以及制作镜像

文章目录 应用快速部署NginxRedisMySQLTomcat 制作镜像镜像原理基于已有容器创建使用 Dockerfile 创建镜像指令说明构建应用创建 Dockerfile 文件创建镜像 应用快速部署 Nginx docker run -d -p 80:80 nginx使用浏览器访问虚拟机地址 Redis docker pull redis docker run --…
阅读更多...
【PlantUML系列】类图（一）

【PlantUML系列】类图（一）

目录 一、类 二、接口 三、抽象类 四、泛型类 五、类之间的关系 六、添加注释 七、包图 八、皮肤参数 一、类 使用class关键字定义类&#xff0c;类名后跟大括号&#xff0c;声明类的属性和方法。 属性&#xff1a;格式为{visibility} attributeName : AttributeType…
阅读更多...
VR眼镜可视化编程：开启医疗信息系统新纪元

VR眼镜可视化编程：开启医疗信息系统新纪元

一、引言 随着科技的飞速发展&#xff0c;VR 可视化编程在医疗信息系统中的应用正逐渐成为医疗领域的新趋势。它不仅为医疗教育、手术培训、疼痛管理等方面带来了新的机遇&#xff0c;还在提升患者体验、推动医疗信息系统智能化等方面发挥着重要作用。 在当今医疗领域&#xf…
阅读更多...
IS-IS的原理

IS-IS的原理

IS-IS的基本概念&#xff1a; 概述&#xff1a; IS-IS&#xff0c;中间系统到中间系统&#xff0c;是ISO国际标准化组织为它的无连接网络协议设计的一种动态路由协议 IS-IS支持CLNP网络和IP网络&#xff0c;采用数据链路层封装&#xff0c;区别于ospf只支持IP网络&#xff0…
阅读更多...
华为ACL应用笔记

华为ACL应用笔记

1、基本ACL 2000-2999 基本ACL&#xff08;Access Control List&#xff0c;访问控制列表&#xff09;是一种网络安全技术&#xff0c;它根据源IP地址、分片信息和生效时间段等信息来定义规则&#xff0c;对报文进行过滤。 规则&#xff1a; ACL由一系列规则组成&#xff0c;每…
阅读更多...
点云标注软件SUSTechPOINTS的安装和使用，自测win10和ubuntu20.04下都可以用

点云标注软件SUSTechPOINTS的安装和使用，自测win10和ubuntu20.04下都可以用

点云标注软件SUSTechPOINTS的安装和使用 github项目源码&#xff1a;https://github.com/naurril/SUSTechPOINTS gitee源码以及使用教程&#xff1a;https://gitee.com/cuge1995/SUSTechPOINTS 首先拉取源码 git clone https://github.com/naurril/SUSTechPOINTS最好是在cond…
阅读更多...
大模型评测中的基础指标都包括哪些

大模型评测中的基础指标都包括哪些

大语言模型&#xff08;LLM&#xff09;评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测&#xff0c;其中&#xff0c;自动评测技术相比人工评测来讲&#xff0c;具有效率高、一致性好、可复现、鲁棒性好等特点&#xff0c;逐渐成为业界研究的重点。…
阅读更多...
SystemUI修改状态栏电池图标样式为横屏显示(以Android V为例)

SystemUI修改状态栏电池图标样式为横屏显示(以Android V为例)

SystemUI修改状态栏电池图标样式为横屏显示(以Android V为例) 1、概述 在15.0的系统rom产品定制化开发中&#xff0c;对于原生系统中SystemUId 状态栏的电池图标是竖着显示的&#xff0c;一般手机的电池图标都是横屏显示的 可以觉得样式挺不错的&#xff0c;所以由于产品开发…
阅读更多...
最长最短单词

最长最短单词

最长最短单词 C语言实现C实现Java实现Python实现 &#x1f490;The Begin&#x1f490;点点关注&#xff0c;收藏不迷路&#x1f490; 输入1行句子&#xff08;不多于200个单词&#xff0c;每个单词长度不超过100&#xff09;&#xff0c;只包含字母、空格和逗号。单词由至少一…
阅读更多...
C++【PCL】点云数据平移 旋转，对点云进行刚体变化

C++【PCL】点云数据平移 旋转，对点云进行刚体变化

//头文件 #include <iostream>#include <pcl/point_cloud.h>#include<pcl/io/pcd_io.h>#include <pcl/common/transforms.h> #include <pcl/io/ply_io.h>//主函数int main() {pcl::PointCloud<pcl::PointXYZ>::Ptr source_cloud(new pcl::…
阅读更多...
2024第六届金盾信安杯Web 详细题解

2024第六届金盾信安杯Web 详细题解

比赛一共4道Web题,比赛时只做出三道,那道文件上传没有做出来,所以这里是另外三道题的WP 分别是 fillllll_put hoverfly ssrf fillllll_put 涉及: 绕过exit() 死亡函数 php://filter 伪协议配合base64加解密 一句话木马 题目源码&#xff1a; $content参数在开头被…
阅读更多...
006 MATLAB编程基础

006 MATLAB编程基础

01 M文件 MATLAB输入命令有两种方法&#xff1a; 一是在MATLAB主窗口逐行输入命令&#xff0c;每个命令之间用分号或逗号分隔&#xff0c;每行可包含多个命令。 二是将命令组织成一个命令语句文集&#xff0c;使用扩展名“.m”&#xff0c;称为M文件。它由一系列的命令和语句…
阅读更多...
Delphi Web前端开发教程（9）：基于TMS WEB Core框架

Delphi Web前端开发教程（9）：基于TMS WEB Core框架

3、REST Servers服务端(后端)框架 REST服务端特点&#xff1a; – 为远程资源提供一个REST API接口。也可以为其他网络内容提供服务&#xff1b; – 包括在Delphi Enterprise & Architect企业版和架构师版中的RAD服务器、DataSnap、WebBroker&#xff1b; – 开源框架&a…
阅读更多...
SPC三种判定准则的算法

SPC三种判定准则的算法

1.连续6个点递增或递减 //传入数据列表 //返回连续X个及以上递增或递减的数组下标int n = array.Length; int X = X_in; List<int> regions_start = new List<int>(); List<int> regions_end = new List<int>();if(Open){for (int i = 0; i < n - (…
阅读更多...
AI一键生成原创圣诞印花图案

AI一键生成原创圣诞印花图案

一、引言 随着科技的飞速发展&#xff0c;AI 已经深入到我们生活和工作的各个角落&#xff0c;为创意设计领域带来了前所未有的变革。在圣诞即将来临之际&#xff0c;想要设计独特的圣诞印花图案却又担心缺乏灵感或专业技能&#xff1f;别担心&#xff0c;千鹿 AI 为我们提供了…
阅读更多...
Ubuntu的pip怎么用

Ubuntu的pip怎么用

第一步&#xff1a;查看python3版本 第二步&#xff1a;安装pip 第三步&#xff1a;可以尝试使用pip list查看 也可以尝试安装 下面这条命令可以设置永久源 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023