高性能MySQL实战(一):表结构 | 京东物流技术团队

news2024/11/14 20:44:35

最近因需求改动新增了一些数据库表,但是在定义表结构时,具体列属性的选择有些不知其所以然,索引的添加也有遗漏和不规范的地方,所以我打算为创建一个高性能表的过程以实战的形式写一个专题,以此来学习和巩固这些知识。

1. 实战

我使用的 MySQL 版本是 5.7,建表 DDL 语句如下所示:根据需求创建接口调用日志数据库表,请大家浏览具体字段的属性信息,它们有不少能够优化的点。

CREATE TABLE `service_log` (
  `id` bigint(100) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `service_type` int(10) DEFAULT NULL COMMENT '接口类型',
  `service_name` varchar(30) DEFAULT NULL COMMENT '接口名称',
  `service_method` varchar(10) DEFAULT NULL COMMENT '接口方式',
  `serial_no` int(10) DEFAULT NULL COMMENT '消息序号',
  `service_caller` varchar(15) DEFAULT NULL COMMENT '调用方',
  `service_receiver` varchar(15) DEFAULT NULL COMMENT '接收方',
  `status` int(3) DEFAULT '10' COMMENT '状态 10-成功 20-异常',
  `error_message` varchar(200) DEFAULT NULL COMMENT '异常信息',
  `message` text DEFAULT NULL COMMENT '报文内容',
  `create_user` varchar(50) DEFAULT NULL COMMENT '创建者',
  `create_time` datetime NOT NULL COMMENT '创建时间',
  `update_user` varchar(50) DEFAULT NULL COMMENT '更新者',
  `update_time` datetime NOT NULL COMMENT '更新时间',
  `is_delete` tinyint(1) NOT NULL DEFAULT '0' COMMENT '刪除标志',
  `ts` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '时间戳',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='接口调用日志';



我会在下文中将其中包含的问题和可以进行优化的地方一一进行解释,主要参考的书目是《高性能MySQL 第四版》,也希望大家有精力去看原书。

2. 优化和改进

慷慨不是明智的

一般来说,要尽量使用能够正确存储和表示数据的最小数据类型,更小的数据类型通常更快,因为它们占用的磁盘、内存和CPU缓存的空间更少,并且处理时需要的CPU周期也更少。但是,这也要确保没有低估需要存储的值的范围,否则会因入库失败而造成数据丢失,而且表结构修改的流程审批也很麻烦。

我们以表中idmessage列为例来说:

id为主键列,它使用的是整数类型 BIGINT(64位),除此之外还有 TINYINT(8位)、SMALLINT(16位)、MEDIUMINT(24位) 和 INT(32位),可以存储的取值范围是从 -2(N - 1)到 2(N - 1)- 1,所以 BIGINT 类型值的最大值是9223372036854775808(19位数)。

显然,主键定义100位宽度是有些“无脑的”,而且也是没有意义的:因为它不会限制值的合法范围,即使是定义了 BIGINT(100) 也没办法存储宽度为100的数字,实际上定义 BIGINT(1) 和 BIGINT(20) 的存储空间是相同的,宽度的定义只是规定了 MySQL 的一些交互工具(MySQL命令行客户端)用来显示字符的个数。

整数类型有可选的UNSIGNED 属性,它表示不允许负值,这大约能使正整数的上限提高一倍。例如 TINYINT UNSIGNED 可以存储的值范围是 0 ~ 255,而 TINYINT 的值的存储范围是 -128 ~ 127。我们的ID列是从0开始递增的,所以可以选用这个属性。

那么,我们应该对id列的定义如下所示:

`id` bigint UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '主键'



message列保存的是接口交互报文内容,定义的类型是 TEXT,它还有一些相关的类型,具体如下(L代表字符串的字节长度,数字表示存储字符串字节长度的字节数):

若报文内容中每个字符只占用1字节的话,那么 TEXT 类型能最多存储大约 65535 个字符,而实际上报文内容远远达不到这个长度,而且 TEXT 类型是为了存储很大的数据而设计的字符串数据类型。

我们可以将其调整成 VARCHAR 类型,并根据实际的报文长度都不超过 1000 来指定它的字符数为 1000,避免发生因报文长度过长而无法保存数据的情况。通常情况下MySQL会在内容分配固定大小的内存来保存值,我们这样做节省了存储空间,对性能也有帮助。

message的更改后的定义如下所示:

`message` varchar(1000) DEFAULT NULL COMMENT '报文内容'



VARCHAR 类型也需要额外使用 1 或 2 字节来记录字符串字节的长度:如果列的最大长度小于或等于 255 字节,则只使用 1 字节来表示;否则使用 2 字节来表示。

MySQL 字符串长度定义的不是字节数,而是字符数。像 UTF-8 这样复杂的字符集可能需要多个字节来存储一个字符。

更小的通常更好

MySQL 总是为 CHAR 类型分配所定义长度的空间,所以它是固定长度的,它相比于 VARCHAR 在面对经常修改的数据时表现更好,因为固定长度的列不容易出现内存碎片,而且对于 CHAR(1) 这种非常短的列,它要比 VARCHAR(1) 更高效,因为前者只占用 1 个字节的空间,后者占用 2 个字节(其中 1 字节记录长度)。

CHAR 类型适合存储非常短的字符串或者所有值长度都几乎相同的字符串,不过需要注意的是,MySQL 会将所有尾随的空格移除

service_method字段实际上保存的是接口协议,无非是 HTTP 和 TCP 这两种,我们可以将其定义修改为如下所示:

`service_method` char(4) DEFAULT NULL COMMENT '接口方式'



但是实际上,整型数据比字符数据的比较操作代价更低,如果在允许改变字段类型的情况下,我们将其修改为 TINYINT 类型,通过定义枚举值来表示不同的协议效率会更高。

`service_method` tinyint DEFAULT NULL COMMENT '接口方式 1-HTTP 2-TCP'



service_callerservice_receiver字段也是一样的道理,这些值都是固定的枚举,最初应该也定义成 TINYINT 的形式,如下

`service_caller` tinyint DEFAULT NULL COMMENT '调用方',
`service_receiver` tinyint DEFAULT NULL COMMENT '接收方'



service_type字段中存储的是对应接口的编码值,它们都是宽度为 4 的整型数据,最大值不会超过 9999,所以根据它的取值范围将其修改为 SMALLINT 类型会更合适,如下

`service_type` smallint DEFAULT NULL COMMENT '接口类型'



service_name字段接口名称最长也不会超过15个字符,所以我们将它的 VARCHAR 定义字符长度修改一下:

`service_name` varchar(15) DEFAULT NULL COMMENT '接口名称'



status字段只有 10 和 20 两种值,相比于 INT,使用 TINYINT 更合适一些

`status` tinyint DEFAULT 10 COMMENT '状态 10-成功 20-异常'



DATETIME 和 TIMESTAMP

这两种类型非常相似,对于大多数系统来说,这两种类型都可以,不过它们也有所不同。

DATETIME 可以保存的日期范围更大,从 1000 年到 9999 年,精度为 1 微秒,非小数部分 占用 5 个字节的存储空间,小数部分根据精度大小占用 0 ~ 3 个字节,并且它与时区无关。默认情况下,MySQL 以 yyyy-MM-dd HH:mm:ss 的格式显示时间,如果需要指定精度,可以以datetime(6)的形式定义。

TIMESTAMP 类型存储的是自 1970 年 1 月 1 日格林尼治标准时间以来的秒数(精度也为 1 微秒),非小数部分占用 4 个字节的存储空间,小数部分与 DATETIME 类型占用空间规则一致,所以它的取值范围相比于 DATETIME 要小,只能表示从 1970 年到 2038 年 1 月 19 日的时间范围。而且该类型与MySQL服务指定的时区相关,这就使得在查询日期时,会将时间戳转换为所在时区的时间后再显示,所以不同地区看到的同一时间戳的实际时间展示是不一样的。

MySQL 可以使用 FROM_UNIXTIME() 函数将 UNIX 时间戳转换成日期,使用 UNIX_TIMESTAMP() 函数将日期转换为 UNIX 时间戳。

使用 DATETIME 类型还是使用 TIMESTAMP 类型需要考虑以下问题:

  • 存储空间对我们来说重要吗?

  • 需要支持前后多大时间范围的日期和时间?

  • 保存的日期数据有精度要求吗?

  • 是在MySQL中处理时区还是在代码中处理时区?

拿我们的应用来说,DATETIME 类型会更合适一些:

`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
`ts` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '时间戳'



如果想要对时间戳进行记录,可以考虑使用 BIGINT 类型,它不会遇到 2038 年的问题。

避免使用 NULL

通常情况下,最好指定列为 NOT NULL,除非明确的需要存储为 NULL 值。可为 NULL 的列会使用更多的存储空间,在 MySQL 中需要特殊的处理;查询中包含可为 NULL 的列对 MySQL 来说更难优化,因为可为 NULL 的列使得索引、索引统计和值的比较更为复杂。

MySQL 默认的行格式为 DYNAMIC,它会在每行数据中记录额外信息,其中就包括对 NULL 值列表的记录,如果我们所有的列都为 NOT NULL 的话,那么这部分额外信息是不需要记录的。

了解:COMPRESSED 行格式与 DYNAMIC 不同的是,它会对存储数据的页进行压缩以节省空间;COMPACT 行格式与 DYNAMIC 和 COMPRESSED 不同的是在对溢出列的处理上,COMPACT 会存储溢出列的部分数据,剩余的数据使用其他数据页保存,并记录下保存这些数据页的指针,DYNAMIC 和 COMPRESSED 则是将该列所有数据都保存在其他数据页中,在该列数据处只保存对应溢出页的地址。

COMPACT行格式示意图.png

但是实际上将列的定义修改为 NOT NULL 带来的性能提升并不明显,所以并不会将这种优化作为首选,而是在表结构初始化时考虑到这一点。

修改好,最终初始化表结构的 DDL 语句如下:

CREATE TABLE `service_log` (
  `id` bigint UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '主键',
  `service_type` smallint NOT NULL DEFAULT -1 COMMENT '接口类型',
  `service_name` varchar(30) DEFAULT '' COMMENT '接口名称',
  `service_method` tinyint NOT NULL DEFAULT -1 COMMENT '接口方式 1-HTTP 2-TCP',
  `serial_no` int DEFAULT -1 COMMENT '消息序号',
  `service_caller` tinyint DEFAULT -1 COMMENT '调用方',
  `service_receiver` tinyint DEFAULT -1 COMMENT '接收方',
  `status` tinyint DEFAULT 10 COMMENT '状态 10-成功 20-异常',
  `error_message` varchar(200) DEFAULT '' COMMENT '异常信息',
  `message` varchar(1000) DEFAULT '' COMMENT '报文内容',
  `create_user` varchar(50) DEFAULT '' COMMENT '创建者',
  `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_user` varchar(50) DEFAULT '' COMMENT '更新者',
  `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '更新时间',
  `is_delete` tinyint NOT NULL DEFAULT 0 COMMENT '刪除标志',
  `ts` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '时间戳',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='接口调用日志';



TINYINT 表示 Boolean 类型

需要注意,Boolean 类型的值在 MySQL 中是通过 TINYINT 来映射的,如果在数据库中该值为 0,那么映射到 Java 对象中为 False,如下所示:

tyint.png


实数类型

实数类型因为在该表结构中使用不到我们没有介绍,所以在这里进行补充。

MySQL 既支持精确计算的类型(DECIMAL),也支持近似计算的浮点类型(FLOAT 和 DOUBLE)。

FLOAT 使用 4 个字节的存储空间,DOUBLE 使用 8 个字节的存储空间,可以指定列的精度,但是通常情况下建议只指定数据类型,而不指定精度,否则 MySQL 会根据精度自行进行舍入,而且它们还会受到平台或实现依赖性的影响。

我们看下边这个例子:

CREATE TABLE `real_number` (
  `f1` float(7, 4) NOT NULL,
  `f2` float NOT NULL,
  `d1` double(7, 4) NOT NULL,
  `d2` double NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='实数';

# 插入数据
INSERT into real_number values (
    3.1415926535,
    3.1415926535,
    3.1415926535,
    3.1415926535
);

# 查询结果
select * from real_number;



f1f2d1d2
3.14163.141593.14163.1415926535

根据结果值我们可以发现,指定了精度的浮点类型进行了舍入,没有指定精度的 FLOAT 类型默认保留了小数点后 5 位小数,自行的舍入可能会引起混淆。

通常情况下,我们为了保证最大限度的实现可移植性,需要存储近似数字数据值的代码应该使用 FLOAT 或 DOUBLE,而不指定精度或位数。

还有一种情况需要注意,如果我们要插入超过指定精度的整数范围,会导致数据入库失败,如下:

# 指定 f1 列整数宽度为 4,实际定义允许的最大宽度为 3
INSERT into real_number values (
3210.1415926535,
3.1415926535,
3.1415926535,
3.1415926535
);

# 结果
SQL 错误 [1264] [22001]: Data truncation: Out of range value for column 'f1' at row 1



如果没有指定精度范围,那么则会对小数部分进行压缩,精度变小,而不是提示入库失败,如下:

# f2 列插入该值,查看结果
INSERT into real_number values (
3.1415926535,
3210.1415926535,
3.1415926535,
3.1415926535
);



f1f2d1d2
3.14163210.143.14163.1415926535

DECIMAL 与 FLOAT 和 DOUBLE 不同,在进行精确的小数计算时,需要指定它的精度,否则默认情况下为DECIMAL(10, 0),只保存整数。而且它在存储相同范围的值是会占用更多的空间,所以出于对额外的空间需求和计算成本的考虑,我们只在需要对小数进行精确计算时才使用该类型。

DECIMAL 的最大位数为 65,而且当为 DECIMAL 列指定的值小数点后位数超过小数位数精度范围时,该值将舍入为精度范围。同样地,如果整数部分的宽度大于指定的精度范围,那么也会发生超出列范围的异常而导致无法正常入库,如下:

create table `decimal_t` (
  `d1` decimal(7, 4) NOT NULL
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='DECIMAL';

INSERT INTO decimal_t values (3.1415926535);

# 结果值为 3.1416

INSERT INTO decimal_t values (1234.1415926535);

# Data truncation: Out of range value for column 'd1' at row 1



除此之外,在一些大容量的场景下,可以考虑使用 BIGINT 代替 DECIMAL,在存储时根据小数的位数乘以相应的倍数即可。这样就可以同时避免浮点数计算不精确、 DECIMAL 精确计算代价高和数值精度范围限制的问题。


巨人的肩膀

  • 《高性能 MySQL 第四版》:第六章

  • 11.7 Data Type Storage Requirements

  • mysql的日期时间类型及精度问题

  • MySQL之DATETIME与TIMESTAMP的时间精度问题

  • 11.8 Choosing the Right Type for a Column

  • 11.1.4 Floating-Point Types (Approximate Value) - FLOAT, DOUBLE

  • B.3.4.8 Problems with Floating-Point Values

  • 《MySQL 是怎样运行的》:第四章

作者:京东物流 王奕龙

来源:京东云开发者社区 自猿其说Tech 转载请注明来源

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/908386.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

09强化学习

强化学习有关词汇 state:对Environment的完整描述 action: 给定环境中所有有效操作的集合,通常称为动作空间 agent:执行action的模型 Environment:代理之外的所有部分。agent可以直接或间接的与之交互的一切,Agent执行操作时,Environment…

BarCodeWiz ActiveX Control Crack

BarCodeWiz ActiveX Control Crack BarcodeWiz ActiveX Control–只需单击按钮即可将所有基本条形码类型添加到Microsoft Office中。在Microsoft Word中,创建单独的条形码、标签页或合并文档。在Microsoft Excel中,选择单元格范围并自动将每个单元格转换…

css的常见伪元素使用

1.first-line 元素首行设置特殊样式。 效果演示&#xff1a; <div class"top"><p>可以使用 "first-line" 伪元素向文本的首行设置特殊样式。<br> 换行内容 </p></div> .top p::first-line {color: red;} 2.first-lette…

每日一题——判断是不是平衡二叉树

题目 输入一棵节点数为 n 二叉树&#xff0c;判断该二叉树是否是平衡二叉树。 在这里&#xff0c;我们只需要考虑其平衡性&#xff0c;不需要考虑其是不是排序二叉树 平衡二叉树&#xff08;Balanced Binary Tree&#xff09;&#xff0c;具有以下性质&#xff1a;它是一棵空树…

华为OD机试真题 Java 实现【通过软盘拷贝文件】【2023 B卷 200分】,附详细解题思路

目录 专栏导读一、题目描述二、输入描述三、输出描述四、解题思路五、Java算法源码六、效果展示1、输入2、输出 华为OD机试 2023B卷题库疯狂收录中&#xff0c;刷题点这里 专栏导读 本专栏收录于《华为OD机试&#xff08;JAVA&#xff09;真题&#xff08;A卷B卷&#xff09;》…

C++的对象与类的含义

C是一门面向对象的编程语言&#xff0c;理解C需要掌握类&#xff08;class&#xff09;和对象&#xff08;object&#xff09;这两个概念。 C 中的类&#xff08;Class&#xff09;可以看做C语言中结构体&#xff08;Struct&#xff09;的升级版。结构体是一种构造类型&#x…

SQL 盲注

问题描述&#xff1a; 解决方案&#xff1a; 通过建立过滤器方法 添加拦截器&#xff1a; web.xml 文件配置拦截器 <filter><filter-name>sqlFilter</filter-name><filter-class>com.fh.filter.SqlFilter</filter-class></filter> pack…

【链表篇】速刷牛客TOP101 高效刷题指南

文章目录 1、BM1 反转链表2、BM2 链表内指定区间反转3、BM3 链表中的节点每k个一组翻转4、BM4 合并两个排序的链表5、BM5 合并k个已排序的链表6、BM6 判断链表中是否有环7、BM7 链表中环的入口结点8、BM8 链表中倒数最后k个结点9、BM9 删除链表的倒数第n个节点10、BM10 两个链表…

Redis中的有序集合及其底层跳表

前言 本文着重介绍Redis中的有序集合的底层实现中的跳表 有序集合 Sorted Set Redis中的Sorted Set 是一个有序的无重复值的集合&#xff0c;他底层是使用压缩列表和跳表实现的&#xff0c;和Java中的HashMap底层数据结构&#xff08;1.8&#xff09;链表红黑树异曲同工之妙…

派森 #P122. 峰值查找

描述 给定一个长度为n的列表nums&#xff0c;请你找到峰值并返回其索引。数组可能包含多个峰值&#xff0c;在这种情况下&#xff0c;返回任何一个所在位置即可。 &#xff08;1&#xff09;峰值元素是指其值严格大于左右相邻值的元素。严格大于即不能有等于&#xff1b; &…

ARM体系结构学习笔记:过程调用标准AAPC、 ARM32调用约定、ARM64调用约定

参数传递的本质: 将上层函数变量复制一份, 传给下层函数. 过程调用标准AAPC(Arm Architecture Procedure Call) 有了标准, 才能够进行C调用汇编或者汇编调用C ARM32调用约定 参数是不同位数传参情况, 额外的参数被caller进行入栈, callee进行出栈 寄存器传参 寄存器返回 汇编…

交叉编译相关知识

1、目标板与主机之间的连接&#xff1a; 目标板和主机之间通常可以使用串口、以太网接口、USB接口以及JTAG接口等连接方式。 (1)、串行通信&#xff1a; 串行通信接口常用的有9针串口&#xff08; DB9 &#xff09;和25针串口&#xff08;DB25&#xff09;&#xff0c;通信距…

IDEA创建Mybatis格式XML文件

设置位置&#xff1a;File | Settings | Editor | File and Code Templates 选择Files&#xff0c;点击号 Name中输入xml模板名&#xff08;名称自行决定&#xff09;&#xff0c;后缀名extension输入xml&#xff08;固定&#xff09; 内容处输入Mybatis的xml文件模板内容&…

数据结构 - 线性表的定义和基本操作

一、定义 线性表是具有相同特性的数据元素的一个有限序列。 线性表&#xff1a; 由n(n≥0)个数据元素&#xff08;结点&#xff09;组成的有限序列。线性表中数据元素是一对一的关系&#xff0c;每个结点最多有一个直接前驱&#xff0c;和一个直接后继 二、线性表的基本操作 …

【AI绘画--七夕篇】:七夕特别教程,使用SDXL绘制你的心上人(Stable Diffusion)(封神榜—妲己)

目录 前言0、介绍0-0、结果展示0-1、Stable Diffusion0-2、sdxl介绍 一、云端部署Stable Diffusion1-1、云端平台的优势 二、平台介绍三、注册账号并且开始炼制3-1、购买算力并创建工作空间3-2、启动工作空间3-3、应用市场一键安装3-4、使用Stable-Diffusion作图 四、有女朋友的…

cuda gdb调试

如果cudaDeviceEnablePeerAccess函数不支持或不起作用&#xff0c;您仍然可以尝试其他方法来实现GPU之间的数据交换和通信。以下是一些替代方法&#xff1a; 通过主机内存进行数据传输&#xff1a; 如果GPU之间的数据交换不是非常频繁&#xff0c;您可以将数据从一个GPU复制到…

【c语言】五子棋(EasyX图形库+背景音乐)

大家好&#xff0c;有没有觉得写了好多c语言代码&#xff0c;面对的都是黑框框控制台&#xff0c;当我们学习了基础的c语言知识&#xff0c;和EasyX图形库后&#xff0c;终于可以和黑框框saygoodbye,今天要分享给大家的是小游戏五子棋&#xff0c;跟着小张一起学习吧 EasyX图形…

(四)Doceke安装MySQL镜像+Docker启动MySQL容器

Doceke安装MySQL镜像/Docker启动MySQL容器 一、doceke安装MySQL镜像 切换到root用户&#xff0c;su root 。 1、启动Docker 启动&#xff1a;sudo systemctl start docker 停止&#xff1a;systemctl stop docker 重启&#xff1a;systemctl restart docker 查看docker运行…

视频汇聚平台EasyCVR安防视频监控在地下停车场中的具体应用方案

一、背景 随着我国城市化进程的加快&#xff0c;汽车已成为人们生活中不可缺少的交通工具&#xff0c;但在许多城市中&#xff0c;买车容易&#xff0c;停车难的问题愈发突出。特别是在人群密集的商场、写字楼和地下停车场&#xff0c;车流量大、车况复杂。传统的人工判断方式耗…

go、java、.net、C#、nodejs、vue、react、python程序问题进群咨询

1、面试辅导 2、程序辅导 3、一对一腾讯会议辅导 3、业务逻辑辅导 4、各种bug帮你解决。 5、培训小白 6、顺利拿到offer