数据库学习案例20240304-mysql数据库案例总结(碎片,统计信息)

news2024/11/24 20:04:19

1  表中的碎片

         在InnoDB中删除行的时候,这些行只是被标记为“已删除”,而不是真正从物理存储上进行了删除,因而存储空间也没有真正被释放回收。InnoDB的Purge线程会异步地来清理这些没用的索引键和行。但是依然没有把这些释放出来的空间还给操作系统重新使用,这样会导致页面中存在很多空洞。如果表结构中包含动态长度字段,那么这些空洞甚至可能不能这样被InnoDB重新用来存储新的行。另外,删除数据就会导致页(Page)中出现空白空间,大量随机的DELETE操作,必然会在数据文件中造成不连续的空白空间。而当插入数据时,这些空白空间则又会被利用起来,于是造成了数据的存储位置不连续。物理存储顺序与逻辑上的排序不同,这种就是数据碎片。

对于大量的UPDATE,也会造成文件碎片化,InnoDB的最小物理存储分配单位是页(Page),而UPDATE也可能导致页分裂(Page Split)。频繁的页分裂,页会变得稀疏,并且被不规则地填充,所以最终数据会有碎片。

要计算表中碎片的大小,可以采用下面的计算公式。

下面通过具体的示例来演示如何计算表的碎片大小以及如何清理表的碎片。
1)查看表的状态信息,例如这里使用表“t”。

04:25:  [mgr]> show table status like '%t%'\G
*************************** 1. row ***************************
           Name: t
         Engine: InnoDB
        Version: 10
     Row_format: Dynamic
           Rows: 4
 Avg_row_length: 4096
    Data_length: 16384
Max_data_length: 0
   Index_length: 0
      Data_free: 0
 Auto_increment: NULL
    Create_time: 2024-03-04 04:23:47
    Update_time: 2024-03-04 04:24:09
     Check_time: NULL
      Collation: utf8mb4_general_ci
       Checksum: NULL
 Create_options: 
        Comment: 
1 row in set (0.00 sec)

2)以上面的数据为例,计算表中的碎片大小。

((Data_length+ Index_length)-rows*Avg_row_length)/1024

3)执行下面的语句清理碎片。

04:25:  [mgr]> alter table t engine=innodb;
Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

提示
除了使用alter table语句清理碎片以外,还可以使用以下的两种方式。
·备份原表数据,然后删除原表并创建一张与原表相同的新表,再将备份的数据导入新表中。
·使用第三方工具pt-online-schema-change进行在线整理表结构、收集碎片等操作。

2  统计schema大小

04:40:  [mgr]> SELECT TABLE_SCHEMA,(MAX(DATA_LENGTH)/1024/1024 +SUM(INDEX_LENGTH)/1024/1024) usersize FROM INFORMATION_SCHEMA.TABLES GROUP BY TABLE_SCHEMA;
+-------------------------------+------------+
| TABLE_SCHEMA                  | usersize   |
+-------------------------------+------------+
| mysql                         | 1.84375000 |
| information_schema            | 0.00000000 |
| performance_schema            | 0.00000000 |
| sys                           | 0.01562500 |
| mgr                           | 0.01562500 |
| mysql_innodb_cluster_metadata | 0.15625000 |
+-------------------------------+------------+
6 rows in set (0.01 sec)

3 查看每个schenma前10大小的表

SELECT 
TABLE_SCHEMA AS dbname,
TABLE_NAME AS tablename,
TABLE_ROWS AS tablerows,
ENGINE AS tableengine,
ROUND((DATA_LENGTH)/1024/1024,2) AS Data_MB,
ROUND((INDEX_LENGTH)/1024/1024,2) AS Index_MB,
ROUND((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2)AS Total_MB,
ROUND((DATA_FREE)/1024/1024,2)AS Free_MB
FROM information_schema.tables AS T1
WHERE T1.TABLE_SCHEMA NOT IN
('performance_schema','mysql','information_schema')
ORDER BY T1.TABLE_ROWS DESC
LIMIT 10;

4 统计信息

1 自动采集

2 手动采集

analyze table T;

04:52:  [mgr]> analyze table T;
+-------+---------+----------+----------+
| Table | Op      | Msg_type | Msg_text |
+-------+---------+----------+----------+
| mgr.t | analyze | status   | OK       |
+-------+---------+----------+----------+
1 row in set (0.00 sec)

04:56:  [mgr]> 

5 mysql临时表

MySQL临时表在需要保存一些临时数据时是非常有用的。临时表只在当前会话的连接可见,当关闭连接时,MySQL会自动删除表并释放所有空间。由于临时表只属于当前的会话,因此不同会话的临时表可以重名。如果有多个会话执行查询时,使用临时表则不会有重名的担忧。所有临时表都存储在临时表空间,并且临时表空间的数据可以复用。MySQL的InnoDB存储引擎、MyISAM存储引擎和Memory存储引擎都支持临时表。
下面通过一个具体示例来演示如何使用临时表。
1)创建一张临时表。

05:05:  [mgr]> create temporary table tem01 (id bigint primary key);
Query OK, 0 rows affected (0.00 sec)

05:05:  [mgr]> insert into tem01 values(1);
Query OK, 1 row affected (0.00 sec)

05:06:  [mgr]> insert into tem01 values(2);
Query OK, 1 row affected (0.00 sec)

05:06:  [mgr]> insert into tem01 values(3);
Query OK, 1 row affected (0.00 sec)

05:06:  [mgr]> insert into tem01 values(4);
Query OK, 1 row affected (0.00 sec)

05:06:  [mgr]> show tables;
+---------------+
| Tables_in_mgr |
+---------------+
| gp            |
| t             |
+---------------+
2 rows in set (0.00 sec)

05:08:  [mgr]> 

1 当使用“show tables”命令显示数据库列表时,将无法看到临时表。

2  MGR组复制不能复制temp表
3 切换数据库临时表数据仍然在,退出当前的会话在登陆时表已经不存在

05:08:  [mgr]> use mysql
Database changed
05:09:  [mysql]> use mgr
Database changed
05:09:  [mgr]> select *From tem01;
+----+
| id |
+----+
|  1 |
|  2 |
|  3 |
|  4 |
+----+
4 rows in set (0.00 sec)

05:09:  [mgr]> exit
Bye
[root@mgr01 ~]# mysql -uroot -p123
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 54
Server version: 8.0.36 MySQL Community Server - GPL

Copyright (c) 2000, 2024, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

05:09:  [(none)]> use mgr
Database changed
05:09:  [mgr]> select *From tem01;
ERROR 1146 (42S02): Table 'mgr.tem01' doesn't exist
05:09:  [mgr]>

6 mysql索引

mysql索引默认存储格式为B+树索引。(节点之间存在指针连接)

可以看到,与B树最大的区别就是每一个叶节点都包含指向下一个叶节点的指针,并且叶节点的指针指向的是被索引的数据,而非其他的节点。非叶节点仅具有索引作用,跟数据有关的信息均存储在叶节点中。查找时存储引擎通过根节点一层层地进行二分搜索即可。由于B+树在内部节点上不包含数据信息,所以它占用空间更小;叶节点之间形成链表,从而方便了叶节点的遍历与范围查找。

3.查看MySQL中的索引


05:15:  [mgr]> desc select *from gp;
05:15:  [mgr]> explain select * from gp;

05:20:  [mgr]> show index from t\G
*************************** 1. row ***************************
        Table: t
   Non_unique: 0
     Key_name: PRIMARY
 Seq_in_index: 1
  Column_name: id
    Collation: A
  Cardinality: 4
     Sub_part: NULL
       Packed: NULL
         Null: 
   Index_type: BTREE
      Comment: 
Index_comment: 
      Visible: YES
   Expression: NULL
1 row in set (0.00 sec)

05:20:  [mgr]> 

7 3种变量以及mysql开发

show global variables like '%%'   --全局变量

show session variables like '%%'  --可以在会话成立的变量

show status  状态变化变量。

set session transaction isolation level read uncommitted;

set session transaction isolation level repeatable read;

set session transaction isolation level read committed;

begin

set @a=10;

select * From timeevent where id>@a;

end

8 innodb 行锁

name列在表t没有索引。

INNODB行锁是通过索引实现的,索引只有通过索引查询数据时才会使用行级锁,否则INNODB将使用表级锁。

session 1

06:12:  [mgr]> begin;
Query OK, 0 rows affected (0.00 sec)

06:12:  [mgr]> select * From t where name='123' for update;
+----+------+-------+-------+-------+
| id | name | name1 | name2 | name3 |
+----+------+-------+-------+-------+
|  1 | 123  | NULL  | NULL  | NULL  |
|  5 | 123  | NULL  | NULL  | NULL  |
+----+------+-------+-------+-------+

session 2

06:12:  [mgr]> select * from t where name='1234541111115' for update;
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction


06:12:  [mgr]> select * From performance_schema.data_lock_waits\G
*************************** 1. row ***************************
                          ENGINE: INNODB
       REQUESTING_ENGINE_LOCK_ID: 140047863931688:24:4:7:140047743513056
REQUESTING_ENGINE_TRANSACTION_ID: 11664
            REQUESTING_THREAD_ID: 220
             REQUESTING_EVENT_ID: 27
REQUESTING_OBJECT_INSTANCE_BEGIN: 140047743513056
         BLOCKING_ENGINE_LOCK_ID: 140047863929264:24:4:7:140047743494880
  BLOCKING_ENGINE_TRANSACTION_ID: 11662
              BLOCKING_THREAD_ID: 103
               BLOCKING_EVENT_ID: 197
  BLOCKING_OBJECT_INSTANCE_BEGIN: 140047743494880
1 row in set (0.00 sec)

查看锁定

select *from information_schema.innodb_trx where trx_statte='LOCK WAIT';

select *from sys.innodb_lock_waits\G

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1489046.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ES核心概念(45-48)(56-62)(101-103)

ES集群 ES集群(Cluster)包含多个节点(服务器),整体提供服务 核心概念 索引Index:类似于mysql中的表 映射Mapping:数据的结构信息 文档:相当于表中的一条记录 分片: 将数据分成多片…

4、pod运维replicationCtroller、replicaSet、DeamonSet、Job、Cronjob

1、kubenetes 会自动重新运行失败的pod应用 pod运行失败,会自动重启,但是节点失败,pod会被移除, 除非配置了relicationController来管理资源 2、保持pod的健康存活 配置探针,发送http请求 3、查看前一个pod的运行日…

字节扣子 Bot | Bot 介绍

一、什么是 coze ? Coze 是一个由字节跳动开发的一个用于开发新一代 AI Chat Bot 的应用编辑平台。在这个平台上,即使是没有编程基础的小白,也能快速创建各种各样的聊天机器人,并将创建的机器人发布到多个社交平台和通讯软件上。 …

vue3 使用实现签到活动demo静态布局详解

文章目录 1. 实现效果2. 签到设置7天布局2.1 实现代码 3 签到设置15天布局3.1 思路分享 4 完整demo代码5. 总结 1. 实现效果 实现一个签到活动的h5页面布局,需求如下 签到活动天数可配置,可配置7天,15天,30天等默认天数要求展示2行…

利用Python自动化日常任务

在快节奏的现代生活中,时间就是一切。幸运的是,Python提供了一系列强大的库和工具,可以帮助我们自动化那些乏味且重复的任务,从而释放我们的时间,让我们可以专注于更有创造性和有意义的工作。下面,我们将探…

MySQL的初学者教程—Navicat的基本操作方法

MySQL的初学者教程—Navicat的基本操作方法 1、运行Navicat 双击桌面的Navicat 12 for MySQL。 2、新建MySQL连接 点击【测试连接】。 zyyMySQL的连接创建成功! 3、新建数据库 4、新建表 点击【保存】 表【usermanage】建好了。 点【usermanage】的鼠标右键&#…

chatgpt-next-web搭建教程,超低成本部署属于自己的ChatGPT

随着AI的应用变广,各类AI程序已逐渐普及,尤其是在一些日常办公、学习等与撰写/翻译文稿密切相关的场景,大家都希望找到一个适合自己的稳定可靠的ChatGPT软件来使用。 ChatGPT-Next-Web就是一个很好的选择。它是一个Github上超人气的免费开源…

06、MongoDB -- MongoDB 基本用法(删除文档、查询文档、查询运算符)

目录 MongoDB 基本用法演示前提:登录单机模式的 mongodb 服务器命令登录【admin】数据库的 mongodb 客户端命令登录【test】数据库的 mongodb 客户端命令 删除文档语法格式两个变体版本:1、remove:根据【name】字段删除一条文档2、deleteOne&…

pyqt程序打包成exe最新版保姆级教程

运行环境:win10、pycharm、pyqt5、pyinstaller 要求:将下面软件转换为可执行的exe文件,发送给别人使用。 操作步骤: 1、main.py为我们要转换的代码文件,icon中放着我们exe程序的图标(注意:图标…

Stable Diffusion 模型分享:3D Animation Diffusion(3D动漫)

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。 文章目录 模型介绍生成案例案例一案例二案例三案例四案例五案例六案例七案例八 下载地址 模型介绍 3D Animation Diffusion 是 Lykon 大神的 3D 动漫模型。 作者述:在迪士尼、皮…

CentOS7配置静态IP地址以及主机名

配置静态IP [rootwyx ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE"Ethernet" PROXY_METHOD"none" BROWSER_ONLY"no" BOOTPROTO"static" #将dhcp修改为static DEFROUTE"yes" IPV4_FAILURE_FATAL"no"…

神经网络3-时间卷积神经网络

在深度学习的知识宝库中,卷积神经网络(CNN)广泛应用于视觉,视频等二维或者多维的图像领域。卷积网络具有深度,可并行等多种优良特性,那么这种技术是否可以应用于解单维度的时间序列问题呢?本文介…

微信小程序中使用特使字体

1、首先下载字体文件 推荐几个常用下载字体的网站 https://font.chinaz.com/zhongwenziti.html https://www.hellofont.cn/ 2、转换字体 使用下面这个网站进行字体转换 https://transfonter.org/ 点击add fonts 按钮进行上传刚刚下载的字体文件选择formats格式:可…

数学建模【灰色关联分析】

一、灰色关联分析简介 一般的抽象系统,如社会系统、经济系统、农业系统、生态系统、教育系统等都包含有许多种因素,多种因素共同作用的结果决定了该系统的发展态势。人们常常希望知道在众多的因素中,哪些是主要因素,哪些是次要因素;哪些因素…

IO接口 2月5日学习笔记

1.fgetc 用于从文件中读取一个字符,fgetc 函数每次调用将会返回当前文件指针所指向的字符,并将文件指针指向下一个字符。 int fgetc(FILE *stream); 功能: 从流中读取下一个字符 参数: stream:文件流指针 返回值: …

Vue3 isProxy,isReactive,isReadonly 三者解析

1、isProxy 作用:判断当前数据是否为代理数据。 注意:它只对通过 reactive,readonly,shallowReactive,shallowReadonly 这四个方法包裹的数据返回true,对于 ref 以及通过 new Proxy 代理的数据返回都是fal…

支持向量机 SVM | 线性可分:硬间隔模型公式推导

目录 一. SVM的优越性二. SVM算法推导小节概念 在开始讲述SVM算法之前,我们先来看一段定义: 支持向量机(Support VecorMachine, SVM)本身是一个二元分类算法,支持线性分类和非线性分类的分类应用,同时通过OvR或者OvO的方式可以应用…

前端学习之HTML(第一天)

什么是HTML HTML是一种用来描述网页的一种语言&#xff0c;HTML不是一种编程语言&#xff0c;而是一种标记语言。 HTML标签 HTML 标签是由尖括号包围的关键词&#xff0c;比如 <html> HTML 标签通常是成对出现的&#xff0c;比如 <b> 和 </b> 标签对中的…

GraphPad Prism 10: 你的数据,我们的魔法 mac/win版

GraphPad Prism 10是GraphPad Software公司推出的一款功能强大的数据分析和可视化软件。它集数据整理、统计分析、图表制作和报告生成于一体&#xff0c;为科研工作者、学者和数据分析师提供了一个高效、便捷的工作平台。 GraphPad Prism 10软件获取 Prism 10拥有丰富的图表类…

【算法分析与设计】组合

&#x1f4dd;个人主页&#xff1a;五敷有你 &#x1f525;系列专栏&#xff1a;算法分析与设计 ⛺️稳中求进&#xff0c;晒太阳 题目 给定两个整数 n 和 k&#xff0c;返回范围 [1, n] 中所有可能的 k 个数的组合。 你可以按 任何顺序 返回答案。 示例 示例 1&…