02.percona Toolkit工具pt-archiver命令实践

news2024/11/16 15:49:28

1.命令作用

Percona Toolkit有的32个命令,可以分为7大类
工具类别 工具命令 工具作用 备注

开发类	
	pt-duplicate-key-checker	列出并删除重复的索引和外键	 
	pt-online-schema-change	在线修改表结构	 
	pt-query-advisor	分析查询语句,并给出建议,有bug	已废弃
	pt-show-grants	规范化和打印权限	 
	pt-upgrade	在多个服务器上执行查询,并比较不同
	 
性能类	
	pt-index-usage	分析日志中索引使用情况,并出报告	 
	pt-pmp	为查询结果跟踪,并汇总跟踪结果	 
	pt-visual-explain	格式化执行计划	 
	pt-table-usage	分析日志中查询并分析表使用情况	pt 2.2新增命令

配置类	
	pt-config-diff	比较配置文件和参数	 
	pt-mysql-summary	对mysql配置和status进行汇总	 
	pt-variable-advisor	分析参数,并提出建议	 

监控类	
	pt-deadlock-logger	提取和记录mysql死锁信息	 
	pt-fk-error-logger	提取和记录外键信息	 
	pt-mext	并行查看status样本信息	 
	pt-query-digest	分析查询日志,并产生报告	常用命令
	pt-trend	按照时间段读取slow日志信息	已废弃

复制类	
	pt-heartbeat	监控mysql复制延迟	 
	pt-slave-delay	设定从落后主的时间	 
	pt-slave-find	查找和打印所有mysql复制层级关系	 
	pt-slave-restart	监控salve错误,并尝试重启salve	 
	pt-table-checksum	校验主从复制一致性	 
	pt-table-sync	高效同步表数据	 

系统类	
pt-diskstats	查看系统磁盘状态	 
	pt-fifo-split	模拟切割文件并输出	 
	pt-summary	收集和显示系统概况	 
	pt-stalk	出现问题时,收集诊断数据	 
	pt-sift	浏览由pt-stalk创建的文件	pt 2.2新增命令
	pt-ioprofile	查询进程IO并打印一个IO活动表	pt 2.2新增命令

实用类	
pt-archiver	将表数据归档到另一个表或文件中	 
	pt-find	查找表并执行命令	 
	pt-kill	Kill掉符合条件的sql	常用命令
	pt-align	对齐其他工具的输出	pt 2.2新增命令
	pt-fingerprint	将查询转成密文	pt 2.2新增命令

2.数据归档实践基本使用方法

pt-archiver 是 Percona Toolkit 中的一个组件,主要用于对 MySQL 表数据进行归档和清除。它可以将数据归档到另一台服务器上的另一张表,或者归档到一个文件中,文件可以使用 LOAD DATA INFILE 进行数据装载。

2.1.归档到文件

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--where "create_time >= '2020-01-01' and create_time < '2021-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--file './%Y-%m-%d-%D.%t'

常用选项

  • --source: 指定需要进行归档操作的表,使用 DSN 方式表示。
  • --dest: 指定要归档到的目标端表,使用 DSN 方式表示。
  • --where: 指定通过 WHERE 条件语句指定需要归档的数据。
  • --file: 指定表数据需要归档到的文件。
  • --limit: 指定每条语句获取表和归档表的行数。
  • --commit-each: 指定按每次获取和归档的行数进行提交。
  • --bulk-delete: 使用单个 DELETE 语句删除 chunk 的方式来批量删除行。
  • --bulk-insert: 使用 LOAD DATA LOCAL INFILE 的方法,通过批量插入的方式来插入行。
  • --progress: 指定每多少行打印进度信息。
  • --run-time: 指定工具归档操作在退出之前需要运行的时间。
  • --no-delete: 指定不删除已被归档的表数据。
  • --charset-A: 指定连接字符集。

例子:

原始表数据如下:

pt-archiver --source h=127.0.0.1,P=3306,u=root,p='123456',D=lewei,t=role \
--where "modifiedDate >= '2020-01-01' and modifiedDate < '2024-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--file './%Y-%m-%d-%D.%t'

特别注意:语句中 \  是不能删除的。

执行后:

表中还剩几条数据。

导出的文件:

2.2.归档到另一张表并删除原表数据(不删除的话加上 --no-delete) 

 

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--dest h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table_bak \
--where "create_time >= '2020-12-31' and create_time < '2021-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--bulk-insert

这个命令会将数据归档到 database 数据库中的 table_bak 表,并从原表中删除这些数据。

2.3.只删除数据

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--where "create_time >= '2021-01-01' and create_time < '2021-01-02'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--purge \
--primary-key-only

这个命令只会删除 database 数据库中 table 表里 create_time 在 2021-01-01 到 2021-01-02 之间的数据。

3.注意事项

  • 确保源表和目标表具有相同的结构。
  • 如果使用 --bulk-insert 选项,确保目标数据库有足够的权限和资源来创建临时表并执行批量插入。
  • 使用 pt-archiver 时,建议在低峰时段进行,以减少对生产环境的影响。
  • 归档操作可能需要一定的时间,特别是处理大量数据时。确保有足够的时间和资源来完成操作。
  • 在执行删除操作之前,确保备份了所有重要数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1542273.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Docker 笔记(七)--打包软件生成镜像

目录 1. 背景2. 参考3. 文档3.1 使用docker container commit命令构建镜像3.1.1 [Docker官方文档-docker container commit](https://docs.docker.com/reference/cli/docker/container/commit/)Description&#xff08;概述&#xff09;Options&#xff08;选项&#xff09;Exa…

108、3D Gaussian Splatting for Real-Time Radiance Field Rendering

简介 官网 更少训练时间的同时实现最先进的视觉质量&#xff0c;能在1080p分辨率下实现高质量的实时(≥30 fps)新视图合成 NeRF使用隐式场景表示&#xff0c;体素&#xff0c;点云等属于显示建模方法&#xff0c;3DGS就是显示辐射场。它用3D高斯作为灵活高效的表示方法&…

android Fragment 生命周期 方法调用顺序

文章目录 Introlog 及结论代码 Intro 界面设计&#xff1a;点击左侧按钮&#xff0c;会将右侧 青色的RightFragment 替换成 黄色的AnotherRightFragment&#xff0c;而这两个 Fragment 的生命周期方法都会打印日志。 所以只要看执行结果中的日志&#xff0c;就可以知道 Fragme…

2021年XX省赛职业院校技能大赛”高职组 计算机网络应用赛项 网络构建模块竞赛真题

“2021年XX省赛职业院校技能大赛”高职组 计算机网络应用赛项 网络构建模块竞赛真题 目录 一&#xff0e;考试说明 1 二&#xff0e;模块B网络构建 2 &#xff08;一&#xff09;任务描述 2 &#xff08;二&#xff09;任务清单 9 一&#xff0e;考试说明 本模块比赛时间为…

服务消费微服务

文章目录 1.示意图2.环境搭建1.创建会员消费微服务模块2.删除不必要的两个文件3.检查父子模块的pom.xml文件1.子模块2.父模块 4.pom.xml 添加依赖&#xff08;刷新&#xff09;5.application.yml 配置监听端口和服务名6.com/sun/springcloud/MemberConsumerApplication.java 创…

nodejs+vue高校洗浴管理系统python-flask-django-php

高校洗浴管理系统采用数据库是MySQL。网站的搭建与开发采用了先进的nodejs进行编写&#xff0c;使用了express框架。该系统从两个对象&#xff1a;由管理员和学生来对系统进行设计构建。主要功能包括&#xff1a;个人信息修改&#xff0c;对学生管理、浴室信息、浴室预约、预约…

【算法竞赛进阶指南】0x05 排序

0x05排序 排序基本算法 785. 快速排序 - AcWing题库姑且用这个评测。 1.选择、插入、冒泡 这类排序是基于比较的排序算法&#xff0c;时间复杂度为 选择排序 思路比较简单&#xff0c;就是每一次从后面选出最小的数字来与当前这个数字交换 #include<bits/stdc.h> co…

(一)基于IDEA的JAVA基础7

关系运算符 运算符 含义 范例 结果 等于 12 false &#xff01; 不等于 1&#xff01;2 true > 大于 1>2 false < 小于 …

【协议-HTTPS】

https https是在http协议的基础上&#xff0c;添加了SSL/TLS握手以及数据加密传输&#xff0c;也属于应用层协议。 httpshttp加密认证完整性保护 https交互图&#xff1a; HTTPS的整体过程分为证书验证和数据传输阶段&#xff1a; ① 证书验证阶段 浏览器发起 HTTPS 请求 服务…

如何通过idea搭建一个SpringBoot的Web项目(最基础版)

通过idea搭建一个SpringBoot的Web项目 文章目录 通过idea搭建一个SpringBoot的Web项目一、打开idea&#xff0c;找到 create new project二、创建方式三、配置项目依赖四、新建项目模块五、总结 一、打开idea&#xff0c;找到 create new project 方式1 方式2 二、创建方式 新…

如何使用PHP和RabbitMQ实现消息队列?

前言 今天我们来做个小试验&#xff0c;用PHP和RabbitMQ实现消息队列功能。 前期准备&#xff0c;需要安装好docker、docker-compose的运行环境。 如何使用docker部署php服务_php如何使用docker发布-CSDN博客 一、安装RabbitMQ 1、创建相关目录&#xff0c;执行如下命令。…

linux 通过nvm安装node

我的博客原文&#xff1a;linux 通过nvm安装node 前言 nvm是一个node版本控制的工具&#xff0c;他可以查看可以安装的node版本&#xff0c;安装node&#xff0c;以及切换node版本&#xff0c;传统的node安装&#xff0c;我们是下载压缩包&#xff0c;然后指定环境变量&…

医院预约挂号系统设计与实现|jsp+ Mysql+Java+ Tomcat(可运行源码+数据库+设计文档)

本项目包含可运行源码数据库LW&#xff0c;文末可获取本项目的所有资料。 推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 2024年56套包含java&#xff0c;…

MySQL数据库基本操作(增删改查)与用户授权

前言 SQL&#xff08;Structured Query Language&#xff0c;结构化查询语言&#xff09;是一种用于管理关系数据库系统的语言。SQL的设计目标是提供一种简单、直观的语言&#xff0c;使得用户可以通过编写SQL语句来处理他们想要的数据和操作。 目录 一、结构介绍 1. 查看信…

计算机软件安全

一、软件安全涉及的范围 1.1软件本身的安全保密 软件的本质与特征&#xff1a; 可移植性 寄生性 再生性 可激发性 攻击性 破坏性 …… 知识产权与软件盗版 软件商品交易形式不透明&#xff0c;方式多样&#xff0c;传统商标标识方法不适用&#xff1b; 盗版方法简捷…

Django Ajax

【一】Json 【1】介绍 JSON&#xff08;javascript object otaition&#xff09;是一种轻量级的数据交换格式JSON使用了Javascript的一部分语法来定义其数据格式&#xff0c;但Json是独立于语言的Json采用完全独立于语言的文本格式&#xff0c;使得Json成为理想的数据交互语言…

PCB布线和灌铜

PCB布线和灌铜 综述&#xff1a;本文主要讲述AD软件中PCB布线的步骤和灌铜的操作。 一、PCB布线 1. 连接信号线 点击“N”→“隐藏连接”→“网络”&#xff0c;连接信号线&#xff0c;尽量走线短且尽量少打孔。单击界面下放的“top”和“bottom”可以实现不同层的绘制线路…

51单片机学习笔记——LED闪烁和流水灯

任务分析 首先要知道LED闪烁主要是怎么工作的&#xff0c;闪烁亮灭自然是一下为高一下为低&#xff0c;亮灭的频率则需要延时来进行控制。 上节已经知道了如何点亮那延时如何做呢首先先编写主框架 这样是否可以通过循环将LED灯一直循环闪烁。 以为while一直在循环所以其实是可…

PCB中常用电子器件封装学习——【一网打尽】

‘ 上图是这个世界上大概所有的封装种类&#xff0c;当然我们日常硬件电路设计肯定用不到这么多&#xff0c;接下来我将介绍几种工程上常用的封装&#xff0c;配以图片方便大家理解学习。在电子器件选型的时候&#xff0c;避免选择到一些非常难以焊接的封装电子器件。

权限提升-Windows权限提升篇数据库篇MYSQLMSSQLORACLE自动化项目

知识点 1、Web到Win-数据库提权-MSSQL 2、Web到Win-数据库提权-MYSQL 3、Web到Win-数据库提权-Oracle 章节点&#xff1a; 1、Web权限提升及转移 2、系统权限提升及转移 3、宿主权限提升及转移 4、域控权限提升及转移 基础点 0、为什么我们要学习权限提升转移技术&#xff1…