postgresql|数据库|批量执行SQL脚本文件的shell脚本

news2024/11/27 4:36:38

前言:

对于数据库的维护而言,肯定是有SQL脚本的执行,例如,某个项目需要更新,那么,可能会有很多的SQL脚本需要执行,SQL脚本可能会包含有建表,插入数据,索引建立,约束建立,主外键建立等等内容。

那么,几个SQL脚本可能无所谓,navicat或者psql命令行 简简单单的就导入了,但是有的时候脚本会比较多并且有的时候脚本会有执行顺序要求,很显然,navicat会力不从心的,一个个点SQL文件导入也会有遗漏的情况,因此,编写一个可自动执行SQL脚本文件的shell脚本就显得很有必要了。

下面,将就以上需求,编写一个可用的,通用的批量导入SQL脚本。

一,

SQL脚本的内容

#!/bin/bash
#!author zsk
set -eu
#describe 该脚本是批量导入SQL语句的脚本。
#set -eu是检查脚本内的变量,防止空参的情况出现。
#如果SQL脚本遇到错误,将会立刻停止,主要是参数-v ON_ERROR_STOP=1的作用
#变量  $1 是SQL脚本的存放路径,没有对SQL脚本文件的检查,因此,请确定输入的目录正确性
# 该脚本限定运行在非root用户,也就是普通用户下,在执行SQL脚本的同时输出logs文件在普通用户根目录下
#如果有任何错误,可查看日志文件并结合该脚本的控制台输出查找问题并及时解决。
#以下是五个变量,按需要修改即可。
sql_file=`ls $1|grep sql |sort -n`
database=test
pg_user=postgres
port=5432
pwd=$1
mkdir -p $pwd/success
sqlfile_success=$pwd/success
#这个是批量执行SQL文件的入口函数,日志文件放置在了postgresql用户的根目录
#如果有SQL脚本执行失败,脚本将会停止,如果SQL脚本执行成功,将会打印成功执行的SQL脚本名称
#成功执行的脚本将被移动到脚本所在目录下的success目录下,将执行失败的脚本原因找到后
#可再次从失败的SQL脚本执行,等于断点执行。
sql1 ()
{
echo $sql_file
for i in $sql_file
do psql -U$pg_user -p$port -d $database -v ON_ERROR_STOP=1 -f $pwd$i 2>&1 >>~/logs
if [ $? -eq 0 ]
then
echo -e "\033[32m $pwd$i 这个SQL脚本执行成功了!!!!\033[0m"
mv $pwd$i $pwd/success/
echo -e "\033[33m $pwd$i $pwd$i 移动到了success目录下 \033[0m"
else
echo -e "\033[31m $dir$i 这个SQL脚本没有能够执行成功,请查看日志查找原因!!!!\033[0m"
exit
fi
done
}
if [ `whoami` == "root" ]
then
#天蓝底黑字
echo  -e "\033[46;30m 该脚本不能运行在root用户下,请在postgresql用户下运行该脚本,脚本即将结束!!!\033[0m"
sleep 5
exit 
else

read -p "检查SQL文件,请确定文件是否是正确的排列顺序,并做出选择,yes,批量运行指定SQL脚本;no,退出此脚本:" result
echo  -e "\033[35m 将要批量执行的SQL文件如下:$result \033[0m"
case $result in
     "yes")
      sql1
      ;;
      "no")
      echo -e "\033[45;30m 您的选择是no,因此,该脚本将会自行退出了!!!!\033[0m"
      exit 110
      ;;
      *)
      echo -e "\033[41;30m 您的选择不合适,不是yes或者no,请重新运行脚本,慎重输入您的选择!!!\033[0m"
      exit 220
      ;;
esac

fi

二,

脚本功能介绍

以上脚本具有以下功能,并经过了测试,对于多少个SQL脚本,基本都是毫无压力

1,

脚本限定运行在普通用户下,如果是root用户,该脚本将不会被执行

2,

脚本内的变量问题

需要根据自己的实际情况修改变量,主要是这三个变量:

database=test
pg_user=postgres
port=5432

SQL脚本内定义的数据库名称,本例是test数据库,一般情况下,SQL脚本最好还是使用postgre这个超级用户,以确保SQL脚本的正确执行。port是数据库开放的端口,一般都不会是默认的5432端口

3,

shell脚本的逻辑

通过$1也就是外部参数,这个参数是SQL脚本的存放路径,该参数传入脚本后,首先,运行用户检测if语句,判断是非root用户后,将进入下一步,否则脚本退出。

read命令后,接收用户输入,限定在yes,no,或者其它输出的选择,如果是输入的yes,那么,就开始SQL导入,这里是调用上面的函数,函数名称是psql1,如果有一些别的想法还没准备好,那么,输入no,将会退出脚本。如果输错了,也就是其它任意,也会退出脚本,并做一个小的提示:重新运行脚本

sql1函数是脚本的主要功能,通过for循环,读取外部参数$1设定的目录下的所有SQL文件,并按SQL文件的名称排序,并逐个执行。

如果在执行SQL脚本中,SQL脚本有报错,将会停止整个脚本,并在控制台打印出错信息,如果执行成功的,将把成功执行的SQL脚本文件移入$1 目录下新建的success文件夹,也就达到了断点执行的效果。

三,

脚本执行的效果示例:

SQL脚本内容:

[pg1@EULEER ~]$ cat  SQL/1emp-bak.sql 
--
-- PostgreSQL database dump
--

-- Dumped from database version 12.5
-- Dumped by pg_dump version 12.5

SET statement_timeout = 0;
SET lock_timeout = 0;
SET idle_in_transaction_session_timeout = 0;
SET client_encoding = 'UTF8';
SET standard_conforming_strings = on;
SELECT pg_catalog.set_config('search_path', '', false);
SET check_function_bodies = false;
SET xmloption = content;
SET client_min_messages = warning;
SET row_security = off;

SET default_tablespace = '';

SET default_table_access_method = heap;

--
-- Name: emp; Type: TABLE; Schema: mytest; Owner: postgres
--
drop  table if  exists mytest.emp ;
CREATE TABLE if not exists mytest.emp (
    empno numeric NOT NULL,
    ename character varying(10),
    job character varying(9),
    mgr numeric,
    hiredate date,
    sal numeric(7,2),
    comm numeric(7,2),
    deptno numeric(2,0)
);


ALTER TABLE mytest.emp OWNER TO postgres;

--
-- Data for Name: emp; Type: TABLE DATA; Schema: mytest; Owner: postgres
--

COPY mytest.emp (empno, ename, job, mgr, hiredate, sal, comm, deptno) FROM stdin;
7369	SMITH	CLERK	7902	1980-12-17	800.00	\N	20
7499	ALLEN	SALESMAN	7698	1981-02-20	1600.00	300.00	30
7521	WARD	SALESMAN	7698	1981-02-22	1250.00	500.00	30
7566	JONES	MANAGER	7839	1981-04-02	2975.00	\N	20
7654	MARTIN	SALESMAN	7698	1981-09-28	1250.00	1400.00	30
7698	BLAKE	MANAGER	7839	1981-05-01	2850.00	\N	30
7782	CLARK	MANAGER	7839	1981-06-09	2450.00	\N	10
7788	SCOTT	ANALYST	7566	0087-04-19	3000.00	\N	20
7839	KING	PRESIDENT	\N	1981-11-17	5000.00	\N	10
7844	TURNER	SALESMAN	7698	1981-09-08	1500.00	0.00	30
7876	ADAMS	CLERK	7788	0087-05-23	1100.00	\N	20
7900	JAMES	CLERK	7698	1981-12-03	950.00	\N	30
7902	FORD	ANALYST	7566	1981-12-03	3000.00	\N	20
7934	MILLER	CLERK	7782	1982-01-23	1300.00	\N	10
\.


--
-- Name: emp pk_emp; Type: CONSTRAINT; Schema: mytest; Owner: postgres
--

ALTER TABLE ONLY mytest.emp
    ADD CONSTRAINT pk_emp PRIMARY KEY (empno);


--
-- Name: emp fk_deptno; Type: FK CONSTRAINT; Schema: mytest; Owner: postgres
--

--ALTER TABLE ONLY mytest.emp
--    ADD CONSTRAINT fk_deptno FOREIGN KEY (deptno) REFERENCES mytest.dept(deptno);


--
-- PostgreSQL database dump complete
--

输入no和任意输出的结果: 

正确输入yes后的SQL脚本批量执行:

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/471370.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vue项目的性能优化

前言 Vue 框架通过数据双向绑定和虚拟 DOM 技术,帮我们处理了前端开发中最脏最累的 DOM 操作部分, 我们不再需要去考虑如何操作 DOM 以及如何最高效地操作 DOM;但 Vue 项目中仍然存在项目首屏优化、Webpack 编译配置优化等问题,所…

Towards Principled Disentanglement for Domain Generalization

本文用大量的理论论述了基于解纠缠约束优化的域泛化问题。 这篇文章认为以往的文章在解决域泛化问题时所用的方法都是non-trivial的,也就是说没有作严格的证明,是不可解释的,而本文用到大量的定理和推论证明了方法的有效性。 动机 因为域泛…

客户管理系统的作用有哪些?

阅读本文您将了解:1.客户管理系统的作用;2.客户管理系统软件怎么用;3.客户管理的注意事项。 一、客户管理系统的作用 客户是企业的重要财富,因此客户管理是企业发展过程中至关重要的一部分,那么客户管理怎么做&#…

把字符串转换成整数

题目&#xff1a;把字符串转换成整数 思路&#xff1a; 如果对于一般规则的数字“字符串”转化为数字都很容易&#xff0c;比如&#xff1a; 对于“123456”可以利用如下代码进行转化&#xff1a; string str"123456"; int ans 0; for (int i0; i<str.size(); …

Elesticesearch

1. 概述 应用场景&#xff1a; 给你一个巨大的文档数据&#xff0c;文档中存储着许多非结构化的数据&#xff0c;如下&#xff1a; {“id” : “1”, “name” : “佛山张学友”, “age” : “15”}, {“name” : “广州周润发”, “height” : “182”}, …中间有10000万行……

ABAP 二分法查找与SORT排序

需求场景 需要对内表排序&#xff0c;按降序排列&#xff0c;获取第一行&#xff1b;二分法查找需要的数据 我按照降序排列后&#xff0c;获取到了第一行&#xff0c;但是通过二分法查找没有获取到 二分法查找 二分查找&#xff0c;对排序数组通过二分区间排除的方法进行快速…

最好用的六款虚拟机软件,赶紧收藏

在日常工作和学习中,我们常常需要在一台电脑上运行多个操作系统,以便进行软件测试、开发、学习以及实验等任务。虚拟机软件就是一种崭新的技术,它可以在一台电脑上运行多个操作系统,为用户提供了更高效、安全、稳定和智能化的工作和学习环境。今天我为大家介绍6款优秀的虚拟…

k8s安装监控工具metrics-server

我们需要监控cpu和内存的使用率.以便提供硬件资源的申请采购建议. 也方便我们知道运行负荷, 而不是糊里糊涂出了问题再去解决或者工具自动解决了而我们不知道, 话说回来集群的好处就是低成本的达到高性能, 性能不去监控就有点太不专业了. 但, k8s居然不自带监控工具 https://ku…

了解hiberfil.sys文件:计算机休眠模式的背后

简介: hiberfil.sys是Windows操作系统中的一个文件&#xff0c;它通常存储在计算机的根目录下&#xff0c;用于保存休眠模式下的内存映像。当您将计算机置于休眠模式时&#xff0c;Windows会将所有正在运行的程序和数据保存到hiberfil.sys文件中&#xff0c;然后关闭计算…

SAP MRP例外信息解释

SAP中MRP的例外信息&#xff0c;一共分为八类&#xff0c;下面是所有例外信息的解释 第一类&#xff1a; 69&#xff1a;BOM组件可能是递归的&#xff0c;即自己的子集中包括了自己。 02&#xff1a;订单创建日期在过去&#xff0c;可能是没有及时处理&#xff0c;这个建议表…

【Python爬虫实战】汽车城最好的十款车,第一名竟是这款车...Python教你一键采集二手车数据信息实现数据可视化展示哦~(附视频教程)

前言 驾考不易&#xff0c;天天早起去练车&#xff0c;无论烈日还是下雨&#xff0c;通通都在室外进行&#xff0c;但想要拿证&#xff0c;一定要坚 持不懈的去练车。 所有文章完整的素材源码都在&#x1f447;&#x1f447; 粉丝白嫖源码福利&#xff0c;请移步至CSDN社区或…

【Docker】2、Docker 基本操作【镜像操作】

目录 一、镜像相关命令(1) 镜像名称格式(2) 常见镜像命令 二、从 DockerHub 拉取镜像案例三、镜像导出和导入案例四、拉取 Redis 镜像练习 一、镜像相关命令 (1) 镜像名称格式 &#x1f50b; 镜像名称一般由两部分组成&#xff1a;[repository]:[tag] &#x1f50b; 若没有指…

Java每日一练(20230428)

目录 1. 搜索旋转排序数组 &#x1f31f;&#x1f31f; 2. 用栈实现队列 &#x1f31f; 3. x 的平方根 &#x1f31f; &#x1f31f; 每日一练刷题专栏 &#x1f31f; Golang每日一练 专栏 Python每日一练 专栏 C/C每日一练 专栏 Java每日一练 专栏 1. 搜索旋转排序…

机器学习:基于PCA对人脸识别数据降维并建立KNN模型检验

基于PCA对人脸识别数据降维并建立KNN模型检验 作者&#xff1a;i阿极 作者简介&#xff1a;Python领域新星作者、多项比赛获奖者&#xff1a;博主个人首页 &#x1f60a;&#x1f60a;&#x1f60a;如果觉得文章不错或能帮助到你学习&#xff0c;可以点赞&#x1f44d;收藏&…

nodejs+vue+springboot+python电影放映厅购票网站

&#xff08;结合完成了以上的基本目标之后&#xff0c;能够帮助管理人员对系统的方便管理&#xff0c;从而能够为管理员节省时间&#xff0c;给了用户极大的方便。系统中的数据要存储于数据库当中&#xff0c;能够通过SQL代码把数据库中的数据取出&#xff0c;映射到实体类中&…

Classic AUTOSAR专题 | 存储模块简介

往期小怿向各位小伙伴介绍了Classic AUTOSAR的OS模块&#xff0c;相信看过的小伙伴对Classic AUTOSAR的OS已经有基本的认知了&#xff0c;本期我们将继续介绍Classic AUTOSAR专题之存储模块的知识。 目录 1.AUTOSAR存储模块概述 2.NvM功能简介 3.应用层SWC如何访问NvM 4.小…

在Docker中安装并运行Redis(纯步骤)

在Docker中安装并运行Redis容器实例 此文章只有操作步骤&#xff0c;没有原理解释&#xff0c;只供学习时提醒安装步骤。 安装并运行可以分为四步 第一步&#xff1a;安装redis镜像 从远程仓库上查询redis的相关版本信息&#xff08;可以省略&#xff09; docker search red…

mac环境VSCode 配置C++,并写Hello World

安装VSCode&#xff0c;点击下载链接&#xff0c;下载Mac版本的vscode。安装“C extension for VS Code”&#xff0c;在扩展 (⇧⌘X)中搜索c&#xff0c;并安装确保CLANG安装成功。在mac的终端下输入clang --version&#xff0c;如果安装成功会打印相关信息&#xff0c;未成功…

《基于深度卷积神经网络的光电容积脉搏图血管老化评估》阅读笔记

目录 一、论文摘要 二、十个问题 Q1&#xff1a;论文试图解决什么问题&#xff1f; Q2&#xff1a;这是否是一个新的问题&#xff1f; Q3&#xff1a;这篇文章要验证一个什么科学假设&#xff1f; Q4&#xff1a;有哪些相关研究&#xff1f;如何归类&#xff1f;谁是这一…

亚马逊云科技帮助创新成长企业云端构建、全球化布局及规模化增长

4月13日&#xff0c;以“加速创新&#xff0c;成就未来”为主题的亚马逊云科技创新成长中国行深圳论坛圆满举行。会上亚马逊云科技宣布&#xff0c;将围绕创新成长企业的三大业务需求——云上创新、出海拓展、业务加速&#xff0c;提供行业聚焦、技术支撑、伙伴扶持、人才培养四…