PostgreSQL 进阶 - 模式匹配,过滤敏感数据,数据清理

news2025/1/22 17:05:34

1. 模式匹配

SELECT phone_number FROM customers;

在这里插入图片描述

使用正则表达式替换所有非数字字符
这样可以清理和标准化电话号码数据,去除任何非数字字符,只保留数字
UPDATE customers
SET phone_number =
REGEXP_REPLACE(phone_number, '[^0-9]', '', 'g')
WHERE phone_number ~ '[^0-9]';
  • 使用正则表达式 [^0-9] 匹配任何非数字字符,并将其替换为空字符串 ‘’。‘g’ 表示全局替换,即所有匹配的地方都会被替换。
  • phone_number ~ ‘[^0-9]’:这是一个正则表达式匹配条件,它匹配 phone_number 列中包含任何非数字字符的值。
SELECT phone_number FROM customers;

在这里插入图片描述

使用正则表达式匹配包含 10 个数字字符的电话号码,并将其格式化为 xxx-xxx-xxxx 的形式
UPDATE customers
SET phone_number =
REGEXP_REPLACE(phone_number, '([0-9]{3})([0-9]{3})([0-9]{4})',
'\1-\2-\3')
WHERE phone_number ~'^[0-9]{10}$';
  • 使用正则表达式 ([0-9]{3})([0-9]{3})([0-9]{4}) 匹配电话号码的特定模式
  • 使用 \1-\2-\3 替换该模式,其中 \1、\2 和 \3 是正则表达式中捕获的三组数字
  • phone_number ~ ‘^[0-9]{10}$’:这是一个正则表达式匹配条件,它匹配 phone_number 列中包含且只包含 10 个数字字符的值。

在这里插入图片描述

2. 过滤敏感数据

在这里插入图片描述

SELECT
CONCAT(firstname, ' ', UPPER(SUBSTRING(lastname, 1, 1)), '.')
AS fullname,
email,
(SELECT CONCAT('***-***-',
RIGHT(phone_number, 4)) AS masked_phone_number)
FROM customers;
  • SUBSTRING() 函数用于提取 lastname 的第一个字符。第一个1 是起始位置参数,指定要提取的子字符串的起始位置。在这里,它是 lastname 字符串中的第一个字符。
    第二个1 是长度参数,指定要提取的子字符串的长度。在这里,它表示只提取一个字符。
  • 查询结果将以 ***-***- 开头,后跟原始 phone_number 值的最后四位数字。
    在这里插入图片描述

3. 数据清理

SELECT order_id, street, city, state, zip_code FROM orders;

在这里插入图片描述

UPDATE orders
SET
street = INITCAP(TRIM(street)),
city = INITCAP(TRIM(city)),
state = UPPER(TRIM(state)),
zip_code = SUBSTRING(REGEXP_REPLACE(TRIM(zip_code), '[^0-9]', '', 'g'), 1, 5)
WHERE (
street != INITCAP(TRIM(street)) OR
city != INITCAP(TRIM(state)) OR
state != UPPER(TRIM(state)) OR
SUBSTRING(REGEXP_REPLACE(TRIM(zip_code), '[^0-9]', '', 'g'), 1, 5) != zip_code OR
LENGTH(zip_code) != 5);
  • street = INITCAP(TRIM(street)),将街道名字的首字母大写,并去除首尾空格。
  • 去除邮政编码中的非数字字符,并截取前5位数字作为新的邮政编码
    在这里插入图片描述

4. 产生虚拟数据

SELECT * FROM bookmarks;

在这里插入图片描述

INSERT INTO bookmarks (url, name, description)
SELECT 'http://example.com/' || generate_series AS url,
'Bookmark ' || generate_series AS name,
'Description for Bookmark ' || generate_series AS description FROM generate_series(1,50) AS generate_series
RETURNING *;

通过从1到50生成一系列数字,将生成的数字与预定义的字符串连接起来,并将结果分别插入“url”、“name” 和 “description” 字段。
在这里插入图片描述

5. 密码加密

SELECT * FROM users;

在这里插入图片描述

ALTER TABLE users
ADD COLUMN password_hash VARCHAR(255),
ADD COLUMN password_salt VARCHAR(255);

在这里插入图片描述

UPDATE users
SET password_salt = substr(md5(random()::text), 1, 16);
  • 将“password_salt”字段设置为一个随机生成的字符串,该字符串是通过将一个随机数转换为文本格式后进行MD5加密,并截取前16位字符得到的。
UPDATE users
SET password_hash = md5(concat(password_salt, password))
WHERE password_hash IS NULL;
  • 将“password_hash”字段设置为“password_salt”和“password”字段拼接后进行MD5加密得到的结果。

在这里插入图片描述

6. 取消正在运行的queries

SELECT pid, query, xact_start, wait_event, wait_event_type
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND wait_event IS NOT NULL;
  • 从“pg_stat_activity”视图中选择特定列的数据。它选择了“pid”(进程ID)、“query”(查询语句)、“xact_start”(事务开始时间)、“wait_event”(等待事件)和“wait_event_type”(等待事件类型)列。
    在这里插入图片描述
SELECT pg_cancel_backend(3236);
  • 执行这条 SQL 语句后,具有进程 ID 为 3236 的进程将会被取消。
    在这里插入图片描述
SELECT pid, query, xact_start, wait_event, wait_event_type
FROM pg_stat_activity
WHERE backend_type = 'client backend'
AND wait_event IS NOT NULL;

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1165137.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

NProgress顶部进度条的用法

大家打开一个网页的时候,会看到一个进度条,然后加载完成后进度条就消失了。这个呢,就是一个第三方的进度条库,叫做nprogress. 1.首先安装nprogress(咱直接用npm安装了) : npm install --save nprogress 2.然后在 router/index.j…

高德Go生态建设与研发实践

序 高德在构建Go生态演化过程中,已经实现了QPS从0到峰值千万的飞跃,本篇文章主要介绍在此过程中积累的一些技术决策及性能优化和重构经验。阅读本文读者会有以下3点收获: 1.高德Go生态发展历程及现状分析 2.高德云原生Serverless落地情况&…

MobaXterm使用VNC远程显示和控制ubuntu桌面

目录 1 在ubuntu中安装vnc 2 设置ubuntu远程连接 3 MobaXterm中连接ubuntu的vnc 1 在ubuntu中安装vnc 参考:Ubuntu18.04~Ubuntu22.04安装并配置VNC_ubuntu安装vnc-CSDN博客 大体流程就是在ubuntu中安装vnc,设置密码,然后配置服务&#x…

Android开发适不适合做车载开发?

众所周知,今年的互联网行业就业率并不是很好,像“开猿截流,公司倒闭”等事件时有发生,感觉市场对于人才的需求量降低了,给原本不景气的Android 开发行业增添了不少的难度。 随着新能源汽车行业的脱颖而出,…

网络安全策略制定和执行: 提供制定全面的网络安全策略的步骤和指南,以确保组织的整体安全性。

网络安全一直是IT领域的一个关键挑战。随着威胁的不断演变和增强,制定和执行全面的网络安全策略变得至关重要。本文将为您提供一系列步骤和指南,帮助您确保组织的整体安全性。 第一章:明确安全需求和目标 在开始制定网络安全策略之前&#…

数据抽取+dataworks的使用+ADB的应用

一,大数据处理之数据抽取 1,什么是数据抽取 在大数据领域中,数据抽取是指从原始数据源中提取所需的数据子集或特定数据项的过程, 数据抽取是数据预处理的重要步骤,它为后续的数据分析和建模提供了基础。 2&#xff…

Win10强制卸载更新补丁的三种方法

在Win10电脑中用户发现更新补丁出现问题了,想通过卸载补丁来解决问题。但是,许多新手用户对于强制卸载Win10系统的更新补丁的方法不是很了解,那么下面小编就给大家介绍关于Win10电脑内强制卸载更新补丁的简单方法吧。 方法一:通过…

MongoDB系例全教程

一、系列文章目录 一、MongoDB安装教程—官方原版 二、MongoDB 使用教程(配置、管理、监控)_linux mongodb 监控 三、MongoDB 基于角色的访问控制 四、MongoDB用户管理 五、MongoDB基础知识详解 六、MongoDB—Indexs 七、MongoDB事务详解 八、MongoDB分片教程 九、Mo…

Docker的安装、基础命令与项目部署

文章目录 前言一、docker安装与MySQL部署1.Linux环境下docker的安装(1)基于CentOS7(2)基于Ubuntu 二、docker基础1.常见命令(1)快速创建一个mysql容器(MySQL得一键安装)。&#xff0…

【ubuntu】搭建lamp架构

一、准备工作 1、更新源 apt-get updateapt #就是一个管理包的工具,理解为centos中的yum update #表示让apt执行更新的操作,更新的内容为软件列表。#为什么要更新软件列表? 就时本地会隔断时间进行同步镜像站的资源包,但是我…

如何滴水不漏的学完C语言?

如何滴水不漏的学完C语言? 学习C语言需要掌握的知识点确实非常广泛。如果你觉得学校教学中所涉及的内容有所欠缺,可以有很多其他方式进行补充学习。最近很多小伙伴找我,说想要一些C语言资料,然后我根据自己从业十年经验&#xff…

GPT引发智能AI时代潮流

最近GPT概念爆火,许多行业开始竞相发展AI ,工作就业也将面临跳转,目前测试就业形势就分为了两大类,一类是测试行业如功能、性能、自动化综合性人才就业技能需求,另一类便是AI测试行业的需求普遍增长,原本由…

使用IO完成端口实现简单回显服务器

说明 使用IO完成端口实现简单回显服务器,因为是测试用的,所以代码很粗糙。 提醒 使用的是ReadFile、WriteFile来实现Overlapped IO,正式场合应该用WSARecv、WSASend,原因:来自《Windows网络编程技术》 8.2.5节 在这里…

葡萄酒中的酒精含量是多少?

当你喝完一杯加利福尼亚赤霞珠和你的朋友在一个周五的晚上出游,你不禁会注意到,这只玻璃杯能让你感觉有点不同于你前几个周末喝的意大利灰皮诺葡萄酒。出于好奇,你查看了一下ABV,发现这个数字高达14.5%!难怪&#xff0…

requires SDK version >=3.0.1 <4.0.0, version solving failed

这个很明显是FLUTTER SDK不匹配的问题,需要更新flutter SDK,最简单的办法,在flutter官网的页面直接下载最新的,然后替换之前旧版本的flutter 官网: 在 Windows 操作系统上安装和配置 Flutter 开发环境 - Flutter 中文…

C++并发编程实战——07.设计无锁的并发数据结构

文章目录 设计无锁的并发数据结构定义及意义无阻塞数据结构无锁数据结构无等待数据结构无锁结构的利弊 无锁数据结构的例子无锁线程安全栈使用风险指针检测不可回收的节点使用引用计数无锁栈上的内存模型实现一个无锁的线程安全队列 设计无锁数据结构的指导建议 设计无锁的并发…

windwos10搭建我的世界服务器,并通过内网穿透实现联机游戏Minecraft

文章目录 1. Java环境搭建2.安装我的世界Minecraft服务3. 启动我的世界服务4.局域网测试连接我的世界服务器5. 安装cpolar内网穿透6. 创建隧道映射内网端口7. 测试公网远程联机8. 配置固定TCP端口地址8.1 保留一个固定tcp地址8.2 配置固定tcp地址 9. 使用固定公网地址远程联机 …

mysql双主搭建

https://www.bilibili.com/video/BV1BK4y1t7MY/?spm_id_from333.880.my_history.page.click&vd_source297c866c71fa77b161812ad631ea2c25 要到用双主,或多主,主要是考虑到这么一个场景: 如果一个应用,全球用户都要用&#x…

API接口安全设计

简介 HTTP接口是互联网各系统之间对接的重要方式之一,使用HTTP接口开发和调用都很方便,也是被大量采用的方式,它可以让不同系统之间实现数据的交换和共享。 由于HTTP接口开放在互联网上,所以我们就需要有一定的安全措施来保证接口…

LuaHttp库写的一个简单的爬虫

LuaHttp库是一个基于Lua语言的HTTP客户端库,可以用于爬取网站数据。与Python的Scrapy框架类似,LuaHttp库也可以实现网站数据的抓取,并且可以将抓取到的数据保存到数据库中。不过需要注意的是,LuaHttp库并不像Scrapy框架那样具有完…