数据脱敏学习

news2024/11/25 3:07:39

数据脱敏是一种保护敏感信息的方法,它通过修改或删除数据中的敏感部分,使得数据在保持一定可用性的同时,不再直接关联到个人隐私或重要信息。

然人指可以直接或间接标识

  • 直接标识:如姓名、身份证号码、家庭住址、电话号码、电子邮件地址、护照号码、社会安全号码(或等效物)、驾驶执照号码等。    
  • 间接标识:如位置数据、在线身份识别(如IP地址)、Cookie、DNA样本、指纹等。
  • 其他因素:与个人的物理、生理、遗传、心理、经济、文化或社会身份相关的特定因素。

数据脱敏通常用于以下场景

  • 测试和开发:在开发和测试环境中使用脱敏数据,可以避免使用真实数据带来的风险。
  • 数据共享:在数据共享或数据交换时,使用脱敏数据可以保护个人隐私。
  • 数据分析:在进行数据分析时,使用脱敏数据可以保护数据的原始性不被泄露。

常见的数据脱敏技术

  • 替换法:将真实数据替换为虚假但结构相似的数据。例如,将真实姓名替换为随机生成的假名。

  • 加密法:使用加密算法对敏感数据进行加密,只有拥有密钥的用户才能解密看到原始数据。

  • 扰动法:在原始数据中加入一定的随机噪声,使得数据仍然保持统计特性,但具体数值已被改变。

  • 泛化法:将具体数据泛化为更一般的形式。例如,将具体的年龄泛化为年龄段,将具体地址泛化为城市或区域。

  • 删除法:直接删除数据中的敏感部分,这种方法简单直接,但可能会损失部分数据价值。

  • 标记化:用唯一的标记替换敏感数据,这些标记不包含原始数据的任何信息,但可以用于后续的数据处理和分析。

数据脱敏工具

  • Desensitization :这是一个基于Python的库,提供了一系列丰富的数据脱敏策略,包括替换、掩码和加密等。它旨在简化数据处理流程,使得开发人员能够快速集成到现有的数据管理系统中。
  • Hutool :Hutool是一个Java基础工具类库,提供了一行代码实现数据脱敏的功能,支持对手机号、银行卡号、身份证号和密码等敏感信息进行脱敏处理。
  • Apache ShardingSphere :这是一个分布式数据库中间件,提供了自动化和透明化的数据脱敏过程,用户无需关注数据脱敏的实现细节。
  • 腾讯云DMask :这是一款敏感数据脱敏与水印标记工具,用于对数据系统中的敏感信息进行脱敏处理,并在数据泄漏时提供追溯依据。
  • SensitiveBye :这是一款专注于数据脱敏的Java工具包,支持对接口字段、Java对象字段和JSON序列化字段进行脱敏,也支持常见日志框架的输出内容脱敏。
  • deidentify :这是一个基于Python的数据脱敏工具,支持对结构化和非结构化数据进行脱敏处理,提供了多种脱敏技术,如替换、加密和随机化等。
  • IBM InfoSphere Optim Data Privacy Solution:这是一个企业级的数据脱敏解决方案,它提供了多种脱敏技术,包括数据替换、加密和泛化等,适用于大型企业和复杂的数据环境。
  • Oracle Data Masking and Subsetting Pack:这是Oracle提供的一个工具,它允许用户对数据库中的敏感数据进行脱敏,同时保留数据的结构和关系,确保脱敏后的数据仍然适用于测试和开发环境。
  • Camouflage:Camouflage是一个专业的数据脱敏工具,它支持多种数据库和文件格式,提供了灵活的脱敏策略和方法,适用于各种规模的企业。
  • Delphix:Delphix不仅提供数据脱敏功能,还包括数据虚拟化和数据版本控制等功能。它可以帮助企业快速创建和管理脱敏后的数据副本,用于非生产环境。
  • Compuware Optimal DataMasking:这个工具专注于提供高效的数据脱敏解决方案,支持多种数据库系统,并提供了易于使用的界面和强大的脱敏功能。
  • DataSunrise Data Masking:DataSunrise提供了一个集成的数据脱敏模块,可以实时对敏感数据进行脱敏,适用于需要实时数据保护的场景。




本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1876298.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

权威认可 | Smartbi连续5年入选“Gartner增强数据分析代表厂商”

近日,全球权威技术研究与咨询公司Gartner最新发布《2024 年中国数据、分析和人工智能技术成熟度曲线》,Smartbi以其卓越的增强数据分析及自助分析能力,再次入选代表厂商,这也是Smartbi连续5年入选增强数据分析及自助分析代表厂商&…

统计信号处理基础 习题解答11-4

题目 观测到数据:, 假定未知参数A具有先验 PDF 其中,, 是方差为的WGN,且与A独立,求A的MAP估计量。 解答 根据题目条件,得到条件概率: 那么对于N个观察的独立数据,有: 因此&#xf…

云计算 | 期末梳理(下)

1.模运算 2. 拓展欧几里得算法 3.扩散和混淆、攻击的分类 香农的贡献:定义了理论安全性,提出扩散和混淆原则,奠定了密码学的理论基础。扩散:将每一位明文尽可能地散布到多个输出密文中去,以更隐蔽明文数字的统计特性。混淆:使密文的统计特性与明文密钥之间的关系尽量复杂…

Springboot下使用Redis管道(pipeline)进行批量操作

之前有业务场景需要批量插入数据到Redis中,做的过程中也有一些感悟,因此记录下来,以防忘记。下面的内容会涉及到 分别使用for、管道处理批量操作,比较其所花费时间。 分别使用RedisCallback、SessionCallback进行Redis pipeline …

期末考试结束,成绩如何快速发布?

随着期末考试的落幕,老师们又迎来了一项繁琐的任务将成绩单私信给学生家长。这项工作耗时耗力,而且极易出错,期末老师的工作已经足够繁重还要私发成绩,简直是雪上加霜。 好消息是,现在有了易查分小程序,只需…

第5章_Modbus通讯协议

文章目录 5.1 学习Modbus的快速方法5.1.1 寄存器速记5.1.2 协议速记 5.2 初识Modbus5.2.1 背景5.2.2 什么是Modbus?1. Modbus简介2. Modbus特点3. Modbus常用术语4. Modbus事务处理 5.3 Modbus软件与使用5.3.1 Modbus软件简介5.3.2 Modbus Poll(主站设备…

c语言中extern定义和引用其他文件的变量,(sublime text)单独一个文件编译不会成功

关键字extern的作用 这个很常见的都知道是定义一个外部变量或函数,但并不是简单的建立两个文件,然后在用extern 定义在另一个非最初定义变量的文件里 区分文件和编译运行的文件 例如,一个文件夹里有文件a.c和文件b.c,在sublime text中直接…

【ES】--Elasticsearch的翻页详解

目录 一、前言二、from+size浅分页1、from+size导致深度分页问题三、scroll深分页1、scroll原理2、scroll可以返回总计数量四、search_after深分页1、search_after避免深度分页问题一、前言 ES的分页常见的主要有三种方式:from+size浅分页、scroll深分页、search_after分页。…

IDM(Internet Download Manager)下载器的安装激活与换机方法 IDM怎么用

很多人都知道 Internet Download Manager(以下简称 IDM)是一款非常优秀的下载提速软件。它功能强大,几乎能下载网页中的所有数据(包括视频、音频、图片等),且适用于现在市面上几乎所有的浏览器,非常受大家欢迎。IDM 是…

TensorRt(6)yolov3.weight转换、onnx_graphsurgeon和c++ api实现添加NMS

前面博文 【opencv dnn模块 示例(3) 目标检测 object_detection (2) YOLO object detection】 介绍了 使用opencv dnn模块加载yolo weights格式模型的详细说明。 又在博文 【TensorRt(4)yolov3加载测试】 说明了如何将onnx编译为tensorrt格式并使用的方式…

墨刀原型--多tab切换显示对应页面场景交互步骤

一般我们画原型页面,PC端或者APP端或小程序端,都会有页面会切换多个tab或状态,同时对应页面显示对应的页面数据。 设计思路如下: 以订单列表页面为例: 可以将订单列表页面分为3部分,固定的头部、状态栏、…

驾校预约小程序系统的设计

管理员账户功能包括:系统首页,个人中心,学员管理,教练管理,驾校信息管理,驾校车辆管理,教练预约管理,考试信息管理 微信端账号功能包括:系统首页,驾校信息&am…

Python operator模块这么用,效率杠杠的!

目录 1、基础操作符应用 🐍 1.1 加载operator模块 1.2 使用itemgetter进行排序 1.3 attrgetter与方法调用 2、高级功能探索 🔍 2.1 methodcaller的妙用 2.2 操作符重载与定制 3、结合lambda表达式 ✨ 3.1 lambda与operator模块协同工作 3.2 实战案例分析 4、结合…

面试-javaIO机制

1.BIO BIO:是传统的javaIO以及部分java.net下部分接口和类。例如,socket,http等,因为网络通信同样是IO行为。传统IO基于字节流和字符流进行操作。提供了我们最熟悉的IO功能,譬如基于字节流的InputStream 和OutputStream.基于字符流…

DataWhale-吃瓜教程学习笔记 (五)

学习视频:第4章-决策树_哔哩哔哩_bilibili 西瓜书对应章节: 第四章 4.1;4.2 决策树算法原理 - 逻辑角度 if...else.. 语句的组合,不断的选择 - 几何角度 根据某种准则划分特征空间 最终目的:提高分类样本的纯度 I…

Qt开发笔记:Qt3D三维开发笔记(一):Qt3D三维开发基础概念介绍

若该文为原创文章,转载请注明原文出处 本文章博客地址:https://blog.csdn.net/qq21497936/article/details/140059315 长沙红胖子Qt(长沙创微智科)博文大全:开发技术集合(包含Qt实用技术、树莓派、三维、O…

java第二十九课 —— 断点 | 零钱通项目

断点调试(debug) 实际需求 在开发中,新手程序员在查找错误时,这时老程序员就会温馨提示,可以用断点调试步一步的看源码执行的过程,从而发现错误所在。 重要提示:在断点调试过程中,…

如何安装和卸载软件?

如何安装和卸载软件? 💻 如何安装和卸载软件?——默语的详细教程摘要引言正文内容🖥️ 在Windows上安装和卸载软件安装软件卸载软件 🍏 在Mac上安装和卸载软件安装软件卸载软件 🤔 QA环节📝 表格…

【nvm】如何使用nvm优雅的管理Node.js

希望文章能给到你启发和灵感~ 如果觉得文章对你有帮助的话,点赞 关注 收藏 支持一下博主吧~ 阅读指南 开篇说明一、基础环境说明1.1 硬件环境1.2 软件环境 二、什么是nvm?2.1 概念2.1 安装2.1.1 对于Mac系统2.1.2 对于Windows系统2.1.3 对于…

完全离线的本地问答模型LocalGPT如何实现无公网IP远程连接提问

文章目录 前言环境准备1. localGPT部署2. 启动和使用3. 安装cpolar 内网穿透4. 创建公网地址5. 公网地址访问6. 固定公网地址 前言 本文主要介绍如何本地部署LocalGPT并实现远程访问,由于localGPT只能通过本地局域网IP地址端口号的形式访问,实现远程访问…