大数据中的数据安全

news2024/10/1 13:19:42

数据安全体系全貌

 在数据仓库平台中,对应数据的请求必须严格尊属数据安全体系

数据使用安全

  • 数据安全 = 认证 + 授权

认证主要是对用户的身份确认,比如最简单的用户的登录需要账户和密码;像你登录Mysql需要输出用户名和密码。比如大数据中使用的kerberos的认证框架的认证管理。

授权是指用户可以访问的资源,比如授权用户张三不能访问ods层的表,可以访问dwd层和dws层的表。再比如java中基于角色的身份认证RBAC(Role-Based Access Control)基于角色的权限控制。比如大数据中使用的Sentry和Ranger的授权框架的权限管理。

一般意义上的数据安全流程

  • 数据的产生:通过数据分级体系对敏感字段打标签;
  • 数据的存储:需要通过加密的方式存储相关数据,避免直接存储Text格式的数据;
  • 数据的使用:包括了一个独立的权限控制系统;
  • 数据的传输:相关的申请与查询操作需要通过专门的API接口进行,并且有高安全等级的加密措施;
  • 数据的展示:在申请通过后,根据申请人的安全等级,展示对应等级的数据;
  • 数据的销毁:敏感数据仅在HDFS上做逻辑删除是不够的,需要配合物理删除同步清理敏感数据。

仓库中数据表分级标准

        一般情况下,数据仓库部门对外开放的表是ads层,可能由于需要可以申请dwd层的数据,但是ods层的原始数据是不会对外开放的。对于这些对外开放的表也会有安全等级的划分。

表安全设置为四个等级:

  • S4:非业务核心表,删除对于其他计算任务无影响;
  • S3:非业务核心表,但删除对于其他计算任务有一定的影响;
  • S2:业务核心表,仅限本部门使用,删除对于其他部门使用无影响;
  • S1:业务核心表,删除对于其他部门使用有影响。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/95662.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

爱科赛博冲刺科创板:拟募资3.8亿 陕西集成电路与达晨是股东

雷递网 雷建平 12月16日西安爱科赛博电气股份有限公司(简称:“爱科赛博”)日前递交招股书,准备在科创板上市。爱科赛博计划募资3.8亿。其中,1.2亿用于西安爱科赛博电气股份有限公司精密特种电源产业化建设项目&#xf…

2022.12.5-12.11 AI行业周刊(第127期):一起做时间的朋友

最近沸沸扬扬的就是核酸疫情的事情,突然之间,一下子全国都放开了,很不适应。 大宝在上幼儿园中班,上上个星期,学校的政策,还是没有核酸证明不得入校。 而上周末发的通知,已经是不得在外做核酸…

AIGC音乐生成#riff + diffusion 以生成频谱图图像来转换为音乐 | 无界日报 第2期

小杜无界日报第2期,本期头条 - stable diffusion 微调模型 riff diffusion 以生成频谱图图像来转换为音乐。无界日报2022.12.16第02期- 头条 -riff diffusion#AIGC# #工具#riff diffusion 是 stable diffusion 的微调模型,以生成频谱图图像来转换为音…

(文章复现)8.基于共享储能电站的工业用户日前优化经济调度

目录 复现文章: 摘要: 部分程序: 输出结果: 15r 复现文章: 基于共享储能电站的工业用户日前优化经济调度——李淋(电力建设2020) 摘要: 文章提出一种基于共享储能电站的工业…

【计算机网络】:2-物理层

物理层 物理层考虑的是怎样才能在各种计算机的传输媒体上传输数据比特流,主要涉及到的领域包括信号传播、电信系统等,与计算机软件相关较少 1.物理层介绍 物理层为数据链路层屏蔽了各种传输媒体的差异,使数据链路层 只需要考虑本层 的的协…

《Linux内核源码分析》课程笔记

《Linux内核源码分析》课程笔记漏洞安全与虚拟内存CPU缓存技术malloc系统调用中断锁与IPC机制MMU内存页回收内核设备驱动程序内核启动流程这个课好烂,就是打广告用的。出现的老师的英语听着难受。 漏洞安全与虚拟内存 CPU架构:1、X86架构,采…

绿盟SecXOps安全智能分析技术白皮书

数据共享 定义内涵 数据共享 是指在多个用户或多个程序之间遵循一定规则共同享用数据,并进行各种操作、运算和分析的一种技术。数据共享包括数据发布、接口、交换等内容。 技术背景 随着数字经济成为拉动全球经济增长的新引擎,大数据成为经济中重要的…

微服务框架 SpringCloud微服务架构 多级缓存 48 多级缓存 48.7 Redis 缓存预热

微服务框架 【SpringCloudRabbitMQDockerRedis搜索分布式,系统详解springcloud微服务技术栈课程|黑马程序员Java微服务】 多级缓存 文章目录微服务框架多级缓存48 多级缓存48.7 Redis 缓存预热48.7.1 添加Redis 缓存的需求48.7.2 冷启动和缓存预热48.7.3 缓存预热…

高通平台开发系列讲解(DSI篇)DSI函数的内部逻辑

文章目录 一、dsi_start_data_call函数二、dsi_get_pkt_stats函数三、dsi_stop_data_call函数四、回调流程沉淀、分享、成长,让自己和他人都能有所收获!😄 📢DSI层最上层函数位于dsi_netctrl.c中,该.c位于apps_proc/data/dsi_netctrl目录中,现对部分主要函数的调用流程进…

大数据工程师的“卿卿日常”

大数据工程师在日常生活中做什么? 长按关注《Java学研大本营》,加入读者群,分享更多精彩 扫码关注《Java学研大本营》,加入读者群,分享更多精彩 什么是数据工程? 数据工程是当今世界最关键和最基础的技能…

25岁,一个汽修工人转行 Python 的真实事迹!

前言 我遇到一个汽修工人,他没有事喜欢上网,看新闻,对于编程很有兴趣,也想过转行,但是不知道学习什么好. 如何知道 Python. 我和这位朋友的家很近,在过年的时候,我们聊过 (20 出头), 我了解他是…

在vue中,为什么不能用index作为key?

啊?不是吧,在vue中,不能使用index作为key呢?使用index作为key又好理解又方便,为什么不能使用呢?看文章就知道啦~. 一、key的作用是什么? key的作用众所周知,看一个demo就知道&…

【FFmpeg视频播放器开发】解封装解码流程、常用API和结构体简介(一)

一、前言 在正式编写 FFmpeg 播放器前,我们需要先简单了解下所要用到的 FFmpeg 库、播放与解码流程、函数和相关结构体。 二、FFmpeg 库简介 库介绍avcodec音视频编解码核心库avformat音视频容器格式的封装和解析avutil核心工具库swscal图像格式转换的模块swresa…

零基础如何学好Python?Python有哪些必须学的知识?

跟几个IT界的大佬提起Python,他们说零基础学好Python很简单,Python进阶需要花费些气力。那么零基础如何学好Python?Python有哪些必须学的知识?学习的策略技巧有哪些?今天小编整理的这篇文章将会给你启发。 Python上手…

vulnhub靶机DriftingBlue6

靶机下载地址DriftingBlues: 6 ~ VulnHub kali ip:192.168.174.128 靶机ip: 192.168.174.140 首先进行ip地址发现 进行端口扫描 这里进行目录扫描,我习惯性使用Linux里面的gobuster和Windows上的dirsearch一起进行扫描。 python dirsearc…

Linux | 常见指令和常用热键

啊我摔倒了..有没有人扶我起来学习.... 👱个人主页:《CGod的个人主页》\color{Darkorange}{《CGod的个人主页》}《CGod的个人主页》交个朋友叭~ 💒个人社区:《编程成神技术交流社区》\color{Darkorange}{《编程成神技术交流社区》…

升级Linux服务器你必须要知道的事

服务器安全是每个系统管理员的头等大事。除了拥有第三方安全工具(如防火墙,DDoS保护等)外,使生产服务器上的所有代码保持最新也是极为重要的。 当您的应用程序投入生产时,升级它的风险更大。如果您的服务器由Linux驱动…

超级简单基于nodejs电商管理系统的设计与实现.zip(论文+源码+ppt文档+视频录制)

相关资料下载地址:请点击下载》》》 该商城平台整体上实现了商品管理模块、订单交易模块,购物车模块、商品列表股那里模块、用户模块模块。在这些功能模块独立运行和相互配合下形成了一个电商商城系统。在商城实现的技术架构方面,该商城采用nodejs作为商城后台的底…

C++11标准模板(STL)- 算法(std::minmax)

定义于头文件 <algorithm> 算法库提供大量用途的函数&#xff08;例如查找、排序、计数、操作&#xff09;&#xff0c;它们在元素范围上操作。注意范围定义为 [first, last) &#xff0c;其中 last 指代要查询或修改的最后元素的后一个元素。 返回两个元素的较小和较大…

二次供水智慧改造,保障冬季热水稳定供给

冬季低温雨雪天气不仅仅影响到居民用水&#xff0c;也影响到二次供水泵站的维护检修。一旦设备出现故障&#xff0c;导致无法及时供水&#xff0c;居民可能喝不上一口热水&#xff0c;更不用提热水洗澡的难题了。因此&#xff0c;在冬季需要对二次供水泵站设备更加关注&#xf…