从数据中台到上层应用全景架构示例

news2024/11/23 20:30:31

一、前言

对于大型企业而言,数据已经成为基本的生产资料,但是有很多公司还是值关心上层应用,而忽略了数据的治理,从而并不能很好的发挥公司的数据资产效益。比如博主自己是做后端的,主要是做应用层,也就是各种web系统,公司本身积累了很多数据,但是公司并没有在上面投入太多的成本区治理,所以看上去还是比较像传统的企业,看不到智能化,也看不到智慧化,平时的web系统仅仅能解决日常经营管理和对外服务。

二、从数据中台到上层应用全景架构

1、数据中台架构示例

数据中台的实施内容包括基础数据治理、数据仓库建设、数据分析展现等内容,通过平台建设实现企业数据的整合汇聚,构建数据中心,基于数据进行分析展现、透视业务、价值挖掘,有效支撑企业的业务发展。

数据中台包括DAP、MDM、ESB、Portal等产品,整体架构图如下:

DAP数据分析平台作为数据分析的核心,完成数仓建设、数据分析两部分内容,数仓通过ODS、DW构建数仓模型,实现分层建设,并能进行数据集、立方体等分析模型的配置,从而支持基于业务主题和业务指标的可视化分析。ESB作为数据集成平台,实现源头系统到ODS以及ODS到DW数据抽取、加工、转换,完成数据汇聚的过程。MDM基础数据平台则实现基础数据治理,为数仓提供基础数据支撑,构建数仓维表。Portal门户集成平台作为统一入口和应用中台,将数据治理、数据分析过程中的关键内容汇总到统一入口进行展现和管理,提高平台的使用效率,提升数据管理能力。

数据中台项目实施内容包括基础数据治理、数仓体系规划、数据分析展现、综合门户集成等内容,在项目实施过程中,要全面了解相关业务和场景,对实施内容进行梳理规划。

1.基础数据治理:明确各类基础数据的来源以及管理维护方式,通过数据中台的主数据平台实现基础数据的统一管理,建立基础数据的管理、集成标准,保证基础数据的一致性;

2.数仓体系规划:基于核心业务场景和业务流程,梳理关键数据指标,建立数据指标体系,并基于数据指标规划企业数仓体系,实现企业数据的集成整合、加工汇总,而数据分析、数据挖掘、业务监控提供数据支持;

3.数据分析展现:以核心业务和数仓、指标为基础,根据业务管理需要,规划主题、指标、数据的展现效果,实现可视化分析和指标监控;

4.综合门户集成:根据业务和管理需要,将数据指标、数据分析、数据治理等内容的关键点整合到门户中统一展现,同时以综合门户最为统一访问入口,规划统一用户、统一认证等标准体系,提升数据中台的应用效果。

2、上层应用架构示例

 旅通借助各事业群以及自身产生的,包含基础信息、消费行为、社交媒体行为、消费偏好等数据。通过OneID打通整合,形成“大数据”的规模效应,进而加工可靠的会员标签/分级/分群信息,完成会员360°识别。

搭建会员平台的核心主线,历练 精细化运营成长线,助力事业群赋能的发展线,具体说明:
会员体系:会员分级/分层,针对性的会员精细化运营,将80%核心资源投入到20%的头部用户;
会员服务:平台在信息整合、消费购物、 客服服务方面,提供极致的会员服务;
数据化运营:培育并找到核心的忠诚度用户,挖掘会员终身价值。打造平台的基本盘;
引流:可分为事业群存量、集团员工、战略合作企业员工、工会会员、自然流量、公域渠道引流等;
事业群赋能:找到事业群赋能的可持续发展线。 

三、Java全栈开发

Java全栈开发是指具备从前端到后端、从数据库到应用服务器的全方位开发能力的Java开发者。全栈开发不仅仅是掌握多种技术,更是能够将这些技术融会贯通,以高效、高质量的方式构建完整的应用程序。

前端开发

  1. HTML/CSS:掌握HTML的基本结构和CSS的样式设计,实现页面布局和样式。
  2. JavaScript:熟悉JavaScript语言,能够编写基本的交互逻辑和动态效果。
  3. 前端框架:了解至少一种前端框架,如React、Vue或Angular,能够使用框架构建复杂的前端应用。

后端开发

  1. Java核心知识:深入理解Java语言特性,包括面向对象编程、集合框架、异常处理、多线程等。
  2. Java Web开发:掌握Servlet和JSP技术,了解MVC设计模式,能够使用Spring MVC或Spring Boot构建Web应用。
  3. 数据库:熟悉关系型数据库如MySQL、Oracle,了解SQL语言,能够设计数据库结构和编写查询语句。
  4. 持久层框架:掌握如MyBatis或Hibernate等持久层框架,实现数据访问层的封装和优化。

应用服务器与中间件

  1. Tomcat/Jetty:了解Tomcat或Jetty等Web服务器的配置和使用。
  2. 消息中间件:如Kafka、RabbitMQ等,了解消息队列的原理和使用场景。
  3. 缓存:如Redis、Memcached等,掌握缓存机制和使用方法,提高应用性能。

分布式与微服务

  1. Spring Cloud:了解Spring Cloud生态,包括服务发现、负载均衡、配置中心等微服务治理组件。
  2. Docker与Kubernetes:掌握容器化技术和容器编排工具,实现应用的快速部署和扩展。
  3. API网关:了解API网关的作用和实现原理,能够使用如Spring Cloud Gateway等工具构建API网关。

安全性

  1. Web安全:了解常见的Web安全漏洞和防范措施,如SQL注入、XSS等。
  2. 加密与认证:掌握基本的加密技术和认证机制,如SSL/TLS、OAuth等。

性能优化与监控

  1. 性能调优:了解Java应用的性能瓶颈和优化方法,如JVM调优、数据库优化等。
  2. 监控与日志:掌握应用监控和日志分析技术,能够定位和解决性能问题。

自动化与测试

  1. 自动化构建:使用Maven或Gradle等构建工具实现项目的自动化构建和依赖管理。
  2. 单元测试与集成测试:掌握JUnit等测试框架,编写高质量的测试用例,确保代码质量。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1581513.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

(源码+部署+讲解)基于Spring Boot + Vue编程学习平台的设计与实现

前言 💗博主介绍:✌专注于Java、小程序技术领域和毕业项目实战✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 2024年Java精品实战案例《100套》 🍅文末获取源码联系🍅 🌟…

HDFS [MSST‘10] 论文阅读笔记

原论文:The Hadoop Distributed File System (MSST’10) HDFS关键技术要点概览 设计目标:HDFS旨在可靠地存储大型数据集,并以高带宽流式传输这些数据集到用户应用程序。它通过在大量服务器上分布存储和计算资源,使得资源可以随着需求的增长而扩展,同时保持经济高效。架构组…

Day:004(3) | Python爬虫:高效数据抓取的编程技术(数据解析)

BS4实战-人民网 人民网_网上的人民日报 (people.com.cn)http://www.people.com.cn/ import requests from fake_useragent import UserAgent from bs4 import BeautifulSoupurl http://www.people.com.cn/ headers {User-Agent:UserAgent().chrome} # 发送请求 resp request…

前端入门:极简登录网页的制作(未使用JavaScript制作互动逻辑)

必备工具:vscode Visual Studio Code - Code Editing. Redefined 目录 前言 准备 HTML源文件的编写(构建) head部分 body部分 网页背景设置 网页主体构建 CSS源文件的编写(设计) 结果展示 前言 博主稍稍自…

基于ES-EKF的LiDAR/GNSS/IMU传感器融合轨迹估计(附项目源码)

基于改进EKF的LiDAR/GNSS/IMU传感器融合轨迹估计(附项目源码) 算法概述PredictionCorrectionES-EKF算法融合算法实现轨迹估计实验结果 最近在研究传感器融合,看到一个很好的开源项目,适合小白学习,为以后做传感器融合、…

Vue3 + Vite 构建组件库发布到 npm

你有构建完组件库后,因为不知道如何发布到 npm 的烦恼吗?本教程手把手教你用 Vite 构建组件库发布到 npm 搭建项目 这里我们使用 Vite 初始化项目,执行命令: pnpm create vite my-vue-app --template vue这里以我的项目 vue3-xm…

Rocky(Centos)数据库等高并发或高io应用,linux应调优系统

一、系统参数优化 默认的最大打开文件数是1024.不满足生产环境的要求。按照如下配置: 1、修改 systemctl管理的 servie 资源限制 编辑/etc/systemd/system.conf # 全局的打开文件数 DefaultLimitNOFILE2097152 # 全局打开进程数 DefaultLimitNPROC655352、调整系…

GitHub 仓库 (repository) Watch - Star - Fork - Follow

GitHub 仓库 [repository] Watch - Star - Fork - Follow References 眼睛图标旁边写着 Watch 字样。点击这个按钮就可以 Watch 该仓库,今后该仓库的更新信息会显示在用户的公开活动中。Star 旁边的数字表示给这个仓库添加 Star 的人数。这个数越高,代表…

(源码+部署+讲解)基于Spring Boot + Vue的车位租赁系统设计与实现

前言 💗博主介绍:✌专注于Java、小程序技术领域和毕业项目实战✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 2024年Java精品实战案例《100套》 🍅文末获取源码联系🍅 🌟…

4.9总结(Stream流,方法引用概述 || 乘法逆元,组合数)

Stream流 基本概念:以更简便的方式操作集合数据的形式; Steam流的操作步骤: 获取Stream流 中间方法:去重,跳过,获取, 过滤, 合并流,转换类型; 终结方法&…

VR紧急情况模拟|V R体验中心加盟|元宇宙文旅

通过VR技术实现紧急情况模拟,提升安全应急能力! 简介:面对突发紧急情况,如火灾、地震、交通事故等,正确的反应和应对能够有效减少伤害和损失。为了提高人们在紧急情况下的应急能力,我们借助先进的虚拟现实…

微软对其基于Arm的Windows系统终将超越苹果充满信心

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

关于Salesforce DevOps的理解

“DevOps”是一组结合了软件开发 (Dev) 和运营 (Ops) 的实践,可帮助团队更快、更可靠地构建、测试和发布软件。 DevOps 的核心理念包括持续集成(Continuous Integration)、持续交付(…

实战要求下,如何做好资产安全信息管理

文章目录 一、资产安全信息管理的重要性二、资产安全信息管理的痛点三、如何做好资产安全信息管理1、提升资产安全信息自动化、集约化管理能力,做到资产全过程管理2、做好资产的安全风险识别3、做好互联网暴露面的测绘与管空4、做好资产安全信息的动态稽核管理 “摸…

Kotlin:常用标准库函数(let、run、with、apply、also)

一、let 扩展函数 Kotlin标准库函数let可用于范围确定和空检查。当调用对象时,let执行给定的代码块并返回其最后一个表达式的结果。对象可以通过引用(默认情况下)或自定义名称在块中访问。 let扩展函数源码 let.kt文件代码 fun main() {println("isEmpty $is…

搭建Grafana+Prometheus监控Spring Boot应用

Spring项目改造 maven依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-actuator</artifactId> </dependency><dependency><groupId>io.micrometer</groupId><artif…

【Flutter】三个Channel(Android-java / Ios-swift)

Channel 实现与原生通信 【1】MethodChannel flutter MethodChannel官方文档 通过MethodChannel来传递数据&#xff0c;调用方法 案例 分别调用Android和Ios原生的获取电量的方法 Flutter端 实例一个MethodChannel&#xff0c; 唯一标识name&#xff0c;定义方法名称get…

eclipse .project

.project <?xml version"1.0" encoding"UTF-8"?> <projectDescription> <name>scrm-web</name> <comment></comment> <projects> </projects> <buildSpec> <buil…

【ensp】VLAN间通信的解决办法

目录 VLAN间通信简介 VLAN间通信的两种方式 借助三层设备路由器进行VLAN间的通信&#xff08;也就是单臂路由&#xff09; 在端口上创建子接口之后为什么需要开启arp广播&#xff0c;是因为他是子接口吗? 拓扑图 交换机配置 路由器配置 查看路由器配置 测试能否实现…

SQLite数据库在Linux系统上的使用

SQLite是一个轻量级的数据库解决方案&#xff0c;它是一个嵌入式的数据库管理系统。SQLite的特点是无需独立的服务器进程&#xff0c;可以直接嵌入到使用它的应用程序中。由于其配置简单、支持跨平台、服务器零管理&#xff0c;以及不需要复杂的设置和操作&#xff0c;SQLite非…