从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史

news2024/11/14 14:48:41

前言​

大家好,我是一名大数据开发工程师,在金融行业深耕多年,其实数据技术的演进不仅是技术层面的革新,更是业务模式与决策方式的深刻变革。从最开始的数据仓库兴起,到数据中台的普及,再到数据飞轮的出现,每一步都见证了金融行业对数据价值认知的深化和利用能力的提升。下面我将以我所了解到的知识来讲一讲金融行业的数据技术进化史。​

数据仓库:奠定数据基础​

数据仓库这个概念,其实是由数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse"定义且被广泛接受的——面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从定义上来看,数据仓库的关键词为面向主题、集成、稳定、反映历史变化、支持管理决策,而这些关键词的实现就体现在分层架构内。​

分层架构怎么分层呢?市面上主流的分层方式太多了,其实从核心思想上分可以分为ODM贴源层、SDMQ标准层、FDM主题层、ADM应用层,如下图所示:​

在数据仓库阶段,金融行业主要依赖于IBM、Oracle、Teradata等厂商提供的整体解决方案。然而,随着数据量的进一步爆炸和业务需求的多样化,数据仓库逐渐显露出其局限性。它虽然能够存储和管理大量数据,但在数据处理的实时性、灵活性和效率方面难以满足日益增长的需求。​

数据中台:数据价值的深度挖掘​

正是在这样的背景下,数据中台应运而生。前面提到数据仓库的核心是分层架构,那么数据中台的核心就是四化,即业务数据化、数据资产化、资产服务化和服务业务化。因为数据量的进一步爆炸和业务需求的多样化,所以出现了数据中台,数据中台是如何解决这一现象呢?​

下面这张图是数据中台的逻辑架构图,可以看到数据中台其实是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析类场景。这种架构可以加快数据赋能业务的速度,为业务提供速度更快、更多样的数据服务。​

金融行业其实已经步入了智能化的金融科技3.0时代,我认为智慧中台是智慧金融的新基础设施,金融行业想要实现四化的核心可以先理清金融机构自身的数据资产,梳理好机构内的数据资产后需要对数据的标准、口径等进行统一,最后再向相关部门提供数据服务。​

数据飞轮:构建数据消费的正循环​

什么是数据飞轮呢?数据飞轮是今年大模型带火的一个词汇,核心其实就是通过客户在应用程序中输入的提示词这样的数据反馈,使大模型快速迭代。通俗一点就是,好的产品​

虽然现在数据飞轮很火,但是想要在金融行业落地还是有很多挑战的,比如金融行业科技技术人才占比较少,难以支撑数据飞轮落地以及后续的迭代、更新;难以将数据形成资产纳入报表或财务体系,因为无法预估数据的价值形成整套的定价,也缺乏相应的质量管控体系等。​

总结​

从数据仓库到数据中台再到数据飞轮,金融行业的数据技术演进历程不仅见证了数据价值的不断挖掘和利用,也推动了业务模式的深刻变革和创新发展。在未来的发展中,我相信数据飞轮肯定能完美的在金融行业实现落地,助力企业业务持续增长和自我增强的循环。​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2140293.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MFEA/D-DRA--基于分解和动态资源分配的多目标多任务优化

MFEA/D-DRA–基于分解和动态资源分配的多目标多任务优化 title: A Multiobjective multifactorial optimization algorithm based on decomposition and dynamic resource allocation strategy author: Shuangshuang Yao, Zhiming Dong, Xianpeng Wang…

跨界融合,GIS如何赋能游戏商业——以《黑神话:悟空》为例

在数字化时代,地理信息系统(GIS)技术正以其独特的空间分析和可视化能力,为游戏产业带来革命性的变革。《黑神话:悟空》作为中国首款3A级别的动作角色扮演游戏,不仅在游戏设计和技术上取得了突破&#xff0c…

金融行业中如何利用数据中台的数据来有效的驱动业务决策呢?

前言​ 在金融行业中,利用数据中台的数据来有效驱动业务决策是一个复杂而关键的过程。其实我们的核心就是帮助金融机构最大化数据中台的价值,并推动业务决策的科学性和准确性。本文我从技术的角度来剖析一下这一过程。​ 什么是数据中台?​…

Git常用指令大全详解

Git常用指令大全详解 Git,作为目前最流行的分布式版本控制系统,其强大的功能和灵活性为开发者提供了极大的便利。无论是个人项目还是团队协作,Git都扮演着不可或缺的角色。本文将详细总结Git的常用指令,帮助大家更好地掌握这一工…

PHP:强大的Web开发语言

PHP:强大的Web开发语言 一、PHP 简介及优势 PHP 的基本概念 PHP(PHP: Hypertext Preprocessor)即 “超文本预处理器”,是一种通用开源脚本语言,最初由 Rasmus Lerdorf 于 1994 年创建。它可以在服务器上执行&#xf…

题目:单调栈

1、关于栈的概述 栈是一种数据结构,遵循“后进先出”(LIFO, Last In, First Out)的原则。这意味着最后被插入栈中的元素会最先被移除。可以把它想象成一个垒盘子的情况,新的盘子总是放在最上面,而最上面的盘子会最先被…

Matlab:科学计算与工程应用的强大利器

Matlab:强大的科学计算工具 一、Matlab 简介与重要性 Matlab 作为一款强大的科学计算软件,在工程、科学、数学等多个领域都有着广泛的应用及至关重要的地位。 在工程计算领域,它涵盖了众多方面。例如,线性代数与矩阵运算中&…

CODESYS资源使用表

1、CODESYS标准化编程之输入输出映射请参考下面文章链接: CODESYS标准化编程之输入输出映射-CSDN博客文章浏览阅读78次。在介绍输入输出映射之前大家需要了解开关量防抖滤波功能块,相关链接如下:开关量防抖滤波器(梯形图和SCL源代码)_开关量输入滤波程序-CSDN博客文章浏览阅…

禹神:一小时彻底搞懂跨域解决方案

1. 浏览器的同源策略 2. 跨域会受到哪些限制 4. CORS 解决 Ajax 跨域问题 exposedHeaders 不加这个,js拿不到这个响应头(浏览器控制台network中能看见,但是js拿不到) 5. JSONP 解决跨域问题 JSOP只能解决get请求 服务端代码 客户端代码 服务端代码升…

Gartner发布报告揭秘微软数据安全功能和许可

制定数据安全计划以增强合规性并降低数据风险仍然是安全和风险管理领导者关注的问题。这项研究阐明了 Microsoft 的数据安全许可结构,并确定了围绕 Purview 构建数据安全计划的关键要素。 主要发现 客户对微软数据安全的询问表明,安全和风险管理 (SRM) 领…

transformer模型进行英译汉,汉译英

上面是在测试集上的表现 下面是在训练集上的表现

全面掌控大模型:MaxKB与Ollama的高效本地部署策略

随着大模型的广泛应用,越来越多的开发者希望能够在本地运行这些模型,既提高数据隐私性,又避免依赖云端服务。本文将详细介绍如何在本地使用 Ollama 进行大模型部署,以及如何通过 MaxKB 导入本地知识库并进行交互操作。为了使该过程…

在线包装盒型生成工具,各种异型包装盒型,PDF导出方便

1、templatemaker.nl Passepartout ✂ Templatemaker ︎https://www.templatemaker.nl/en/passepartout/这是一个荷兰设计师建的一个在线盒型自动生成工具,包含各类新奇盒型,大家可以一起去观摩一下。 网站首页顶部各种盒型展示,大家根据需…

【CTF MISC】XCTF GFSJ1088 [中等] QR1 Writeup(图像处理+QR Code识别)

[中等] QR1 一张空白的图片? 解法 一张空白图片。 用 Photoshop 打开,放大,发现很多小黑点。 将图片复制到新文档,用魔棒工具选择白色部分。 Ctrl Shift i 反选。编辑,描边,黑色,10px&#…

2024年汉字小达人区级自由报名备考冲刺:往年真题练一练

2024年第十一届汉字小达人的区级活动的时间9月25-30日正式开赛,满打满算,还有16天时间准备。 还有一些孩子和家长, 刚刚被老师通知可以参加这个比赛,很关心的就是现在准备汉字小达人比赛是否来得及。别想这么多了,bet…

27. 完整的训练套路(三) train()、eval()

完整的训练套路(三) train() eval() 1. 什么是tain() eval() 在许多代码中我们经常会看到模型开始训练前会先进行一个 model.train(), 模型的测试之前会有一行 model.eval() 官方文档 https://pytorch.org/docs/stable/generated/torch.nn.Module.html#torch.nn.M…

初学Linux(学习笔记)

初学Linux(学习笔记) 前言 本文跳过了Linux前期的环境准备,直接从知识点和指令开始。 知识点: 1.目录文件夹(Windows) 2.文件内容属性 3.在Windows当中区分文件类型是通过后缀,而Linux是通过…

基于spring的ssm整合

目录 基于spring的ssm整合 Spring 框架 SpringMVC 框架 MyBatis 框架 1.创建项目 2.导入依赖 3.导入sql 4.创建jdbc.propries文件 1)mysql8以下 2)mysql8以上的 5.创建mybatis-config.xml配置文件 6.创建spring-Config.xml文件 7.创建项目所需包和类 1&a…

C语言——错误处理机制errno

前言 在C语言中,错误处理主要是通过全局变量 errno 和相关的错误处理函数来实现的。errno 是一个全局整型变量,用于存储最近发生的系统调用或库函数调用失败的原因。当一个系统调用或库函数调用失败时,通常会设置 errno 的值,并返…

ROS笔记3.路径规划1

在 Rviz 中可视化路径规划move_base 节点的基本概念什么是Global Planner?什么是Global Costmap? 在 Rviz 中可视化路径规划 对于本章,您基本上需要使用 RViz 的 3 个元素: Map Display (Costmaps)Path Displays (Plans)2D 工具 …